Tag: Machine Intelligence

由谷歌研究的学生研究员Jerry Wei和首席科学家Denny Zhou发布 人类智能的一个关键特征是人类可以通过只使用少数示例来学会执行新任务的推理。扩展语言模型解锁了机器学习中一系列新的应用和范例，包括通过上下文学习执行具有挑战性的推理任务的能力。然而，语言模型仍然对提示的方式敏感，表明它们并不是以稳健的方式进行推理。例如，语言模型通常需要大量的提示工程或将任务构建为指令的方式，并且它们表现出意外的行为，如在显示错误标签时对任务的表现不受影响。 在“符号调优改进语言模型中的上下文学习”中，我们提出了一种简单的微调过程，称为符号调优，它可以通过强调输入-标签映射来改进上下文学习。我们在Flan-PaLM模型中尝试了符号调优，并观察到在各种设置下都有益处。 符号调优提高了对未见过的上下文学习任务的表现，并且对于未明确指定的提示（例如没有指令或没有自然语言标签的提示）更加稳健。 符号调优的模型在算法推理任务上表现更强。 最后，符号调优的模型在使用上下文信息来覆盖先前知识时，对于翻转标签呈现的任务有很大的改进。 符号调优的概述，其中模型在任务中使用任意符号代替自然语言标签进行微调。符号调优依赖于这样的直觉，即当没有指令和相关标签可用时，模型必须使用上下文示例来学习任务。 动机 指令调优是一种常见的微调方法，已经证明可以提高性能并使模型能够更好地遵循上下文示例。然而，一个缺点是模型并不强制学会使用这些示例，因为在评估示例中通过指令和自然语言标签重复定义了任务。例如，在上图左侧，虽然示例可以帮助模型理解任务（情感分析），但它们并不是严格必要的，因为模型可以忽略示例，只需阅读指示表明任务是什么。 在符号调优中，模型在示例上进行微调，其中移除了指令，并用语义不相关的标签（例如“Foo”，“Bar”等）替换了自然语言标签。在这种设置下，不查看上下文示例的情况下任务是不清楚的。例如，在上图右侧，需要多个上下文示例才能弄清楚任务。因为符号调优教会模型在上下文示例之间和它们的标签之间进行推理，所以符号调优的模型在需要在上下文示例和标签之间进行推理的任务上应该有更好的表现。 用于符号调优的数据集和任务类型。 符号调整过程 我们选择了22个公开可用的自然语言处理（NLP）数据集，用于我们的符号调整过程。这些任务过去被广泛使用，我们只选择了分类类型的任务，因为我们的方法需要离散标签。然后，我们将标签重新映射到从三个类别中选择的约30K个任意标签集中的随机标签：整数、字符组合和单词。 在我们的实验中，我们对Flan-PaLM进行符号调整，这是PaLM的指令调整变体。我们使用了三种不同大小的Flan-PaLM模型：Flan-PaLM-8B、Flan-PaLM-62B和Flan-PaLM-540B。我们还测试了Flan-cont-PaLM-62B（Flan-PaLM-62B使用1.3T个标记而不是780B个标记），我们将其缩写为62B-c。 我们使用了来自三个类别（整数、字符组合和单词）的约300K个任意符号。其中约30K个符号用于调整，其余的符号用于评估。 实验设置 我们希望评估模型在未见过的任务上的表现能力，因此不能在符号调整（22个数据集）或指令调整（1.8K个任务）中评估。因此，我们选择了11个在微调过程中未使用的NLP数据集。 上下文学习 在符号调整过程中，模型必须学会通过上下文示例进行推理，以成功执行任务，因为提示被修改以确保任务不能简单地从相关标签或指令中学习。符号调整的模型应在任务不明确且需要在上下文示例和其标签之间进行推理的情况下表现更好。为了探索这些情况，我们定义了四种上下文学习设置，这些设置根据输入和标签之间的推理量（基于指令/相关标签的可用性）来学习任务。 根据指令和相关自然语言标签的可用性，模型可能需要对上下文示例进行不同程度的推理。当这些特征不可用时，模型必须通过给定的上下文示例进行推理以成功执行任务。 符号调整改善了62B及更大模型在所有设置下的性能，在具有相关自然语言标签的设置中略有改进（+0.8%至+4.2%），在没有相关自然语言标签的设置中有显著改进（+5.5%至+15.5%）。令人惊讶的是，当相关标签不可用时，符号调整的Flan-PaLM-8B的性能超过了FlanPaLM-62B，而符号调整的Flan-PaLM-62B的性能超过了Flan-PaLM-540B。这种性能差异表明，符号调整可以使较小的模型在这些任务上表现得和大型模型一样好（有效地节省了约10倍推理计算量）。 大型符号调整模型在上下文学习方面比基线模型表现更好，特别是在没有相关标签的情况下。性能以十一个任务的平均模型准确率（%）显示。 算法推理…