从提示工程到提示架构
总结。
这始于一个词。对结果不满意,我们又尝试了一遍。
概述本文最重要的观点。
提示工程告诉我们,更具体的提示更好。
识别文章中提出的三个最重要的论点,并根据提供的证据评估作者论证的力度。您是否认为有哪些论点可以更加有力或更有说服力?
随着时间的推移,我们学会了添加更多细节来引导我们最喜欢的语言模型为我们提供最佳答案。
提示工程技术正在变得更加复杂和精致,有时由许多组件构成。提示工程的定义可能对定义这种复杂系统有所限制。
在本文章中,我想提出一个更准确的名称,用于描述与语言模型交互的多组件系统:
提示架构。
提示工程的历史
现代语言模型在只看到几个示例之后已经发展出令人印象深刻的能力来执行新颖的任务。这种能力被称为上下文学习,这也是提示工程如此有效的主要原因。
研究人员认为上下文学习之所以有效,是因为预训练使模型掌握了处理语言任务所需的一般技能。然后,在测试时,它只需识别模式并应用其技能。更大的模型做得更好,使其在各种自然语言任务中适应性更强。[2]
过去,您需要数千个有标签的示例来为新任务微调语言模型。但通过上下文学习,您只需将任务描述放在其上下文窗口中,然后它就能……