介绍
提示工程专注于设计有效的提示，以指导大型语言模型（LLMs）如GPT-4生成所需的回答。一个精心设计的提示可以是模糊或不准确的回答与准确、有洞察力的回答之间的区别。
在更广泛的人工智能生态系统中，提示工程是从语言模型中提取更准确、上下文相关信息的几种方法之一。其他方法包括少样本学习技术，其中模型被给予一些示例来帮助它理解任务，以及精调技术，其中模型在较小的数据集上进行进一步训练以专业化其回答。
Google DeepMind最近发表了两篇探讨提示工程及其在多种情况下提升回答能力的论文。
这些论文是人工智能社区对我们如何与语言模型进行交流进行精炼和优化的持续探索的一部分，它们为改进查询处理和数据库交互时构建提示提供了新的见解。
本文深入探讨了这些研究论文的细节，阐明了提出的技术的概念、方法和影响，使读者即使在人工智能和自然语言处理方面知识有限的情况下也能理解。
论文1：大型语言模型作为类比推理者
第一篇题为“Large Language Models as Analogical Reasoners”的论文介绍了一种名为类比提示的新的提示方法。作者Michihiro Yasunaga、Xinyun Chen等从类比推理中汲取灵感，类比推理是人类利用过去的经验来解决新问题的认知过程。
关键概念和方法
类比提示鼓励LLMs在解决给定问题之前自动生成相关的示例或知识。这种方法消除了对标记示例的需求，提供了通用性和便利性，并将生成的示例适应于每个具体的问题，确保适应性。
左：传统的提示LLMs方法依赖于通用输入（0-shot CoT）或需要标记的示例（few-shot CoT）。右：新方法提示LLMs在解决问题之前自动生成相关示例，不需要标记，同时定制每个独特问题的示例。
自动生成的示例
论文中提出的第一种技术是自动生成的示例。这个想法是利用LLMs在训练过程中获得的广泛知识，帮助它们解决新问题。该过程涉及使用提示来促使模型回忆或生成相关问题和解决方案。
例如，给定一个问题，模型被指示回忆三个不同且相关的问题，描述它们，并解释它们的解决方案。这个过程设计成可以在一次通过中完成，使LLM能够生成相关的示例并无缝解决初步问题。提示中使用“#”符号有助于结构化响应，使其更有组织性，更容易让模型遵循。
论文中强调的关键技术决策包括生成相关且多样化的示例，采用单次通过的方法以提供更大便利性，并发现生成三到五个示例能获得最佳结果。
自动生成的知识+示例
第二种技术是自动生成的知识+示例，旨在解决更复杂的任务中的挑战，例如代码生成。在这些情况下，LLMs可能过度依赖低级示例，并在解决目标问题时难以泛化。为了缓解这个问题，作者建议优化提示，额外添加一条指令，鼓励模型识别问题中的核心概念，并提供教程或高级要点。
一个关键的考虑因素是知识和示例生成的顺序。作者发现先生成知识而后生成示例可以获得更好的结果，因为它帮助LLM专注于基本的问题解决方法，而不仅仅是表面上的相似之处。
优点和应用
类比提示方法具有几个优点。它提供了详细的推理示例，无需手动标记，解决了零样本和少样本思维链 (CoT) 方法所面临的挑战。此外，生成的示例是针对个体问题量身定制的，比传统的少样本 CoT 使用固定示例的方法提供更相关的指导。
该论文展示了这种方法在各种推理任务中的有效性，包括数学问题解决、代码生成以及 BIG-Bench 中的其他推理任务。
下面的表格展示了不同模型架构下各种提示方法的性能指标。值得注意的是，“自动生成的示例”方法在准确率方面一直优于其他方法。在 GSM8K 准确率方面，该方法在 PaLM2 模型上实现了81.7%的最高性能。同样，在 MATH 准确率方面，它在 GPT3.5-turbo 上排名第一，达到37.3%。
数学任务的性能，GSM8K和MATH
在第二个表格中，对于 GPT3.5-turbo-16k 和 GPT4 模型，“自动生成的知识+示例”展示了最佳的性能。
Codeforces代码生成任务的性能
论文2: 向后退一步: 通过抽象引发大型语言模型的推理能力
概述
第二篇论文，《向后退一步: 通过抽象引发大型语言模型的推理能力》，介绍了向后退提示 (Step-Back Prompting) 技术，该技术鼓励大型语言模型 (LLMs) 从详细实例中抽象出高级概念和基本原理。作者华修·史蒂文·郑、斯瓦鲁普·米什拉等人旨在通过引导LLMs沿着正确的推理路径解决问题，提高LLMs的推理能力。
通过关键概念和原则引导的抽象和推理两个阶段，展示了向后退提示 (STEP-BACK PROMPTING)。
让我们使用一个简单的数学问题来演示“Stepback问题”技术：
原问题：如果一列火车以60公里/小时的速度行驶，并覆盖120公里的距离，需要多长时间？
选项：
3小时 2小时 1小时 4小时 原始答案 [错误]：正确答案是1)。
Stepback问题：计算时间的基本公式是什么，给定速度和距离？
原则： 计算时间的公式如下： 时间 = 距离 / 速度
最终答案： 使用公式，时间 = 120公里 / 60公里/小时 = 2小时。 正确答案是2) 2小时。
虽然现在的LLMs可以轻松回答上面的问题，但这个例子只是为了演示如何使用向后退技术。对于更具挑战性的情况，可以将同样的技术应用于系统地分析和解决问题。下面是论文中展示的一个更复杂的案例：
MMLU-Chemistry数据集上的向后退提示 (STEP-BACK PROMPTING)
关键概念和方法论
“后退提示”的精髓在于它能够促使大型语言模型在抽象信息时“后退一步”，鼓励它们从整体的角度看问题，而不是迷失在细节中。这是通过一系列精心设计的提示来实现的，这些提示引导语言模型提取高层次概念，并将这些概念应用于解决给定的问题。
这个过程从提示语言模型从给定实例中抽象出细节开始，鼓励它专注于底层的概念和原则。这一步骤至关重要，因为它为语言模型从更加知情和原则的角度来处理问题铺平了道路。
一旦得到高层次概念，就可以用它们来引导语言模型通过推理步骤解决问题。这种引导确保语言模型沿着正确的轨道前进，遵循基于抽象概念和原则的逻辑和连贯路径。
作者进行了一系列实验证实“后退提示”的有效性，使用PaLM-2L模型进行了一系列具有挑战性的推理密集型任务。这些任务包括STEM问题、知识问答和多跳推理，为评估该技术提供了全面的测试平台。
任务效果显著提升
结果令人印象深刻，后退提示在所有任务中都带来了显著的性能提升。例如，该技术将PaLM-2L在MMLU物理和化学中的性能分别提高了7%和11%。同样，它在TimeQA上提高了27%，在MuSiQue上提高了7%。
后退提示与CoT的性能比较
这些结果凸显了“后退提示”大幅提升语言模型推理能力的潜力。
结论
Google DeepMind的这两篇论文提出了创新的提示工程方法，旨在提高大型语言模型的推理能力。类比提示利用类比推理的概念，鼓励模型产生自己的例子和知识，从而实现更具适应性和高效的问题解决。而“后退提示”则专注于抽象，引导模型提取高层次的概念和原则，从而提高它们的推理能力。
这些研究论文提供了宝贵的见解和方法论，可以应用于各个领域，从而打造更智能、更有能力的语言模型。随着我们不断探索和理解提示工程的复杂性，这些方法成为实现更先进、更复杂的人工智能系统的重要基石。