大型语言模型（LLMs）彻底改变了自然语言生成领域。传统的微调方法用于响应下游任务需要访问LLMs的参数，这限制了它们在强大的黑匣子LLMs（如ChatGPT）上的使用，这些LLMs仅提供API。因此，最近的研究重点关注提示技术，通过提供许多任务特定的指示和演示来指导生成结果，证明提示可以显著影响结果，因此需要仔细设计。
虽然提示原则上是一种灵活的方法，但它今天通常使用的方式有些严格。但是在语言学习中并非如此；人们可以通过接受和回应积极和消极的反馈来提高语言技能。
中国东北大学、微软亚洲研究院、微软Azure翻译和NiuTrans研究的一项新研究邀请LLMs重新考虑并学习如何发现其输出中的任何缺陷，以确定决策容量的演变方式。为了在生成之前促进错误识别，他们设计了一种名为“Deliberate then Generate（DTG）”的新提示模板，其中包括指示和可能的输出。
确定候选人是DTG设计的重要部分。使用第二个基准系统的数据是一个简单的选择，因为它的输出通常具有良好的质量，只需要进行小的调整即可有效使用。因此，它无法促进有效的决策。研究人员建议使用与源材料无关的文本，例如随机文本选择或空字符串。由于这种方法成功地触发了LLMs的决策能力，因此DTG可以轻松适应各种文本生产工作，只需要对提示进行轻微修改。从心理学的角度来看，这项工作受到了语言习得的典型案例的启发，该案例在发展语言能力时考虑了负面证据。
团队进行了大量实验，以显示所提出的DTG提示相对于传统提示可靠地增强了GPT3.5（text-DaVinci-003）和GPT4的模型性能。这在七个文本生成任务和20多个数据集中都成立。机器翻译、简化和常识创造只是一些文本生成任务，其中由DTG提示的GPT实现了各种数据集的最先进性能。建议的DTG提示确实允许在生成之前进行决策和错误避免，这一点通过广泛的消融研究和统计误差分析得到证明。
研究人员计划在未来的工作中利用任务特定的领域知识来进一步提高DTG提示的效果。