谁可能非常适合这个备受瞩目的新职位
即使过去一段时间以来，提示工程一直存在，但随着大型语言模型（LLM）的最近繁荣，这个术语已经变得非常流行。这种现象的主要驱动因素是，零样本学习和少样本学习只有在非常大的语言模型中才能很好地发挥作用。
围绕提示工程的炒作是不可避免的 – 毕竟，提示措辞对LLM输出的质量有着巨大的影响（LLM在不同提示模板上表现出很大的差异）。它还是一种有效的方法，可以在不重新训练任何模型参数或收集传统微调所需的数据的情况下，对下游语言模型进行处理。
研究文献提出了各种有前途的提示工程技术。但我们还没有找到一种适用于每个LLM的通用的“找到最佳提示以完成特定任务”的算法。我们必须对每个具体的模型和任务进行实验，以找到产生所需输出的提示。这就是为什么“提示工程师”这个职位出现的原因。
提示工程师
就像IT领域中的每个炒作职位一样（从我作为开发者倡导者的个人工作经验来说），对于Prompt Engineer，雇主和员工都存在很多困惑。这种困惑更加严重，因为人们普遍认为，提示工程是一个将问题重新表述给神谕，直到获得所需答案的过程，就像一个有耐心的家长帮助孩子做数学作业。相反，提示工程是一个非常有意识的过程。更重要的是，“提示工程不仅仅是设计和开发提示。它涵盖了一系列对与LLM进行交互和开发有用的技能和技术。”
有很多有用的指南、课程和文章介绍了提示工程的技术和最佳实践，我自己也用过这些来掌握它。根据我的经验，在大多数指南中，你会看到同样的建议：好的提示是通过实验得出的，所以你需要建立自己的提示设计过程，并培养对提示工程的第六感。显然，一些直觉可以来自作为机器学习工程师的工作经验，这有助于更深入地理解LLM的构建和训练方式。但还有一些不太明显的职业可以自然地培养出在提示工程方面的强烈直觉。其中之一就是众包解决方案架构师（CSA）。
众包解决方案架构师
也许我正在用一个同样令人困惑和新潮的IT职位标题来取代另一个时髦的、被误解的职位标题。实际上，这并不是那么新鲜 – 自从众包平台出现以来，众包解决方案架构师就已经存在了，所以CSA可能已经有15年以上的经验。这个行业已经对CSA的专业范围有了很好的理解。
那么，他们的日常任务是什么，为什么他们的经验对于培养提示工程的直觉有帮助呢？简单来说，CSA为群体（专家或非专家）设计数据标注任务，将初始规范转化为易于理解的格式。这包括编写详细的说明、创建用户友好的标注界面、建立公平的定价方案和质量控制机制，最重要的是，将复杂的问题应用分解技术转化为一组更容易的子任务。分解是一种重要的技能，它将一个困难的任务转化为一组较简单的子任务。一个例子是将一个排序问题转化为一个并排标注任务，然后使用嘈杂的布拉德利-特里聚合方法。子任务由群体解决，然后CSA应用各种聚合技术来得到问题的最终答案。
为什么设计众包任务有助于培养提示工程中的直觉
在尝试提示工程时，我注意到在设计众包任务和提示工程中的最佳实践之间存在相似之处。这使我开始提出并测试了几个关于如何使用CSA方法来改进提示结果的假设。我坚信，通过应用来自相关研究领域（如众包）的知识，可以发现新的提示技术。
分解 + 聚合
像思维链提示和从少到多提示等技术表明，如果将任务分解为子任务或步骤，模型的性能会更好。分解对于众包任务也起到了同样的作用，将其分解为更容易解决的小问题。直观地说，这种技术有助于提高人类标注的质量，因为它更容易集中注意力，而且标注者的专业知识要求更低。对于LLMs来说，这可能很有效，因为这些子任务在从网络上获取的LLM训练数据集中可能更频繁出现。
众包研究实践中已经学会了如何将任务分解为搜索相关性评估、3D交通标注、广告审核、代码中的个人信息（PI）识别等多种用例。他们已经形成了对于何种问题难以解决、何种问题容易解决的强烈直觉。这种直觉可以部分地体现在一系列最佳实践中。例如，有一个经验法则，即分类任务中的类别数不应超过5或6个；否则，会出现选择超负荷偏差。另一个规则是，从简单到复杂逐个标注类别比同时标注类别能提供更好的结果。这些规则能否应用于LLMs的标注？看起来是可以的！我们将后一条规则应用于使用GPT-4进行标注，结果显示准确率提高了20%。
说明
在众包中取得良好结果的关键之一是提供清晰详细的说明（基本上是给人类的详细提示）。由于LLMs无法进行推理，给它们人类完美的说明可能不会带来最佳的输出质量，正如文章《Turking Test: Can Language Models Understand Instructions?》所示。
然而，一些关于提示工程和众包指导设计的最佳实践是一一对应的，证明了一位熟练的CSA可能成为一位有前途的提示工程师。以下是适用于提示和说明的一些实践方法：
- 简短并不意味着好。要尽可能清楚。
- 由于LLMs和我们一样是少样本学习者，示例非常重要。
- 如果任务中存在多个可能的类别，请提供足够的示例（至少2-3个）来说明每个类别。
- 为您的少样本使用真实的（而不是合成的）示例。
- 如果将罕见案例添加到任务中，请确保在说明中对其进行充分解释。
关键要点
- 在提示工程中应用CSA技术是一个有前景的未开发研究领域。
- 提示工程的直觉可以通过其他工作经验获得。
- 在Toloka，我们成功地将我们的CSAs作为提示工程师使用。如果你团队中有人有众包工作经验，你就不必再寻找提示工程师了！