“具备内置负责任人工智能实践的大型语言模型（LLM）中的提示工程的演变趋势”

“具备内置负责任人工智能实践的大型语言模型（LLM）中的提示工程的演变趋势” 四海第1张

编辑注：Jayachandran Ramachandran和Rohit Sroch是本年度8月22日至23日ODSC APAC的演讲嘉宾。务必参加他们的演讲“内置负责任AI实践的大型语言模型（LLMs）中的提示工程的演变趋势”！

变压器架构的出现确实通过引入一种高效利用数据和计算能力的设计，从根本上改变了自然语言处理（NLP）领域。此外，变压器模型在广泛语料库上进行的自我监督预训练展示了在处理各种NLP任务方面的显着能力。随着研究人员对模型规模对增强能力的影响进行了深入研究，他们开始探索将参数规模推向更大尺寸。有趣的是，在参数规模超过一定阈值后，这些扩大的语言模型不仅实现了显著的性能改进，而且还表现出增强的推理能力。这引发了“上下文学习”（ICL）时代，使得大型语言模型（LLMs）展示了基础能力。这些模型现在可以通过精心设计的提示执行特定任务，而不仅仅依赖于特定任务的微调。

大型语言模型（LLMs）的出现为人工智能领域开创了一个新时代，重塑了各个行业组织的可能性。GPT-4、PaLM-2、Llama-2等LLMs正在推动生成式人工智能的激增，引领着改变技术和商业格局的新型应用。从增强企业搜索到驱动对话机器人和内容生成，LLMs赋予了曾被认为遥不可及的独特能力。然而，这种转变也带来了一些挑战。

在本博客文章中，我们的目标是阐明LLMs领域不断发展的研究，同时解决关键的伦理考虑，并试图通过我们内部使用案例的示例为AI从业者和客户提供实际指导，促进负责任的LLM应用程序的开发。本质上，我们通过深入探讨以下四个关键方面来探索转型潜力和不断变化的领域：

“具备内置负责任人工智能实践的大型语言模型（LLM）中的提示工程的演变趋势” 四海第2张

图1：将LLMs应用于各种业务用例的四个关键维度的技术栈示意图

1. 提示工程：目标是通过精细的提示引导LLMs进行有效的指令理解和执行。高效利用LLMs的核心在于提示工程的艺术，它涉及到为LLMs制定引导性的提示，为可靠的响应铺平道路。通过各种提示技术，如零/少样本、思维链（CoT）/自一致、ReAct等，来引导LLMs的输出。

2. 评估提示完成：目标是建立有效的评估标准，评估LLMs在任务和领域中的性能。衡量LLMs的性能是一个复杂的挑战，需要全面的评估标准来衡量LLMs的有效性。我们展示了以下评估标准和反馈机制，以引导LLMs朝着最佳性能和持续改进的方向。

自动评估
公共指标评估
人工评估
定制模型评估

3. LLM优化和部署：目标是提高LLM的可访问性，采用PEFT方法进行高效、经济的微调和部署。参数高效微调（PEFT）方法以及基于QLoRA的量化使LLMs更易访问和适应特定任务。这些方法确保LLMs不仅在微调方面表现出色，而且在部署时具有最小的计算需求和成本，从而与现实世界应用的资源限制相一致。

4. 负责任的人工智能：目标在于强调和解决LLMs中的伦理考虑，同时在AI应用程序的用户中建立信任。随着LLMs成为AI应用的一部分，伦理考虑变得至关重要。我们展示了以下不可或缺的负责任AI原则，以保护敏感信息、增强信任和检测偏见，促进消费者信心，并确保AI驱动的结果与社会价值相一致。

公平/偏见
可解释性
隐私
安全

在Course5 AI Labs，我们通过前沿的应用研究、创新和快速实验推动人工智能（AI）领域的进步。我们的AI增强分析解决方案之一是Course5 Discovery，它允许业务用户提出自然查询并使用描述性、预测性和规范性见解。以下是我们如何将上述四个维度应用于Course5 Discovery的流程示意图，可以概括为文本到SQL应用。

“具备内置负责任人工智能实践的大型语言模型（LLM）中的提示工程的演变趋势” 四海第3张

图 2：将四个维度应用于我们的 Course5 文本到 SQL 应用程序的示例

对于基于 LLMs 的 AI 应用程序，建议最初使用一个提供元数据作为 LLMs 指导的自定义模型。然后，可以通过反馈循环逐步改进这个可训练的自定义模型，如上图所示。

了解更多信息，请参加我们在 ODSC APAC 2023 的演讲：

大型语言模型（LLMs）的出现，如 GPT、Llama、PaLM，已经彻底改变了人工智能领域，并使组织能够重新想象和改造技术和业务生态系统。这些模型通过各种方式帮助创建独特的能力，无论是企业搜索、主题识别、摘要、对话机器人、内容生成等等。组织通过开箱即用的应用程序、提示工程和模型微调等手段利用 LLMs。尽管我们看到了早期的成功，但在各种业务用例中采用 LLMs 仍然是一个不断发展的领域。在这次演讲中，我们深入探讨了 LLMs 的前沿领域，重点关注四个关键维度：提示工程、评估、模型优化和部署，以及负责任的人工智能。

关于作者：

“具备内置负责任人工智能实践的大型语言模型（LLM）中的提示工程的演变趋势” 四海第4张 Rohit Sroch 是 Course5 Intelligence 人工智能实验室的高级 AI 科学家，拥有超过 5 年的自然语言处理和语音领域的经验。他在 Course5 产品部门的概念化和开发人工智能系统中起着关键作用。同时，他还积极参与他的研究工作，近年来发表了多篇研究论文。此外，他对不断发展的人工智能领域的热切兴趣驱使他进行持续的研究，并与最新的技术保持同步。

“具备内置负责任人工智能实践的大型语言模型（LLM）中的提示工程的演变趋势” 四海第5张

Jayachandran Ramachandran 是 Course5 Intelligence 人工智能实验室的高级副总裁和负责人。他负责应用人工智能研究、创新和知识产权开发。他是一位经验丰富的分析和人工智能（AI）思想领袖、设计思想家和发明家，在零售、消费品、技术、电信、金融服务、制药、制造业、能源、公用事业等多个行业领域拥有广泛的专业知识。