大型语言模型（LLMs）近几个月来引起了大量关注。这些模型通过回答相关问题、生成精确内容、翻译语言、总结长文本段落以及完成代码示例等方式模仿人类。LLMs正在迅速发展，定期推出强大的模型，展示出在代码生成任务中出色的性能。研究人员已经探索了几种技术，包括有监督的微调、指导微调、强化学习等，以提高预训练代码LLMs生成代码的能力。
最近的一项研究中，来自华为云有限公司、中国科学院和北京大学的研究人员团队引入了一种名为RRTF（Rank Responses to align Test&Teacher Feedback）的独特框架，成功而高效地增强了预训练大型语言模型的代码生成能力。RRTF框架旨在提高代码LLMs在代码生成活动中的性能，它使用自然语言LLM对齐技术和评级反馈而不是绝对奖励值。
从人类反馈中进行强化学习的方法，例如使用排名响应作为反馈而不是绝对奖励值的InstructGPT或ChatGPT等模型，为这种新颖方法提供了灵感，该方法将自然语言LLM对齐技术应用于代码LLMs。通过应用RRTF框架，该团队还引入了PanGu-Coder2模型，在OpenAI HumanEval基准测试中，该模型以出色的62.20%的一等通过率位居第一位。
通过在StarCoder 15B上使用该方法，该团队超越了PanGu-Coder并取得了所有记录的代码LLMs中最佳性能，证明了RRTF的实用性。对HumanEval、CoderEval和LeetCode三个基准的全面分析表明，代码LLMs在代码创作任务中可能能够超越相同或更大规模的自然语言模型。该研究还强调了高质量数据在提高模型遵循指令和编写代码能力方面的价值。
该团队总结了以下贡献：
- 引入了RRTF优化模式，该模式具有许多优点，使其成为一个与模型无关、简单直观和高效的方法。
- 引入了PanGu-Coder2模型，PanGu-Coder2的性能大幅超越原始模型约30%。HumanEval、CoderEval和LeetCode是一些展示这一显著速度提升的基准。
- PanGu-Coder2在代码生成方面超越了所有先前发布的代码LLMs，取得了新的最先进成就。
- 该团队讨论了他们在构建用于代码生成的良好训练数据方面的想法和实践知识。
- 使用RRTF框架训练了PanGu-Coder2模型，并提供了有关该过程的有益见解。
- 除了提高代码生成效率，该团队还提出了PanGu-Coder2使用的优化方法，以保证快速推理。这一领域的发现有助于创建现实部署方案，因为高效的推理对于实际应用至关重要。