加州大学伯克利分校的研究团队引入了Starling-7B，一个采用AI反馈强化学习（RLAIF）的开源大型语言模型（LLM）。借助先进的GPT-4标记的排名数据集Nectar以及精心设计的奖励训练和策略调整流程，Starling-7B-alpha在语言模型性能方面树立了新的标准，在MT-Bench上超越了所有模型，除了OpenAI的GPT-4和GPT-4 Turbo。
强化学习的潜力
虽然监督微调在聊天机器人系统开发中已经表现出了有效性，但是强化学习从人类反馈（RLHF）或AI反馈（RLAIF）中提升模型在规模上的潜力一直受到了有限的探索。早期的模型，如Zephyr-7B和Neural-Chat-7B，在与领先的监督微调（SFT）模型相比没有充分展示RLHF的潜力。
为了弥补这一差距，研究团队推出了Nectar，一个精心设计的高质量排名数据集，专门为聊天而量身定制，包括183K个提示和380万个成对比较。该数据集旨在促进对RLHF的更全面研究，提供了从各种模型中获取的多样化的提示。
奖励模型Starling-RM-7B-alpha的发布以及在HuggingFace上进行的精调LLM模型Starling-LM-7B-alpha的发布，标志着开源人工智能研究的重要进展。值得注意的是，该模型的MT-Bench分数从7.81上升到令人印象深刻的8.09，伴随着AlpacaEval的显著提高，将聊天机器人的有用性从88.51%提升至91.99%。
模型评估
评估Starling-7B存在独特的挑战。随着RLHF后LLM表现出卓越的有用性和安全特性，MT-Bench和AlpacaEval分数的提高证明了这一点。然而，它在基于知识的问答、数学和编码方面的基本能力仍然保持稳定或略有下降。
将其纳入LMSYS聊天机器人竞技场进行直接聊天和匿名比较提供了测试人类偏好的平台。评估还突出了使用OpenLLM排行榜作为聊天模型基准的局限性，强调了Alpaca Eval和MT-Bench提供的微妙评估的重要性。
合成偏好数据的Goodhart定律
需要考虑的一个关键方面是合成偏好数据的Goodhart定律。虽然更高的MT-Bench分数表示根据GPT-4的改进模型性能，但不一定与人类偏好相关。RLHF主要增强了响应风格，特别是在有用性和安全性等方面，展示了在线RL方法在广泛的偏好数据上的扩展潜力。
局限性
尽管Starling-7B表现出色，但在涉及推理或数学任务方面仍存在局限性。此外，对越狱提示的敏感性和偶尔输出过于冗长的问题也得到了承认。研究团队致力于持续改进，欢迎社区的合作，以加强开放数据集、奖励模型和使用RLHF的语言模型。
我们的观点
以其RLAIF方法和细致入微的数据集创建，Starling-7B体现了强化学习在语言模型中的潜力。尽管仍面临挑战和限制，但对改进的承诺以及与更广泛社区的合作，使Starling-7B成为人工智能研究领域中前沿的标杆。请继续关注更多更新，团队将深入探讨RLHF机制的优化和对人工智能安全研究的贡献。