Month: September 2023

在不断发展的软件开发领域中，对高效和高产的编码工具的需求变得日益迫切。开发人员面临着编写强大、有良好文档的代码以及在调试和代码完成的复杂性中航行的挑战。随着代码库变得越来越复杂，解决这些挑战的创新解决方案变得至关重要。传统的编码工具和方法虽然有用，但有时可能无法满足现代软件开发的需求。 现有的编码工具和框架为程序员提供了宝贵的支持，从提供代码建议和完成的集成开发环境（IDE）到基于代码的语言模型（LM），可以根据提示生成代码片段。然而，这些工具在准确性、效率和全面性方面通常存在限制。现代编码任务的复杂性需要更先进的方法，能够理解自然语言指令和复杂的代码逻辑。 请见Code Llama，Meta AI在生成式AI编码方面的突破性进展。通过在代码特定数据集上进一步训练最先进的Llama 2模型开发，Code Llama弥合了自然语言指令和复杂代码生成之间的鸿沟。具有提高生产力和提供编码协助的潜力，Code Llama成为各技能水平开发人员的创世者。 Code Llama是一个多功能工具，具有满足不同编码需求的多个功能。它可以生成代码片段，并提供关于代码的自然语言解释，协助完成代码和帮助调试任务。支持Python、C++、Java等流行的编程语言，Code Llama针对各种编码场景进行了量身定制。 Code Llama的一个突出特点是其能够处理更长的输入序列，使开发人员能够提供更多来自其代码库的上下文。这导致更相关和准确的代码生成，特别适用于在大型代码库中调试复杂问题。 为了评估Code Llama的效果，进行了广泛的基准测试，使用了流行的编码挑战。Code Llama的性能与开源的基于代码的语言模型以及其前身Llama 2进行了比较。结果令人印象深刻，Code Llama的34B版本在HumanEval和Mostly Basic Python Programming (MBPP)等编码基准测试中取得了高分。这些分数超过了现有解决方案，并展示了它在广泛认可的AI模型中的竞争优势。 在编码工具领域，Code Llama以其变革性的工具而脱颖而出，它有潜力重塑开发人员处理任务的方式。通过提供开放和社区驱动的方法，Code Llama鼓励创新并倡导负责任和安全的AI开发实践。…

LLM已经改变了语言处理（NLP）的思考方式，但其评估问题仍然存在。旧的标准最终变得无关紧要，因为LLM可以使用语言数据以人类水平（OpenAI，2023）进行NLU和NLG。 针对像闭书问答（QA）为基础的知识测试、以人为中心的标准化考试、多轮对话、推理和安全评估等领域的新基准的迫切需求，NLP社区提出了新的评估任务和涵盖各种技能的数据集。 然而，这些更新的标准仍然存在以下问题： 任务格式对可评估的能力施加了限制。大多数这些活动使用单轮QA风格，使其不能充分评估LLM的全面性。 操纵基准很简单。在确定模型的有效性时，测试集不被以任何方式破坏至关重要。然而，由于已经训练了如此多的LLM信息，测试用例与训练数据混合的可能性越来越大。 开放型QA目前可用的度量标准是主观的。传统的开放式QA评估包括客观和主观的人工评分。在LLM时代，基于文本段匹配的度量已不再相关。 研究人员目前正在使用基于良好对齐的LLM（如GPT4）的自动评分器来降低人工评分的高成本。虽然LLM对某些特征有偏见，但该方法的最大问题是无法分析超过GPT4级别的模型。 由PTA Studio、宾夕法尼亚州立大学、北京航空航天大学、中山大学、浙江大学和华东师范大学最近进行的研究提出了AgentSims，这是一种用于为LLM策划评估任务的架构，它具有交互式、视觉吸引力和基于编程的特点。AgentSims的主要目标是通过消除研究人员在编程水平差异上可能面临的障碍来促进任务设计过程。 LLM领域的研究人员可以利用AgentSims的可扩展性和可组合性来研究组合多个计划、记忆和学习系统的效果。AgentSims的用户友好界面用于地图生成和代理管理，使其对行为经济学和社会心理学等各个学科的专家都易于使用。这样的用户友好设计对LLM行业的持续增长和发展至关重要。 研究论文称AgentSims比当前的LLM基准更好，当前的基准只测试少数技能，并使用容易解释的测试数据和标准。社会科学家和其他非技术用户可以通过图形界面的菜单和拖放功能快速创建环境和设计任务。通过修改代码的抽象代理、规划、记忆和工具使用类，AI专业人员和开发人员可以尝试各种LLM支持系统。目标驱动的评估可以确定任务的成功率。总之，AgentSims通过基于明确目标的各种社会模拟来促进跨学科社区发展健壮的LLM基准。