Tag: Artificial intelligence

最近，LLM模型被广泛应用于语言编程相关的活动中，成为强大的语言代理人。尽管取得了令人印象深刻的进展，但在实际的编程环境需求中，这些模型在静态实验环境下展现的能力与不断变化的实际编程场景之间仍存在很大差距。 标准代码生成基准测试评估LLM模型能否从零开始生成新的代码。然而，编程规范很少需要从头开始生成所有代码组件。 在编写实际应用程序的代码时，通常会使用现有的公开库。这些开发的库为各种挑战提供了强大的、经过实战检验的解决方案。因此，评估代码LLM模型的成功应该不仅限于函数产生的能力，还包括其能够正确使用参数的能力。 耶鲁大学、南京大学和北京大学的一项新研究提出了ML-BENCH，这是一个真实且全面的基准数据集，用于评估LLM模型理解用户指令、浏览GitHub仓库和产生可执行代码的能力。ML-BENCH提供了高质量、可教授的满足指令要求的代码。ML-BENCH由9,444个示例、130个任务和14个流行的机器学习GitHub仓库组成。 研究人员在他们的调查中使用Pass@k和参数命中精度作为度量标准。使用这些工具，他们在ML-BENCH环境中探索了GPT-3.5-16k、GPT-4-32k、Claude 2和CodeLlama的潜力。ML-BENCH为LLM模型提供了新的测试。实证结果显示，GPT模型和Claude 2的表现远远超过CodeLlama。虽然GPT-4相对于其他LLM模型表现出了显著的性能提升，但在实验中仅完成了39.73%的任务。其他众所周知的LLM模型出现了幻觉和表现不佳。研究结果表明，LLM模型不仅需要编写代码，还需要理解详尽的文档。这项技术的关键贡献是ML-AGENT的提出，它是一种自主语言代理人，旨在通过错误分析来解决发现的不足。这些代理人可以理解人类语言和指示，生成高效的代码并完成困难的任务。 ML-Bench和ML-Agent代表了自动化机器学习过程的艺术水平的重大进展。研究人员希望这能引起其他研究人员和实践者的兴趣。

大型语言模型的复杂性越来越高，评估也变得更加困难。社区在相对短的时间内产生了许多基准，但基准分数并不总是与实际性能相对应。一些证据表明，许多流行的基准测试可能使用了用于微调和预训练的有缺陷的数据集。 尽管普遍认为这是一个重要问题，但找出污染源一直很困难。N-gram叠加和嵌入相似性搜索都得到了广泛应用。字符串匹配在GPT-4、PaLM和Llama等最新创新中被广泛使用，用于N-gram叠加污染的检测。然而，其精确度略低。嵌入相似性搜索会查看先前训练模型（如BERT）的嵌入，以发现相关且可能被污染的样本。然而，在决定相似性水平时在召回率和精确度之间找到平衡可能很困难。此外，模型训练中有一种新兴趋势，即使用由LLM（例如GPT-4）生成的合成数据，使用字符串匹配来识别污染可能更加困难。 为了研究去污方法，美国加州大学伯克利分校和上海交通大学进行了一项新研究，引入了“重新表述样本”的概念，其语义与原始样本相同，但很难通过现有的污染测试来识别。LLM通过将测试样本翻译和改写成另一种语言生成重新表述样本。研究人员证明，如果将这种重新表述的示例用于训练，则产生的模型对过度拟合非常敏感，并且可以在测试基准上实现极高的性能。使用精细校准的13B Llama模型可以与GPT-4在所有基准测试中的性能匹敌，同时通过N-gram叠加作为污染而不被察觉。这种行为在广泛使用的基准测试如MMLU、GSM-8k和HumanEval中观察到。因此，识别重新表述样本的能力至关重要。 研究人员解释了传统去污技术的缺陷，并提出了一种新颖的基于LLM的方法。为了确定任何前k个样本是否与测试实例过于相似，他们首先应用嵌入相似性搜索来找到与所讨论的测试样本最相似的模型。结果证明，他们建议的LLM去污方法优于传统技术。他们在用于微调和预备训练的各种热门数据集上测试了他们的去污器。同时还发现，GPT-3.5的合成数据集CodeAlpaca中有相当一部分重新表述样本来自HumanEval（确切地说，占12.8%）。这暗示了在使用LLM生成的假数据进行训练时可能存在污染的潜在可能。 研究人员建议社区为使用公共基准测试来评估LLM建立更全面的去污流程。他们希望创建新的一次性测试，如Codeforces和Kaggle竞赛，以公平评估LLM并克服这些基本问题。

来自斯坦福大学和北卡罗来纳大学教堂山分校的研究人员解决了由语言模型产生的事实不准确的音调，也称为幻觉。在无需人工标注的情况下，研究人员对语言模型进行了微调，以增强在开放式生成环境中的事实准确性。利用自然语言处理的最新创新，他们采用了通过与外部知识库一致性评估事实性的方法，并使用直接偏好优化算法进行微调。该方法显著改善了Llama-2的事实性，大大降低了生成传记和医学问题回答方面的事实错误率，达到了7B规模。 各种策略旨在减轻语言模型中的事实错误，包括提示、内部表示扰动和基于检索的方法。在冲突解决和事实保持方面存在挑战，尤其是随着模型规模的增大。FactScore变种采用了训练期间的检索来解决推理时间复杂度的问题。通过微调实现的基于偏好的学习能够有效减少错误事实。该研究引入了一种无参考方法，利用语言模型的不确定性估计真实性。从自动生成的偏好对中学习事实性成为一种省时高效的方法，展示了不需要人工干预的潜力性改进。 该研究侧重于无限制生成环境，提出了一种通过微调语言模型来改善事实性的方法，无需人工标注。他们利用最新的自然语言处理创新，包括通过外部知识库判断事实性和使用直接偏好优化算法。该方法涉及从自动生成的事实性偏好排序中学习，与基准数据集上的其他策略相比，生成传记和回答医学问题的事实错误率显着降低。 本研究在判断事实性方面结合了与外部知识库一致性或模型置信度评分。 使用直接偏好优化算法进行微调，侧重于超越监督模仿的目标。它提出使用现有的检索系统或新颖的无检索方法，从自动生成的事实性偏好排序中学习。评估包括FactScore等自动度量标准，人工评估者的观点，以及与推理时间干预和对比层解码等方法的比较。 该方法证明了从自动生成的事实性偏好排序中学习以提高语言模型事实性的有效性。经过微调的Llama-2模型在生成传记方面的事实错误率降低了58％，在回答医学问题方面降低了40％，与RLHF或解码策略相比。 人工评估者认为FactTune-FS模型优于SFT模型。 GPT-4评估和FactScore评级显示高相关性，表明FactTune-FS在减少事实错误方面取得了成功。 该研究提出了改善语言模型事实性的有效策略，着重于长篇生成。 探索了两种方法：利用外部知识进行基于参考的真实性估计和利用模型的不确定性进行无参考估计。 用任一方法微调语言模型始终能减少错误事实。 无参考方法为事实性改进提供了可扩展的自我监督策略，无需金标准参考语料库。 实验结果显示出有希望的研究方向，建议进一步探索结合事实性调整方法并将方法扩展至更大模型。 未来的研究建议探索事实性调整与现有方法的组合，例如事实性调整DOLA实验。 建议进一步研究将事实性增强的解码技术与事实性调整过程相结合以提高事实性。 通过评估不同方法的组合效果，如事实性调整和推理时间干预，可以提供关于补充机制的见解。 建议研究较简单的提取原子事实的方法，并将事实性调整方法扩展到更大模型，如GPT-4。

华盛顿大学和微软的研究人员引入了一个前沿的概念：通过先进的机器学习算法推动的具有语义听觉能力的降噪耳机。这一创新赋予佩戴者选择他们希望听到的声音，同时消除其他所有听觉干扰的能力。 团队详细阐述了推动他们创新努力的核心障碍。他们强调了现有降噪耳机的问题，强调它们无法具备鉴别和隔离环境中特定声音所需的实时智能能力。因此，实现佩戴者听觉体验与他们的视觉感知之间的无缝同步成为一个关键问题。任何对听觉刺激的处理延迟都被视为不可接受；它必须几乎瞬间发生。 与主要专注于消除传入声音或过滤特定频率的传统降噪耳机不同，这一开创性的原型采取了一种不同的方法。它使用了一个分类系统来处理传入声音，允许用户通过选择他们想要听到的声音来个性化他们的听觉体验。 原型的潜力通过一系列试验得到了证明。从在吸尘器噪音中进行对话，到忽视街头喧闹，专注于鸟鸣，甚至在保持警觉听取交通喇叭声时减轻建筑杂音。该设备通过消除环境噪音促进冥想，除了一个标志着结束的闹钟声。 实现快速声音处理的关键在于充分利用用户的智能手机这一更强大的设备，而不仅仅是集成在耳机中。这一设备承载着一个专门设计用于双耳声音提取的神经网络，研究人员表示这是一个开创性的壮举。 在实验过程中，该团队成功地使用了20个不同的声音类别，证明了他们基于Transformer的网络在连接的智能手机上仅需6.56毫秒就能执行。在新颖的室内和室外情景中进行的真实世界评估证实了概念验证系统在提取目标声音的同时保留其双耳输出中的空间线索的效果。 这项降噪技术领域的开创性进展有着广阔的应用前景，可以提升不同环境中用户的体验。通过让个人实时定制他们的听觉环境，这些下一代耳机超越了之前的限制。随着团队继续完善这一创新并准备发布代码，个性化音景触手可及的未来前景似乎更加接近现实。