Month: November 2023

密歇根大学的一支研究团队提倡开发新的基准和评估协议，评估大型语言模型（LLM）的心智理论（ToM）能力。研究建议采用全面和情境化的评估方法，将机器ToM分为七个心理状态类别。该研究强调了对LLM心智状态的综合评估的必要性，将其视为物理和社交环境中的代理。 该研究解决了LLM中缺乏健壮的ToM和改善基准和评估方法的必要性。它指出了现有基准的不足之处，并提出了一种全面的评估方法，其中将LLM视为不同情境中的代理。研究强调了有关机器ToM的持续争论，强调了其限制和对更健壮的评估方法的呼吁。它旨在指导未来在将ToM与LLM整合并改善评估手段方面的研究。 对于人类的认知和社交推理来说，ToM是至关重要的，在AI中具有启用社交互动的重要性。研究对Chat-GPT和GPT-4等LLM是否拥有机器ToM提出了质疑，并强调了它们在复杂的社交和信念推理任务中的局限性。需要重新审查现有的评估协议，进行全面调查。它主张采用机器ToM分类和情境化评估方法，将LLM视为真实环境中的代理。 该研究引入了一种用于机器ToM的分类方法，并主张采用情境化评估方法评估LLM。文中对现有的基准进行了回顾，并进行了关于感知视角承担的文献调查。以网格世界中的一项试点研究作为概念验证。研究人员强调了谨慎设计基准的重要性，以避免捷径和数据泄漏，并突出了当前基准的局限性，这是由于有限的数据集访问。 该方法提出了机器ToM的分类方法，包括七个心智状态类别。它主张采用一种全面的、情境化的评估方法，以全面评估心智状态，并防止捷径和数据泄漏。文中以网格世界中的试点研究作为概念验证。它强调了当前ToM基准的局限性，并强调了开发具有高质量注释和私有评估集的新型可扩展标准的必要性。它建议采用公正的评估实践，并计划制定更全面的标准。 总之，该研究强调了在LLM中评估机器ToM的需要。提倡采用全面且情境化的评估方法，将LLM视为真实环境中的代理，并强调了谨慎策划基准的重要性，以防止捷径和数据泄漏。该研究强调了开发具有高质量注释和私有评估集的更大规模基准的重要性，并概述了未来系统基准发展的计划。 作为未来的工作，需要开发新的机器ToM基准，以解决未经探索的方面，避免捷径，确保具备高质量注释的可扩展性。应该关注公正的评估，记录提示和提出一种情境化的ToM评估方法，其中模型被视为各种情境中的代理。建议在情境设置中实施复杂的评估协议。尽管承认试点研究的局限性，但计划在未来进行系统的、更大规模的基准研究。

数据可视化以图形或图片形式呈现数据，帮助人们理解数据内的模式、趋势和见解。有效的数据可视化在数据分析中起着至关重要的作用。它使数据分析师能够探索复杂的数据集，理解模式，并向各利益相关者传达有意义的见解。如今，有许多工具可用于创建数据的可视化表示。然而，数据必须转化为整洁的格式才能创建可视化。 由于这需要编程经验或单独的数据处理工具，数据转换仍然是可视化工作的一道障碍。这要求一定的编程专业知识或熟悉额外的数据处理工具。它凸显了数据可视化的复杂性，并强调了数据分析师需要更简单、更无缝的流程来创建有效的可视化，无论他们的技术背景如何。 因此，研究人员在克服数据可视化障碍方面取得了重要进展。他们在人工智能（AI）和人机交互（HCI）领域的合作努力产生了一种创新工具，称为Data Formulator：一种由人工智能驱动的可视化创作工具，引入了数据表达的开创性范式。 Data Formulator旨在简化复杂的数据可视化过程。与传统方法相比，该工具区分高级可视化概念与数据处理的具体细节。数据分析师将其对可视化的想法描述为“数据概念”——希望看到的特定字段或类别，即使在原始数据中不存在。通过以这种方式表达自己的想法，分析师帮助AI代理理解他们的意思，使代理能够将概念与相关视觉关联起来，以促进可视化过程。 意识到分析师可能不清楚自己想要什么，Data Formulator通过展示数据可能的不同可视化方式来协助分析师。它给分析师提供了许多选择，使一切更加透明。不仅如此，Data Formulator还提供给分析师用于更改数据的AI程序和新数据本身。这使得分析师更容易查看所有内容，并使他们的想法在下次改进。 由Data Formulator派遣的AI代理将输入数据转换为突出显示这些概念的数据，创建所需的可视化效果。在展示结果时，Data Formulator提供反馈，以帮助作者理解和检查转换后的数据和可视化效果。 Data Formulator基于分析师的输入使用两种不同的方法：基于示例的概念定义和自然语言查询。对于前者，程序合成器生成一个专门的数据重新整形程序，而后者调用语言模型（LLM）生成代码，创建所描述的新数据类别。生成的转换后的数据编译成一个结构化表，与相应的可视化效果一起。 除了可视化外，这种方法还可以用于数据清理、整合、探索和故事叙述。理想的AI系统将遵循高级指令，在整个数据分析管道中建议操作，并促进用户与AI代理之间的合作，实现数据可视化目标。研究人员表示，创建能够成功向分析师传达结果的AI工具——即使结果不明确、模糊或不准确——对此合作至关重要。

苏黎世大学的研究人员关注大型语言模型（LLMs）在自主事实检查中的作用，评估它们在提出查询、检索上下文数据和做出决策时提供解释和引用的能力。结果表明，尤其是GPT-4，LLMs在上下文信息方面表现良好，但准确性因查询语言和论断真实性而异。虽然它在事实检查方面显示出了希望，但准确性上的不一致强调了需要进一步研究以更好地了解它们的能力和限制。 自动化事实检查研究在过去十年中以不同的方法和共享任务得到发展。研究人员提出了诸如主张检测和证据提取等组件，通常依赖于大型语言模型和维基百科等来源。然而，确保可解释性仍然具有挑战性，因为对事实检查裁决的明确解释对新闻工作至关重要。 随着网络上虚假信息的增加，事实检查的重要性也越来越大。虚假信息在2016年美国总统选举和英国脱欧公投等重大事件期间引起了激增。传统的人工事实检查必须改进以应对大量在线信息，这需要自动化的解决方案。像GPT-4这样的大型语言模型已经成为验证信息的重要工具。解释性在新闻应用中使用这些模型时面临挑战。 本研究评估了LLMs在事实检查中的使用情况，重点关注GPT-3.5和GPT-4。模型在两种条件下进行评估：一种是没有外部信息的情况，一种是有上下文信息的情况。研究人员提出了一种使用ReAct框架创建迭代代理的原始方法，用于自动化事实检查。该代理在决定是否结束搜索或继续查询时自主决策，旨在平衡准确性和效率，并用引用的推理证明其裁决理由。 提出的方法评估了LLMs用于自主事实检查的效果，结果显示GPT-4在PolitiFact数据集上的表现优于GPT-3.5。上下文信息显著提高了LLM的性能。然而，考虑到准确性在半真和大部分错误等细微类别中的变化，需要谨慎。该研究呼吁进一步研究，以提升对LLMs在事实检查任务中表现出色或失误的理解。 GPT-4在事实检查方面优于GPT-3.5，特别是在引入上下文信息后。然而，准确性因查询语言和论断真实性等因素而异，尤其在细微类别中。它还强调了在使用LLMs时告知人类监督的重要性，因为即使有10%的错误率也可能在今天的信息环境中产生严重后果，突出了人工事实检查员不可替代的角色。 进一步的研究对于全面了解LLM代理在事实检查中的优势和劣势条件至关重要。探索解释LLMs准确检测虚假陈述相对于真实陈述的因素，可以为提高准确性提供有价值的见解。