Tag: Technology

越来越多的企业在当今数字时代创建和存储文件。尽管这些文件可能包含有用的信息，但有时很难阅读和理解。发票、表格和合同等视觉复杂的文件则更加困难。这些出版物中的布局、表格和图形可能使有用的信息难以解析。 为了填补这一知识差距并改进文件理解任务的进展跟踪，谷歌研究人员宣布推出了全新的视觉丰富文档理解（VRDU）数据集。基于文档理解模型通常处理的现实世界文档类型，他们提出了五个有效基准的标准。论文详细介绍了研究界中最常用的数据集在至少一个方面存在不足，而VRDU在每个方面都表现出色。谷歌的研究人员很高兴地宣布，VRDU数据集和评估代码现已根据创意共享许可协议对公众开放。 研究部门视觉丰富文档理解（VRDU）的目标是找到自动理解此类材料的方法。使用VRDU模型可以从文档中提取姓名、地址、日期和总数等结构化信息。发票处理、CRM和欺诈检测只是企业可能利用这些信息的几个例子。 VRDU面临许多障碍。各种文档类型的广泛存在是一个障碍。由于它们复杂的图案和排列，视觉丰富的文件提出了进一步的困难。VRDU模型必须能够处理打字错误和数据中的空白等不完善的输入。 尽管存在障碍，VRDU是一个有前途且快速发展的领域。VRDU模型可以帮助企业降低成本、提高效率，并提高操作的精度。 在过去的几年里，已经开发出了复杂的自动化系统，用于处理和转换复杂的业务文件为结构化对象。手动数据输入是耗时的；一个可以自动从收据、保险报价和财务报表等文档中提取数据的系统可能通过消除这一步骤大大提高企业的效率。基于Transformer框架构建的新模型显示出显着的准确性改进。这些业务流程还在借助像PaLM 2这样的更大型模型进行优化。然而，实际应用案例中观察到的困难在学术出版物中使用的数据集中没有得到反映。这意味着虽然模型在学术标准上表现良好，但在更复杂的实际应用环境中表现不佳。 测量标准 首先，研究人员将学术基准（如FUNSD、CORD、SROIE）与实际用例中的最新模型准确性（如与FormNet和LayoutLMv2相比）进行了对比。研究人员发现最新的模型在实践中的准确性明显低于学术基准。然后，他们将常见数据集与文档理解模型与学术基准进行比较，并制定了五个条件，以准确反映数据集在实际应用中的复杂性。 在他们的研究中，科学家遇到了各种用于结构化提取的丰富模式。数字、文本、日期和时间信息只是许多类型的实体数据中可能需要的一些，这些数据可能是必需的、可选的、重复的，甚至是嵌套的。实践中的典型问题应该在对简单的平面模式（标题、问题、答案）执行的提取操作中得到反映。 文档应该包含各种不同类型的复杂布局元素。当文档包含表格、键值对、单列和双列布局、不同部分的变量字体大小、带标题的图像和脚注时，问题就会出现。相比之下，关于长输入的经典自然语言处理研究通常关注大多数论文以句子、段落和章节与部分标题排列的数据集。 有用的基准应包含具有不同结构的模板。高容量模型可以快速记住给定模板的结构，使得从中提取数据变得轻松。基准的训练-测试拆分应该评估这种广义到新模板/布局的能力，因为这在实践中非常重要。 光学字符识别（OCR）结果应对所有提交的文档具有高质量。这个基准旨在消除不同OCR引擎对VRDU性能的影响。 文档应包含可以映射回匹配输入文本的地面实况注释，以便可以将各个标记作为其各自实体的一部分进行注释。这与传递实体值的文本的标准做法形成对比，以进行解析。这对于生成无噪声的训练数据至关重要，使得研究人员可以专注于其工作的其他方面，而无需对所提供的值进行意外匹配。如果税额为零，则收据上的“税前总计”字段可能与“总计”字段具有相同的值。通过在标记级别进行注释，可以避免训练数据中将匹配值的两个出现都指定为“总计”字段的地面实况，从而产生噪声示例。 VRDU中的数据集和任务 VRDU收集包括两个独立的公共数据集——注册表单数据集和广告购买表单数据集。这些数据集提供了适用于现实场景并满足上述五个标准的实例。 广告购买表单数据集中的641个文件描述了政治广告的各个方面。一个电视台和一个倡导组织分别签署了发票或收据。产品名称、播出日期、总费用和发布时间只是记录在文件的表格、多列和键值对中的一些细节。 注册表单数据集中有1915个文件，详细描述了在美国政府注册的外国代理人的背景和活动。每个文件中记录了必须公开的外国代理人从事的活动的重要细节。注册人的姓名、关联机构地址、注册的活动以及其他信息。 VRDU的最新发展 近年来，VRDU取得了许多进展。大规模语言模型（LLMs）就是其中之一。大规模表示相似度测量（LLMs）是在大规模文本和代码数据集上训练的，可以用来表示图文丰富文本的文本和布局。 “少样本学习技术”的创建是另一个重要的成就。借助少样本学习方法，VRDU模型可以快速学习从新颖文档类型中提取信息。这一点很重要，因为它扩展了VRDU模型可以应用的文本类型。 Google Research已经向研究界提供了VRDU基准。发票和表单是VRDU标准中包含的两个视觉丰富文档的示例。发票数据集中有10,000个发票，表单数据集中有10,000个表单。VRDU基准还提供了一套经过深思熟虑的工具，用于评估性能。 VRDU领域的研究人员将会发现这个基准是一个宝贵的工具。研究人员现在可以评估各种VRDU模型在相同文本语料库上的表现如何。VRDU基准不仅对发现问题有用，还可以帮助直接进行未来的研究。 使用VRDU模型可以从文档中提取结构化数据。…

人类评估一直被用来评估自然语言处理模型和算法对文本质量的表现。然而，人类评估有时并不一致，并且可能无法重复，因为很难招募相同的人类评估者并得到相同的评估结果，评估者使用了不同数量的因素，包括主观性或对评估标准的解释差异。 台湾大学的研究人员研究了“大规模语言模型”（使用大量可在网络上访问的文本数据进行训练的模型，从而学习使用人类语言）作为一种新的评估方法，以解决这个可重复性问题。研究人员向LLMs提供相同的指令、要评估的样本和问题，然后要求LLMs为这些问题生成回答。他们使用人类和LLM评估来评估两个自然语言处理任务中的文本：开放式故事生成和对抗性攻击。 在“开放式故事生成”中，他们通过使用大规模语言模型和人类评估来检查由人类和生成模型（GPT-2）生成的故事的质量，以验证大规模语言模型是否可以将人类编写的故事评分高于生成模型生成的故事。 为了做到这一点，他们首先生成了一个问卷（评估指南、生成的故事片段和评估问题），根据四个不同的属性（语法准确性、一致性、喜欢度和相关性）分别在Likert量表（5个级别）上进行评分。 在人类评估中，用户按照准备好的问卷进行回答。对于大规模语言模型的评估，他们将问卷作为提示输入，并获得大规模语言模型的输出。研究人员使用了四个大型语言模型T0、text-curie-001、text-davinci-003和ChatGPT。对于人类评估，研究人员使用了著名的英语教师。这些大规模语言模型和英语教师评估了200个人类编写的故事和200个GPT-2生成的故事。英语教师给出的评分显示出对人类编写故事的四个属性（语法性、连贯性、喜好度和相关性）的偏好。这表明英语教师可以区分生成模型生成的故事和人类编写的故事之间的质量差异。但是，T0和text-curie-001对人类编写的故事没有明显的偏好。这表明大规模语言模型在评估开放式故事生成方面比人类专家能力较差。另一方面，text-davinci-003对人类编写的故事和英语教师都显示出明显的偏好。此外，ChatGPT也对人类编写的故事给出了更高的评分。 他们还研究了一个对抗性攻击任务，测试人工智能对句子进行分类的能力。他们测试了将句子分类为某种敌对攻击（使用同义词轻微改变句子）的能力。然后评估攻击对人工智能对句子进行分类的影响。他们使用了一个大规模语言模型（ChatGPT）和一个人类进行这个任务。 对于对抗性攻击，英语教师（人类评估）对敌对攻击产生的句子在流畅性和意义保持方面评分低于原始句子。此外，ChatGPT对敌对攻击句子给出了比英语教师更高的评分。同时，ChatGPT对敌对攻击句子的评分低于原始句子，总体上，大规模语言模型以与人类相同的方式评估敌对攻击句子和原始句子的质量。 研究人员指出了大规模语言模型评估的以下四个优点：可重复性、独立性、成本效益和速度、以及减少对不可接受内容的曝光。然而，大规模语言模型也容易对事实产生误解，并且学习方法可能引入偏见。此外，这些模型缺乏情感可能会限制它们在涉及情感的任务评估中的功效。人类评估和大规模语言模型的评估具有独特的优势和弱点。通过人类和这些大规模模型的结合，可能可以实现最佳效用。

I had trouble accessing your link so I’m going to try to continue without it. 将以下HTML代码翻译成中文（保留HTML代码）： 大型语言模型（LLMs）生成连贯、上下文相关且语义有意义的文本的能力变得越来越复杂。尽管取得了这些进展，LLMs经常提供不准确、可疑和荒谬的结果。因此，不断评估和改进生成结果的技术对于更可信赖的语言模型将会有所帮助。LLMs的帮助下，语言模型的输出得到了增强。在当前的工作中，一些人训练实用函数，以在信息寻求对话任务中对生成的自然语言进行反馈。相反，其他人使用指令提示来创建模型生成的输出文本的多方面评估分数，涵盖各个领域。 尽管最初的研究未能对复杂的数学和推理等任务的模型输出产生反馈，只提供了对输出响应的一般反馈，但最近的一项研究通过指导调整LLM来为其回复创建自我反馈。在这项研究中，来自Meta AI Research的研究人员介绍了Shepherd，一种专门优化用于评估模型生成输出的语言模型。他们的目标是开发一个能够在许多领域提供评论的强大批评模型，尽管与之前的工作有着相似的目标。他们的方法可以识别特定问题，包括事实性、逻辑缺陷、连贯性和一致性，并在需要改进结果时提出修改建议。 表1：来自Stack Exchange和人工注释的训练数据示例 更准确地说，Shepherd可以提供包括深入主题知识、改进建议和广泛判断和推荐的自然语言反馈。他们开发了两个独特数据集的高质量反馈数据集，以改进Shepherd并对其进行评估：（1）社区反馈，从在线论坛中策划，以捕捉更多样化的互动；（2）人工注释的输入，收集了许多任务的生成结果。请参见表1中的示例。在这些数据集的混合训练下，Shepherd表现出色，在多个下游任务上超过了ChatGPT模型。社区数据比人工注释数据更有用和多样化。然而，通过对社区反馈和人工注释反馈数据的仔细研究，可以发现社区反馈往往更不正式。 由于这些细微差别，Shepherd可以对各种任务提供反馈，并且他们发现使用高质量的人工注释数据来微调模型可以提高模型性能。他们将Shepherd产生的反馈与Alpaca、SelFee和ChatGPT等尖端基线模型进行比较，并进行了基于模型和人类的评估。他们发现Shepherd的批评经常受到其他模型的青睐。例如，Alpaca倾向于赞扬每个模型的答案，这会产生许多不准确的反馈。SelFee经常忽略模型的答案，或者立即回答查询，而不提供可能识别错误的反馈。 他们发现ChatGPT在各种评估情况下更一致，并且在提供准确判断的评论方面表现更好。总之，他们创建了Shepherd，一种新颖的模型，可以对任何LLM生成的内容提供全面的批评，从而提高其质量。通过仔细分析生成的投诉，他们展示了Shepherd在各种生成任务中的有效性。创建一个一流的反馈数据集，可能有助于未来在这一领域的研究，也是他们工作的另一个重要补充。

大型语言模型（LLMs）已经出现和发展，为人工智能领域增加了一种新的复杂性。通过密集的训练方法，这些模型已经掌握了一些惊人的自然语言处理、自然语言理解和自然语言生成任务，例如回答问题、理解自然语言推理和总结材料。它们还完成了与NLP不常见相关的活动，例如理解人类意图和执行指令。 像AutoGPT、BabyAGI和AgentGPT这样的应用程序利用LLMs实现了自主目标，这些应用程序的实现得益于所有NLP的进步。尽管这些方法引起了公众的浓厚兴趣，但评估LLMs作为代理的标准基线的缺失仍然是一个重大障碍。虽然过去已经使用基于文本的游戏环境来评估语言代理人，但由于其有限和离散的动作空间，它们经常存在一些缺点。此外，它们主要评估模型的常识基础能力。 大多数现有的代理人基准测试都专注于特定的环境，这限制了它们在各种应用场景中对LLMs进行全面评估的能力。为了解决这些问题，清华大学、俄亥俄州立大学和加州大学伯克利分校的研究人员提出了AgentBench，这是一个多维基准测试，旨在评估LLMs作为代理的能力在各种环境中。 AgentBench包含了八个不同的环境，其中五个是全新的：侧面思考难题（LTP）、知识图谱（KG）、数字卡牌游戏（DCG）、操作系统（OS）和数据库（DB）。最后的三个环境——家政（Alfworld）、在线购物（WebShop）和网络浏览（Mind2Web）——是从现有数据集进行改编的。这些环境都经过精心设计，以代表文本化的LLMs可以扮演自主代理的交互情境。它们严格评估LLM的关键能力，如编码、知识获取、逻辑推理和遵循指示，因此AgentBench成为评估代理和LLMs的全面测试平台。 利用AgentBench，研究人员对包括基于API和开源模型在内的25个不同的LLMs进行了深入分析和评估。研究结果显示，像GPT-4这样的顶级模型擅长处理各种现实世界的任务，这意味着可以创建高效能并不断适应的代理人。然而，这些顶级的基于API的模型在性能上明显不如它们的开源替代品。开源LLMs在其他基准测试中表现良好，但当他们面对AgentBench的困难任务时，它们表现不佳。这强调了进一步改进开源LLMs学习能力的需求。 研究的贡献可以总结如下： AgentBench是一个全面的基准测试，定义了标准化的评估程序，并引入了将LLMs作为代理进行评估的创新概念。它通过整合八个模拟现实世界情境的真实环境，为评估LLMs的各种能力提供了一个有用的平台。 该研究利用AgentBench对25个不同的LLMs进行了全面评估，揭示了领先的商业API型LLMs和开源替代品之间的显著性能差距。这种评估突出了LLM作为代理的当前状况，并确定了需要改进的领域。 该研究还提供了一个基于“API＆Docker”交互范式的集成工具集，使定制AgentBench评估过程更加容易。这个工具集对更广泛的研究社区可用，结合相关数据集和环境，促进了LLMs领域的合作研究和开发。

OpenAI通过引入一种名为GPTBot的新型网络爬虫工具，回应了在采集公共网站上的数据时出现的隐私和知识产权问题。这项技术旨在透明地收集公共网络数据，并将其用于训练他们的AI模型，一切都在OpenAI的旗帜下进行。 GPTBot的用户代理旨在收集有助于改进未来AI模型的数据。在此过程中，GPTBot将省略需要付费的来源。然而，需要注意的是，一些收集到的数据可能无意中包含可识别的信息或文本，从而违反了OpenAI的政策。 OpenAI认识到需要为网站管理员提供有关GPTBot平台访问的选项。授予访问权限被视为在提高AI模型的准确性、增强其功能和加强安全措施方面的一种合作方式。与此相反，OpenAI还为那些不希望将其网站包含在GPTBot数据收集工作中的人提供了一套程序。该指南包括将GPTBot指令整合到网站的robots.txt文件中，并配置其访问特定内容段。 为了更加透明，OpenAI已发布了与GPTBot活动相关的IP地址范围。此举不仅有助于识别机器人的行为，还提供了必要时阻止其访问的手段。 这些透明度举措突显了OpenAI对AI模型运营商所面临的批评的回应，这些运营商被指控在未经明确同意的情况下收集数据。普遍的观点认为，该行业的做法可能侵犯了知识产权和隐私保护，通过未经适当授权从公共网站收集内容。这反过来促使AI实体提供更全面的选择加入和退出机制，允许网站所有者和数据保管人对其内容的使用发表意见。 在相关发展中，Kickstarter的筹款平台最近引入了AI项目规定。这些规定包括一个重要要求，即利用外部数据源的项目必须提供来自源网站的适当许可协议和获得的同意的证据。未能履行此义务的项目将无资格在Kickstarter上列出。 预计在接下来的一周，OpenAI将进行一次重大改革，其中包括将基础ChatGPT层转换为GPT-4。此外，对Code Interpreter插件的增强将包括支持上传多个文件到提示，反映了OpenAI对持续改进和创新的承诺。

长期以来，人工智能的目标之一是创建能够与人们在现实世界中进行有机交流的机器人。现今的具身代理人可以执行简单的低级命令，例如“拿起蓝色的积木”或“经过电梯然后向右转”。然而，交互式代理人需要能够理解人们在“此时此地”之外使用语言的全部方式，包括知识传递（例如，“左上角的按钮关闭电视”），情境信息（例如，“我们没有牛奶了”）和协调（例如，“我已经清理过客厅了”）。 大部分孩子在书籍中阅读或从他人那里听到的内容都传达了关于世界的信息，无论是它如何运作还是它目前的状态。他们如何使代理人能够说其他语言？强化学习（RL）是一种教授以语言为条件的代理人解决问题的技术。然而，目前大多数使用的语言条件的RL技术是通过从任务特定的指令中产生动作来训练的，例如，通过将像“拿起蓝色的积木”这样的目标描述作为输入并生成一系列运动命令。直接将语言映射到最佳行动方案在考虑到自然语言在实际世界中扮演的各种角色时，提供了一个困难的学习挑战。 如果正在进行的工作是清理，代理人应该通过进行下一个清理步骤来回答，但如果是用餐，代理人应该收拾碗。以“我把碗放好了”为例。当语言不讨论任务时，语言与代理人最佳行动方案之间只有弱相关性。因此，仅通过将语言映射到活动的任务奖励可能是学习信号更好，以便学会使用各种语言输入完成任务。相反，他们建议，语言对代理人的一个统一功能是帮助进行未来预测。短语“我把碗放好了”可以使代理人更准确地预测未来的观察结果（例如，如果它打开柜子，它会看到碗）。 从这个意义上说，孩子们接触到的大部分语言可能根植于视觉经验。代理人可以使用先前的信息来预测环境变化，例如“扳手可以用来拧紧螺母”。代理人可以通过说“包裹在外面”来预期观察结果。这种范式还将常见的按照指令实践与预测术语结合起来：指令帮助代理人期待奖励。他们认为，预测未来表示为代理人提供了丰富的学习信号，有助于他们理解语言以及它如何与外部世界交互，类似于下一个令牌预测使语言模型能够构建内部对世界知识的表示。 加州大学伯克利分校的研究人员引入了Dynalang，一种通过在线经验获取世界的语言和视觉模型，并利用该模型理解如何行为的代理。Dynalang将使用该模型的行为学习（具有任务激励的强化学习）与使用语言模型（具有预测目标的监督学习）的世界建模分开。世界模型接收视觉和文本输入作为观察模态，这些输入被压缩为潜在空间。随着代理人与周围环境的互动，使用在线收集的数据，它训练世界模型预测未来的潜在表示。使用世界模型的潜在表示作为输入，他们训练策略采取决策以最大化任务奖励。 由于世界建模与行动是不同的，Dynalang可以在没有活动或任务奖励的情况下预先训练单模态（仅文本或仅视频数据）。此外，语言生成的框架可以统一：代理人的感知可以影响其语言模型（即其关于未来令牌的预测），从而使其能够通过在动作空间中生成语言来与环境进行交流。他们在各种语言环境中测试了Dynalang的性能。Dynalang学会了利用关于未来观察结果、环境动态和修正的语言线索，在多任务清洁房屋的环境中更快地完成家务。在Messenger基准测试中，Dynalang通过阅读游戏手册来匹配游戏的最难关卡，优于任务特定的架构。他们展示了Dynalang可以在视觉和语言复杂的环境中掌握指令，在视觉语言导航中超越了最先进的强化学习算法和任务特定的架构。 以下是他们所做的贡献： • 他们提出了Dynalang，一种使用未来预测来连接语言与视觉体验的代理。 • 他们展示了Dynalang通过学习理解各种类型的语言来应对各种任务，优于最先进的RL算法和任务特定设计。 • 他们证明了Dynalang的构想打开了新的可能性，包括在单一模型中将语言创作与纯文本预训练相结合，而无需行动或任务激励。