四海吧 Posts

越来越多的企业在当今数字时代创建和存储文件。尽管这些文件可能包含有用的信息，但有时很难阅读和理解。发票、表格和合同等视觉复杂的文件则更加困难。这些出版物中的布局、表格和图形可能使有用的信息难以解析。 为了填补这一知识差距并改进文件理解任务的进展跟踪，谷歌研究人员宣布推出了全新的视觉丰富文档理解（VRDU）数据集。基于文档理解模型通常处理的现实世界文档类型，他们提出了五个有效基准的标准。论文详细介绍了研究界中最常用的数据集在至少一个方面存在不足，而VRDU在每个方面都表现出色。谷歌的研究人员很高兴地宣布，VRDU数据集和评估代码现已根据创意共享许可协议对公众开放。 研究部门视觉丰富文档理解（VRDU）的目标是找到自动理解此类材料的方法。使用VRDU模型可以从文档中提取姓名、地址、日期和总数等结构化信息。发票处理、CRM和欺诈检测只是企业可能利用这些信息的几个例子。 VRDU面临许多障碍。各种文档类型的广泛存在是一个障碍。由于它们复杂的图案和排列，视觉丰富的文件提出了进一步的困难。VRDU模型必须能够处理打字错误和数据中的空白等不完善的输入。 尽管存在障碍，VRDU是一个有前途且快速发展的领域。VRDU模型可以帮助企业降低成本、提高效率，并提高操作的精度。 在过去的几年里，已经开发出了复杂的自动化系统，用于处理和转换复杂的业务文件为结构化对象。手动数据输入是耗时的；一个可以自动从收据、保险报价和财务报表等文档中提取数据的系统可能通过消除这一步骤大大提高企业的效率。基于Transformer框架构建的新模型显示出显着的准确性改进。这些业务流程还在借助像PaLM 2这样的更大型模型进行优化。然而，实际应用案例中观察到的困难在学术出版物中使用的数据集中没有得到反映。这意味着虽然模型在学术标准上表现良好，但在更复杂的实际应用环境中表现不佳。 测量标准 首先，研究人员将学术基准（如FUNSD、CORD、SROIE）与实际用例中的最新模型准确性（如与FormNet和LayoutLMv2相比）进行了对比。研究人员发现最新的模型在实践中的准确性明显低于学术基准。然后，他们将常见数据集与文档理解模型与学术基准进行比较，并制定了五个条件，以准确反映数据集在实际应用中的复杂性。 在他们的研究中，科学家遇到了各种用于结构化提取的丰富模式。数字、文本、日期和时间信息只是许多类型的实体数据中可能需要的一些，这些数据可能是必需的、可选的、重复的，甚至是嵌套的。实践中的典型问题应该在对简单的平面模式（标题、问题、答案）执行的提取操作中得到反映。 文档应该包含各种不同类型的复杂布局元素。当文档包含表格、键值对、单列和双列布局、不同部分的变量字体大小、带标题的图像和脚注时，问题就会出现。相比之下，关于长输入的经典自然语言处理研究通常关注大多数论文以句子、段落和章节与部分标题排列的数据集。 有用的基准应包含具有不同结构的模板。高容量模型可以快速记住给定模板的结构，使得从中提取数据变得轻松。基准的训练-测试拆分应该评估这种广义到新模板/布局的能力，因为这在实践中非常重要。 光学字符识别（OCR）结果应对所有提交的文档具有高质量。这个基准旨在消除不同OCR引擎对VRDU性能的影响。 文档应包含可以映射回匹配输入文本的地面实况注释，以便可以将各个标记作为其各自实体的一部分进行注释。这与传递实体值的文本的标准做法形成对比，以进行解析。这对于生成无噪声的训练数据至关重要，使得研究人员可以专注于其工作的其他方面，而无需对所提供的值进行意外匹配。如果税额为零，则收据上的“税前总计”字段可能与“总计”字段具有相同的值。通过在标记级别进行注释，可以避免训练数据中将匹配值的两个出现都指定为“总计”字段的地面实况，从而产生噪声示例。 VRDU中的数据集和任务 VRDU收集包括两个独立的公共数据集——注册表单数据集和广告购买表单数据集。这些数据集提供了适用于现实场景并满足上述五个标准的实例。 广告购买表单数据集中的641个文件描述了政治广告的各个方面。一个电视台和一个倡导组织分别签署了发票或收据。产品名称、播出日期、总费用和发布时间只是记录在文件的表格、多列和键值对中的一些细节。 注册表单数据集中有1915个文件，详细描述了在美国政府注册的外国代理人的背景和活动。每个文件中记录了必须公开的外国代理人从事的活动的重要细节。注册人的姓名、关联机构地址、注册的活动以及其他信息。 VRDU的最新发展 近年来，VRDU取得了许多进展。大规模语言模型（LLMs）就是其中之一。大规模表示相似度测量（LLMs）是在大规模文本和代码数据集上训练的，可以用来表示图文丰富文本的文本和布局。 “少样本学习技术”的创建是另一个重要的成就。借助少样本学习方法，VRDU模型可以快速学习从新颖文档类型中提取信息。这一点很重要，因为它扩展了VRDU模型可以应用的文本类型。 Google Research已经向研究界提供了VRDU基准。发票和表单是VRDU标准中包含的两个视觉丰富文档的示例。发票数据集中有10,000个发票，表单数据集中有10,000个表单。VRDU基准还提供了一套经过深思熟虑的工具，用于评估性能。 VRDU领域的研究人员将会发现这个基准是一个宝贵的工具。研究人员现在可以评估各种VRDU模型在相同文本语料库上的表现如何。VRDU基准不仅对发现问题有用，还可以帮助直接进行未来的研究。 使用VRDU模型可以从文档中提取结构化数据。…

人类评估一直被用来评估自然语言处理模型和算法对文本质量的表现。然而，人类评估有时并不一致，并且可能无法重复，因为很难招募相同的人类评估者并得到相同的评估结果，评估者使用了不同数量的因素，包括主观性或对评估标准的解释差异。 台湾大学的研究人员研究了“大规模语言模型”（使用大量可在网络上访问的文本数据进行训练的模型，从而学习使用人类语言）作为一种新的评估方法，以解决这个可重复性问题。研究人员向LLMs提供相同的指令、要评估的样本和问题，然后要求LLMs为这些问题生成回答。他们使用人类和LLM评估来评估两个自然语言处理任务中的文本：开放式故事生成和对抗性攻击。 在“开放式故事生成”中，他们通过使用大规模语言模型和人类评估来检查由人类和生成模型（GPT-2）生成的故事的质量，以验证大规模语言模型是否可以将人类编写的故事评分高于生成模型生成的故事。 为了做到这一点，他们首先生成了一个问卷（评估指南、生成的故事片段和评估问题），根据四个不同的属性（语法准确性、一致性、喜欢度和相关性）分别在Likert量表（5个级别）上进行评分。 在人类评估中，用户按照准备好的问卷进行回答。对于大规模语言模型的评估，他们将问卷作为提示输入，并获得大规模语言模型的输出。研究人员使用了四个大型语言模型T0、text-curie-001、text-davinci-003和ChatGPT。对于人类评估，研究人员使用了著名的英语教师。这些大规模语言模型和英语教师评估了200个人类编写的故事和200个GPT-2生成的故事。英语教师给出的评分显示出对人类编写故事的四个属性（语法性、连贯性、喜好度和相关性）的偏好。这表明英语教师可以区分生成模型生成的故事和人类编写的故事之间的质量差异。但是，T0和text-curie-001对人类编写的故事没有明显的偏好。这表明大规模语言模型在评估开放式故事生成方面比人类专家能力较差。另一方面，text-davinci-003对人类编写的故事和英语教师都显示出明显的偏好。此外，ChatGPT也对人类编写的故事给出了更高的评分。 他们还研究了一个对抗性攻击任务，测试人工智能对句子进行分类的能力。他们测试了将句子分类为某种敌对攻击（使用同义词轻微改变句子）的能力。然后评估攻击对人工智能对句子进行分类的影响。他们使用了一个大规模语言模型（ChatGPT）和一个人类进行这个任务。 对于对抗性攻击，英语教师（人类评估）对敌对攻击产生的句子在流畅性和意义保持方面评分低于原始句子。此外，ChatGPT对敌对攻击句子给出了比英语教师更高的评分。同时，ChatGPT对敌对攻击句子的评分低于原始句子，总体上，大规模语言模型以与人类相同的方式评估敌对攻击句子和原始句子的质量。 研究人员指出了大规模语言模型评估的以下四个优点：可重复性、独立性、成本效益和速度、以及减少对不可接受内容的曝光。然而，大规模语言模型也容易对事实产生误解，并且学习方法可能引入偏见。此外，这些模型缺乏情感可能会限制它们在涉及情感的任务评估中的功效。人类评估和大规模语言模型的评估具有独特的优势和弱点。通过人类和这些大规模模型的结合，可能可以实现最佳效用。

I had trouble accessing your link so I’m going to try to continue without it. 将以下HTML代码翻译成中文（保留HTML代码）： 大型语言模型（LLMs）生成连贯、上下文相关且语义有意义的文本的能力变得越来越复杂。尽管取得了这些进展，LLMs经常提供不准确、可疑和荒谬的结果。因此，不断评估和改进生成结果的技术对于更可信赖的语言模型将会有所帮助。LLMs的帮助下，语言模型的输出得到了增强。在当前的工作中，一些人训练实用函数，以在信息寻求对话任务中对生成的自然语言进行反馈。相反，其他人使用指令提示来创建模型生成的输出文本的多方面评估分数，涵盖各个领域。 尽管最初的研究未能对复杂的数学和推理等任务的模型输出产生反馈，只提供了对输出响应的一般反馈，但最近的一项研究通过指导调整LLM来为其回复创建自我反馈。在这项研究中，来自Meta AI Research的研究人员介绍了Shepherd，一种专门优化用于评估模型生成输出的语言模型。他们的目标是开发一个能够在许多领域提供评论的强大批评模型，尽管与之前的工作有着相似的目标。他们的方法可以识别特定问题，包括事实性、逻辑缺陷、连贯性和一致性，并在需要改进结果时提出修改建议。 表1：来自Stack Exchange和人工注释的训练数据示例 更准确地说，Shepherd可以提供包括深入主题知识、改进建议和广泛判断和推荐的自然语言反馈。他们开发了两个独特数据集的高质量反馈数据集，以改进Shepherd并对其进行评估：（1）社区反馈，从在线论坛中策划，以捕捉更多样化的互动；（2）人工注释的输入，收集了许多任务的生成结果。请参见表1中的示例。在这些数据集的混合训练下，Shepherd表现出色，在多个下游任务上超过了ChatGPT模型。社区数据比人工注释数据更有用和多样化。然而，通过对社区反馈和人工注释反馈数据的仔细研究，可以发现社区反馈往往更不正式。 由于这些细微差别，Shepherd可以对各种任务提供反馈，并且他们发现使用高质量的人工注释数据来微调模型可以提高模型性能。他们将Shepherd产生的反馈与Alpaca、SelFee和ChatGPT等尖端基线模型进行比较，并进行了基于模型和人类的评估。他们发现Shepherd的批评经常受到其他模型的青睐。例如，Alpaca倾向于赞扬每个模型的答案，这会产生许多不准确的反馈。SelFee经常忽略模型的答案，或者立即回答查询，而不提供可能识别错误的反馈。 他们发现ChatGPT在各种评估情况下更一致，并且在提供准确判断的评论方面表现更好。总之，他们创建了Shepherd，一种新颖的模型，可以对任何LLM生成的内容提供全面的批评，从而提高其质量。通过仔细分析生成的投诉，他们展示了Shepherd在各种生成任务中的有效性。创建一个一流的反馈数据集，可能有助于未来在这一领域的研究，也是他们工作的另一个重要补充。