大型语言模型（LLMs）在自然语言处理（NLP）方面最近取得了重要进展。现有研究表明，LLMs在无需特定任务微调的情况下，通过专门创建的提示语可以具备强大的零射击和少射击能力来完成各种任务。尽管它们非常有效，但根据目前的研究，LLMs可能会产生与事实知识不符的虚假信息，并且无法掌握领域特定或实时专业知识。通过向LLMs添加外部知识源，可以直接解决这些问题以修复错误的生成。
结构化数据，如数据库和知识图谱，已经被广泛用于在各种资源之间传递LLMs所需的知识。然而，由于结构化数据使用LLMs在预训练期间未接触到的独特数据格式或架构，它们可能需要帮助才能理解这些数据。与纯文本不同，结构化数据以一致的方式排列，并遵循一定的数据模型。数据表通过行按列索引记录进行排列，而知识图谱（KGs）通常以描述头实体和尾实体之间关系的事实三元组进行组织。
尽管结构化数据的体积通常很大，但无法将所有数据记录都放入输入提示中（例如，ChatGPT的最大上下文长度为4096）。将结构化数据线性化为LLMs可以轻松理解的语句是解决这个问题的简单方法。工具操作技术激励它们增强LLMs在上述困难中的能力。他们的策略背后的基本思想是使用专门的接口来修改结构化数据记录（例如，提取表格的列）。借助这些接口，他们可以更准确地定位完成特定活动所需的证据，并成功限制数据记录的搜索范围。
这项研究来自中国人民大学、大数据管理与分析方法北京市重点实验室和中国电子科技大学的研究人员，他们的研究重点是为特定任务设计适当的接口，并将它们用于LLMs的推理，这是应用接口增强方法需要解决的两个主要问题。以这种方式，LLMs可以根据从接口收集的证据做出决策。为此，他们在这项研究中提供了一种名为StructGPT的迭代阅读-推理（IRR）方法，用于根据结构化数据解决任务。他们的方法考虑了完成各种活动的两个关键任务：收集相关数据（阅读）和假设正确的响应或制定下一步行动的策略（推理）。
据他们所知，这是第一项研究，探讨如何帮助LLMs在各种形式的结构化数据（如表格、知识图谱和数据库）上进行推理，使用单一范式。从根本上讲，他们将LLMs的阅读和推理过程分开：他们使用结构化数据接口来实现精确、有效的数据访问和过滤，并依靠其推理能力来确定下一步行动或查询的答案。通过外部接口，他们特别建议一种调用线性化生成过程，以帮助LLMs理解和在结构化数据上做出决策。通过使用提供的接口重复这个过程，他们可以逐渐接近对查询的期望响应。
他们对各种任务（如基于知识图谱的问题回答、基于表格的问题回答和基于数据库的文本到SQL）进行了全面的实验，以评估他们的技术的有效性。在八个数据集上的实验结果表明，他们提出的方法可以显著提高ChatGPT在结构化数据上的推理性能，甚至达到与完全数据监督调优方法相竞争的水平。
• 知识图谱问答（KGQA）。他们的方法使KGQA挑战中WebQSP的Hits@1增加了11.4%。借助他们的方法，ChatGPT在多跳KGQA数据集（如MetaQA-2hop和MetaQA-3hop）上的性能可以提高62.9%和37.0%。
• 问题回答表格（QA Table）。在TableQA挑战中，与直接使用ChatGPT相比，他们的方法可以将WTQ和WikiSQL中的指示准确性提高约3%到5%。在TabFact中，他们的方法可以将表格事实验证的准确性提高4.2%。
• 文本到SQL。在Text-to-SQL挑战中，他们的方法相对于直接使用ChatGPT，将执行准确率在三个数据集上提高了约4%。
作者已经发布了Spider和TabFact的代码，这可以帮助理解StructGPT的框架，整个代码库尚未发布。