

著名的大型语言模型(LLMs)如GPT,BERT,PaLM和LLaMA在自然语言处理(NLP)和自然语言生成(NLG)领域取得了一些重大进展。这些模型在大型文本语料库上进行了预训练,并在多个任务中表现出令人难以置信的性能,包括问答,内容生成,文本摘要等。
虽然LLMs已被证明能够处理纯文本,但在文本数据与图形的结构信息相连的应用中,处理图形推理任务变得越来越必要。研究人员一直在研究LLMs如何应用于基本图形推理任务,包括匹配子图,最短路径和连接推理。与LLMs的整合相关的图形应用包括纯图形,文本丰富的图形和文本配对的图形,具体的技术包括将LLMs用作任务预测器,图形神经网络(GNNs)的特征编码器或与GNNs对齐器,具体取决于它们的功能和与GNNs的交互。
LLMs在基于图形的应用中越来越受欢迎。但是,鲜有研究探讨LLMs和图形之间的相互作用。在最近的研究中,一组研究人员提出了一种系统地概述了大型语言模型与图形整合的情况和方法。目的是将可能的情况分为三个主要类别:文本丰富的图形,文本配对的图形和纯图形。团队分享了使用LLMs在图形上的具体方法,例如将LLMs用作对齐器,编码器或预测器。每种策略都有其优势和缺点,研究的目的是对比这些不同的方法。
该团队强调了这些技术的实际应用,展示了在与图形相关的活动中使用LLMs的好处。该团队分享了有关基准数据集和开源脚本的信息,以帮助应用和评估这些方法。结果强调了对这一快速发展领域进行更多调查和创造性的需求。
该团队总结了他们的主要贡献如下。
- 该团队通过系统分类使用语言模型在图形中的情况进行了贡献。这些情况被分为三类:文本丰富,文本配对和纯图形。这个分类法提供了一个理解这些不同环境的框架。
- 使用图形方法仔细分析了语言模型。评估总结了适用于各种图形环境的代表性模型,使其成为最全面的评估。
- 整理了与语言模型在图形上相关的大量材料,包括真实世界应用,开源代码库和基准数据集。
- 在语言模型在图形领域进一步研究方向上提出了六个可能的方向,深入探讨了基本理念。