图神经网络 (GNNs) 和大型语言模型 (LLMs) 已经成为人工智能的两个主要分支，在学习来自图结构和自然语言数据方面取得了巨大成功。
随着图结构和自然语言数据在现实世界应用中日益相互连接，对于能够进行多模态推理的人工智能系统的需求越来越大。
本文探讨了综合图语言架构，结合了图神经网络 (GNNs) 和大型语言模型 (LLMs) 的互补优势，以增强分析能力。
现实世界的场景通常涉及具有结构和文本两种形式的相互连接数据。这就需要综合架构，能够通过统一 GNNs 和 LLMs 的互补优势来进行多方面推理。
具体而言，虽然 GNNs 通过图上的信息传递来聚合局部模式，节点嵌入在捕捉丰富特征方面受到限制。
相比之下，LLMs 表现出卓越的语义推理能力，但在处理 GNNs 内在理解的结构拓扑关系方面存在困难。
融合这两种范式可以进行更多上下文的、有见地的分析。
最近，融合 GNN 编码器和 LLM 解码器互补优势的综合图语言架构备受关注。
正如一篇综述论文（Li et al. 2023）中总结的那样，这些综合方法可以根据 LLMs 扮演的角色进行分类：
综合图与大型语言模型的调查：进展和未来方向
图在代表和分析诸如实际应用中的复杂关系方面起着重要作用，例如…
synthical.com
LLM 作为增强器：LLMs 强化节点嵌入和文本特征，以提高 GNN 在文本属性图上的表现。技术可以通过利用额外的 LLM 生成的信息进行基于解释的增强，或者直接输出基于嵌入的增强。
LLM 作为预测器：利用 LLMs 的生成能力在图上进行预测。策略可以将图压缩成顺序文本描述，或者使用 GNNs 进行…