GPT模型是OpenAI开发的ChatGPT聊天机器人背后的变压器架构，它基于通过仅几个例子学习任务的概念。这种称为上下文学习的方法，使模型避免了使用数千个输入文本进行微调，只使用特定于任务的示例作为输入就能学习在不同任务上表现良好。针对特定任务微调模型可能非常昂贵，因为GPT是一个具有数十亿参数的“大”语言模型，由于在微调期间需要更新所有模型参数，因此相对而言成本较高。
上下文学习在代码生成、问答、机器翻译等方面得到了有效应用，但在图机器学习任务中仍然存在局限性和挑战。一些图机器学习任务包括识别在社交网络上传播半真半假或虚假新闻的传播者和跨电子商务网站的产品推荐。上下文学习在制定和建模这些任务的过程中面临局限性，无法形成和建模统一的任务表示，使模型能够处理各种任务而无需重新训练或参数调整。
最近，一组研究人员在其研究论文中介绍了PRODIGY，这是一个预训练框架，可实现在图形上下文中学习。PRODIGY（Pretraining Over Diverse In-Context Graph Systems）使用提示图表示形式来制定上下文学习。提示图作为上下文图任务表示，集成了节点、边缘和图级机器学习任务的建模。提示网络将输入节点或边缘与其他标签节点连接，并对提示示例和查询进行上下文化。这种互连表示允许指定各种图形机器学习任务到同一模型中，而不受图形大小的限制。
由斯坦福大学和卢布尔雅那大学的研究人员提出，团队设计了一种图形神经网络架构，专门用于处理提示图，并有效地对图结构化数据进行建模和学习。所提出的设计利用GNN教授提示图的节点和边缘的表示。此外，还引入了一系列上下文预训练目标，以指导学习过程，提供监督信号，使模型能够捕获相关的图形模式并在不同的任务中进行推广。
为了评估PRODIGY的性能和有效性，作者在涉及引文网络和知识图的任务上进行了实验。引文网络代表科学论文之间的关系，而知识图则捕获有关不同领域的结构化信息。使用上下文学习对预训练模型进行了测试，并将结果与硬编码适应性的对比预训练基线和使用有限数据的标准微调进行了比较。PRODIGY在准确性方面平均优于对比预训练基线的硬编码适应性18％。当应用上下文学习时，与标准微调相比，平均提高了33％。
总之，PRODIGY在基于图形的场景中似乎很有前途，如图机器学习应用中的上下文学习。它甚至可以在以前未见过的图形上执行下游分类任务，使其更加有效和有益。