Transformer模型最近越来越受欢迎。这些神经网络模型遵循顺序输入中的关系，比如句子中的单词，以学习上下文和含义。随着OpenAI提出的GPT 3.5和GPT 4等模型的引入，人工智能领域，特别是深度学习领域取得了巨大的进步，成为了热门话题。竞技编程、对话式问题回答、组合优化问题和图学习任务都将Transformer作为关键组件。
Transformer模型在竞技编程中用于根据文本描述生成解决方案。ChatGPT是一个著名的基于GPT的聊天机器人模型，也是一个备受喜爱的对话式问答模型，是Transformer模型的最佳例子。Transformer模型还被用于解决组合优化问题，如旅行推销员问题，并且在图学习任务中取得了成功，特别是在预测分子特性方面。
Transformer模型在图像、音频、视频和无向图等多种形式的模态中表现出了极高的灵活性，但是对于有向图的Transformer仍然缺乏关注。为了填补这一空白，一组研究人员提出了两种专门针对有向图设计的方向和结构感知的位置编码。磁性拉普拉斯是组合拉普拉斯的方向感知扩展，为第一个提出的位置编码提供了基础。所提供的特征向量捕捉了关键的结构信息，同时考虑了图中边的方向性。通过在位置编码方法中包含这些特征向量，Transformer模型更加关注图的方向性，从而成功地表示了有向图中的语义和依赖关系。
方向随机游走编码是第二种提出的位置编码技术。随机游走是一种探索和分析图的流行方法，模型通过在图中进行随机游走，并将游走信息融入到位置编码中，更多地了解有向图的方向结构。由于它有助于模型理解图内链接和信息流动，这种知识在多种下游任务中被使用。
研究团队表示，经验分析表明，方向和结构感知的位置编码在许多下游任务中表现良好。其中之一是排序网络的正确性测试，即确定一组操作是否真正构成排序网络。所提出的模型在排序网络的图表示中利用图的方向性信息，相对于Open Graph Benchmark Code2的先前最先进方法提高了14.7%。
研究团队总结了以下贡献：
- 建立了常用于Transformer的正弦位置编码与拉普拉斯特征向量之间的明确联系。
- 研究团队提出了扩展到有向图的谱位置编码，为位置编码中加入方向性信息提供了一种方式。
- 将随机游走位置编码扩展到有向图，使得模型能够捕捉到图的方向结构。
- 研究团队评估了结构感知位置编码在各种图距离预测中的预测能力，展示了其有效性。他们引入了预测排序网络正确性的任务，展示了方向性在该应用中的重要性。
- 研究团队量化了将程序语句序列表示为有向图的好处，并提出了一种新的源代码图构建方法，提高了预测性能和鲁棒性。
- 在OGB Code2数据集上取得了新的最先进性能，特别是在函数名预测方面，F1分数提高了2.85%，相对改进率为14.7%。