四海吧 Posts

通过使用户连接工具和服务，能够遵循图形用户界面(GUI)指令的系统可以自动化繁琐的工作，增加可访问性，并增加数字助手的实用性。 许多基于GUI的数字代理实现都依赖于HTML衍生的文本表示，这些表示并不总是容易获取。人们通过感知视觉输入并使用标准的鼠标和键盘快捷键来使用GUI；他们不需要查看应用程序的源代码来弄清楚程序的工作原理。无论底层技术如何，他们都可以通过直观的图形用户界面快速掌握新的程序。 雅达利游戏系统只是一个例子，说明了一个从仅像素输入中学习的系统可以表现得多么出色。然而，在尝试基于GUI的指令跟随任务时，从仅像素输入中学习时会面临许多障碍，这与通用的低级动作相结合。要对GUI进行视觉解释，必须熟悉界面的结构，能够识别和解释视觉定位的自然语言，识别和识别视觉元素，并预测这些元素的功能和交互方法。 谷歌DeepMind和谷歌介绍了PIX2ACT，这是一个模型，它以基于像素的截屏作为输入，并选择与基本鼠标和键盘控件匹配的操作。研究小组首次证明，一个只有像素输入和通用操作空间的代理可以超过人类众包工作者，并达到使用DOM信息和相当数量的人类演示的最先进代理的性能。 为此，研究人员扩展了PIX2STRUCT。这个基于Transformer的图像到文本模型已经通过大规模在线数据进行了训练，将截图转换为基于HTML的结构化表示。PIX2ACT应用树搜索来反复构建新的专家轨迹进行训练，采用人类演示和与环境的交互的组合。 团队在这里的努力包括创建一个通用的基于浏览器的环境框架，并使用标准的跨域观察和操作格式调整了两个基准数据集MiniWob++和WebShop，以在其环境中使用。使用他们提出的选项（不带DOM的CC-Net），PIX2ACT在MiniWob++上的表现比人类众包工作者高出约四倍。削减实验表明，PIX2STRUCT的基于像素的预训练对PIX2ACT的性能至关重要。 对于基于GUI的指令跟随像素输入，研究结果表明PIX2STRUCT通过屏幕截图解析的预训练的有效性。在行为克隆环境中进行预训练将MiniWob++和WebShop任务得分分别提高了17.1和46.7。尽管与使用基于HTML的输入和任务特定操作的较大语言模型相比仍存在性能劣势，但这项工作为这个环境设置了第一个基准。

GPT模型是OpenAI开发的ChatGPT聊天机器人背后的变压器架构，它基于通过仅几个例子学习任务的概念。这种称为上下文学习的方法，使模型避免了使用数千个输入文本进行微调，只使用特定于任务的示例作为输入就能学习在不同任务上表现良好。针对特定任务微调模型可能非常昂贵，因为GPT是一个具有数十亿参数的“大”语言模型，由于在微调期间需要更新所有模型参数，因此相对而言成本较高。 上下文学习在代码生成、问答、机器翻译等方面得到了有效应用，但在图机器学习任务中仍然存在局限性和挑战。一些图机器学习任务包括识别在社交网络上传播半真半假或虚假新闻的传播者和跨电子商务网站的产品推荐。上下文学习在制定和建模这些任务的过程中面临局限性，无法形成和建模统一的任务表示，使模型能够处理各种任务而无需重新训练或参数调整。 最近，一组研究人员在其研究论文中介绍了PRODIGY，这是一个预训练框架，可实现在图形上下文中学习。PRODIGY（Pretraining Over Diverse In-Context Graph Systems）使用提示图表示形式来制定上下文学习。提示图作为上下文图任务表示，集成了节点、边缘和图级机器学习任务的建模。提示网络将输入节点或边缘与其他标签节点连接，并对提示示例和查询进行上下文化。这种互连表示允许指定各种图形机器学习任务到同一模型中，而不受图形大小的限制。 由斯坦福大学和卢布尔雅那大学的研究人员提出，团队设计了一种图形神经网络架构，专门用于处理提示图，并有效地对图结构化数据进行建模和学习。所提出的设计利用GNN教授提示图的节点和边缘的表示。此外，还引入了一系列上下文预训练目标，以指导学习过程，提供监督信号，使模型能够捕获相关的图形模式并在不同的任务中进行推广。 为了评估PRODIGY的性能和有效性，作者在涉及引文网络和知识图的任务上进行了实验。引文网络代表科学论文之间的关系，而知识图则捕获有关不同领域的结构化信息。使用上下文学习对预训练模型进行了测试，并将结果与硬编码适应性的对比预训练基线和使用有限数据的标准微调进行了比较。PRODIGY在准确性方面平均优于对比预训练基线的硬编码适应性18％。当应用上下文学习时，与标准微调相比，平均提高了33％。 总之，PRODIGY在基于图形的场景中似乎很有前途，如图机器学习应用中的上下文学习。它甚至可以在以前未见过的图形上执行下游分类任务，使其更加有效和有益。