四海吧 Posts

由于科学出版物的增加，跟上最新研究变得越来越困难。例如，仅在2022年就记录了超过800万篇科学文章。研究人员使用各种技术，从搜索界面到推荐系统，来研究连接的知识实体，如作者和机构。将基础学术数据建模为RDF知识图（KG）是一种高效的方法。这样可以更容易地进行标准化、可视化和与链接数据资源的关联。因此，学术KG对于将以文档为中心的学术材料转化为链接和可自动化的知识结构至关重要。 然而，现有学术KG存在以下一种或多种限制： 它们很少包括每个学科的全面作品列表。 它们经常只涵盖特定领域，如计算机科学。 它们更新频率较低，使得许多研究和商业模型过时。 它们常常有使用限制。 即使它们符合这些标准，它们也不符合RDF等W3C标准。 这些问题阻碍了科学KG的广泛部署，如全面的搜索和推荐系统，或用于量化科学影响力。例如，Microsoft学术知识图（MAKG）及其RDF后代无法更新，因为Microsoft学术图在2021年被终止。 创新的OpenAlex数据集旨在弥补这一差距。然而，OpenAlex的数据不符合链接数据原则，也无法以RDF形式访问。因此，OpenAlex不能被视为KG，这使得语义查询、应用集成和连接到新资源变得困难。乍一看，它似乎是将科学文章的学术信息纳入Wikidata的一种简单方法，从而支持WikiCite运动。除了特定的模式外，数据量已经如此庞大，以至于Wikidata查询服务的Blazegraph三元组存储接近其容量限制，无法集成任何内容。 本文介绍了Karlsruhe Institute of Technology和Metaphacts GmbH的研究人员引入的非常大规模的学术领域RDF数据集SemOpenAlex，其中包括论文、作者、来源、机构、思想和出版商。SemOpenAlex拥有约2.49亿篇来自各个学术领域的论文和超过260亿个语义三元组。它建立在他们的综合本体论上，并引用了其他LOD源，包括Wikidata、Wikipedia和MAKG。他们提供了一个公共的SPARQL接口，以便快速有效地使用SemOpenAlex与LOD云进行集成。此外，他们提供了一个复杂的语义搜索界面，使用户能够实时检索数据库中包含的实体及其语义关系的信息（例如，通过显示共同作者或作者最重要的概念，这些概念是通过语义推理而不是直接包含在数据库中推断出来的）。 他们还提供了完整的RDF数据快照，以便进行大规模数据分析。他们利用AWS创建了一个流水线，可以定期更新SemOpenAlex而完全没有任何服务中断，这是由于SemOpenAlex的规模和集成到SemOpenAlex中的科学文章数量的增加。此外，他们还使用先前存在的本体论尽可能地保证系统的互操作性，符合FAIR原则，并为将SemOpenAlex与Linked Open Data Cloud集成打开了大门。通过提供每月更新，使得可以持续监测作者的科学影响力、跟踪获奖研究以及其他使用其数据的用例，他们填补了MAKG终止后的空白。他们通过免费和无限制地提供SemOpenAlex，使来自许多学科背景的研究团队能够访问其提供的数据并将其纳入研究中。目前已经存在SemOpenAlex的初始应用案例和生产系统。 总体而言，他们做出了以下贡献： 1. 他们使用流行的词汇为SemOpenAlex开发本体论。 2. 在https://semopenalex.org上，他们以RDF形式生成SemOpenAlex知识图，包含260亿个三元组，并向公众提供了所有SemOpenAlex的数据、代码和服务。 3. 通过使所有URI可解析，他们使SemOpenAlex能够参与到Linked…

如今神经网络在语言、数学和视觉等领域取得了令人瞩目的成果。然而，这些网络通常采用复杂的结构，运行起来资源密集。在资源有限的情况下，比如可穿戴设备和智能手机，将这些模型交付给用户可能是不切实际的。修剪预训练网络意味着删除其部分权重，同时确保其效用的减少对于降低推理成本来说是可以忽略不计的。典型神经网络中的每个权重都指定了两个神经元之间的连接。在减少后，输入将经过一个更易处理的链接子集，从而减少所需的处理时间。 CHITA（组合无海塞矩阵迭代阈值算法）框架是由麻省理工学院和谷歌的研究人员开发的一种用于大规模网络修剪的有效优化策略。该方法基于先前的研究，使用二阶海塞矩阵中的局部二次函数近似损失函数。与其他方法不同，他们利用了一个简单但关键的洞察力，使他们能够在不计算和存储海塞矩阵的情况下解决优化问题（因此在CHITA中称为“无海塞矩阵”），从而高效地处理大规模网络。 为了进一步减少回归重构，他们提出了一种使用主动集策略、改进的步长选择和其他技术来加速收敛到所选择支持的新方法。与稀疏学习文献中广泛使用的迭代硬阈值技术相比，该方法产生了显著的收益。该框架可以将具有420万个参数的网络稀疏化到20%。 以下是贡献的总结： 基于损失函数的局部二次近似，研究人员提出了CHITA，一种用于网络修剪的优化框架。 他们提出了一种受限稀疏回归重构，以消除存储大型稠密海塞矩阵的内存开销。 CHITA在获取稀疏回归高质量解的过程中，严重依赖于一种新颖的IHT方法。通过利用问题的结构，他们提供了加速收敛和提高修剪性能的解决方案，例如一种新颖且有效的步长选择策略以及对支持权重的快速更新。与标准网络修剪算法相比，这可以将性能提升一千倍。 研究人员还展示了模型和数据集性能的改进。 一种用于计算的高效修剪公式 通过仅保留原始网络中的一部分权重，可以得到各种修剪候选。设k表示用户设置的保留权重参数集。在所有可能的修剪候选中（即，仅保留k个权重的权重子集），选择损失最小的候选。这是将修剪视为最佳子集选择（BSS）问题的逻辑公式。 CHITA避免了显式计算海塞矩阵，同时利用了其所有信息，通过采用修剪问题的重新制定版本（带有二次损失的BSS）。这是通过利用经验费舍尔信息矩阵是低秩的事实而实现的。这种新形式可以被视为稀疏线性回归问题，其中网络中神经元的权重表示回归系数。 适应于良好缩放的优化算法 在不超过k个回归系数为零的稀疏性要求下，CHITA将修剪转化为线性回归问题。研究人员正在考虑调整流行的迭代硬阈值（IHT）技术来解决这个问题。在IHT的梯度下降更新后，所有不在Top-k（即具有最大幅度的k个系数）中的回归系数都被置零。在大多数情况下，IHT通过同时优化权重并迭代地检查可能的修剪选择来提供满意的答案。 总之，研究人员提出了CHITA，一种基于唯一的、无海塞矩阵约束回归公式和组合优化技术的网络修剪框架。单阶段方法在提高运行时间和内存利用率的同时，实现了与先前方法相当的结果。此外，多阶段策略可以提高模型的准确性，因为它是基于单阶段方法构建的。他们还展示了通过将修剪技术引入现有的逐步修剪框架中可以实现具有最先进准确性的稀疏网络。

我们在日常生活中如何做决策？我们常常根据我们的常识有偏见。那么机器人呢？他们能根据常识做出决策吗？成功完成人类指令需要具备常识的具体化代理。由于对实际世界更多细节的需求，现有的LLMs产生了不可行的行动序列。 北京国家信息科学与技术研究中心和自动化学院的研究人员提出了一种在具有物理场景约束的具体化任务中的任务规划代理（TaPA）。这些代理通过将LLMs与视觉感知模型对齐，根据场景中现有的对象生成可执行计划。 研究人员声称，TaPA能够在不限制任务类型和目标对象的情况下生成具体化的计划。他们首先创建了一个多模态数据集，其中每个样本是一个视觉场景、指令和相应计划的三元组。从生成的数据集中，他们通过根据场景的对象列表预测动作步骤来微调预训练的LLaMA网络，进一步将其指定为任务规划器。 然后，具体化代理有效地访问站立点以收集RGB图像，为多视角图像的开放词汇探测器提供足够的各种视图信息。这个整体过程允许TaPA根据场景信息和人类指令逐步生成可执行的动作。 他们如何生成多模态数据集？其中一种方法是利用视觉语言模型和大规模多模态模型。然而，由于缺乏大规模的多模态数据集来训练规划代理，在现实室内场景中创造和实现具体化任务规划是具有挑战性的。他们使用GPT-3.5结合提供的场景表示和设计提示来生成用于微调规划代理的大规模多模态数据集。 研究人员通过预训练的LLMs训练了任务规划器，并构建了包含80个室内场景、15K条指令和行动计划的多模态数据集。他们设计了几种图像收集策略，以探索周围的3D场景，如随机位置的位置选择标准和旋转相机以获取每个位置选择标准的多视角图像。受到聚类方法的启发，他们将整个场景分成几个子区域，以提高感知的性能。 研究人员声称，TaPA代理的生成行动计划的成功率要高于最先进的LLMs，包括LlaMA和GPT-3.5，以及大规模多模态模型如LLaVA。与LLaVA和GPT-3.5相比，TaPA能更好地理解输入对象列表，幻觉案例的百分比分别减少了26.7%和5%。 研究人员声称，他们收集的多模态数据集的统计数据表明，这些任务比传统的指令跟踪任务更加复杂，实施步骤更长，需要进一步进行优化的新方法。