Tag: Deep Learning

在人工智能（AI）和机器学习（ML）这两个快速发展的领域中，寻找有效的、自动化的和适应性强的方法变得极其重要。AI和ML方法的不断提升已经改变了机器可以完成的事情以及人类如何与机器交互的可能性。 包括深度学习在内的AI领域完全依赖于数据，重要的数据存储在数据仓库中，通过主外键关系链接在多个表中分散存储。使用这样的数据开发ML模型存在许多困难，需要大量的时间和工作，因为现有的ML方法并不适合直接从跨越多个关系表的数据中学习。目前的方法要求将数据通过一种称为特征工程的过程转换成单个表。 为了克服这一挑战，斯坦福大学、Kumo AI、耶鲁大学、马克斯普朗克学院和伊利诺伊大学厄巴纳-香槟分校的研究团队最近提出了关系深度学习。这种端到端的深度表示学习技术可以处理分散在多个表中的数据。该方法已经被开发成一种将关系表作为异构图的基本方法。该图模型中的每个表行代表一个节点，而主外键关系定义了边。 使用消息传递神经网络（MPNNs），可以自动遍历并学习多个表，从而提取利用所有输入数据的表示，并且不需要任何手动特征工程。研究团队还提出了RELBENCH，这是一个包括基准数据集和关系深度学习实现的综合框架。这些数据集涵盖了各个领域，从亚马逊产品目录中的图书评论到像Stack Exchange这样的网站上的对话。 RELBENCH包含三个核心模块，具体如下： 数据模块：RELBENCH的数据模块提供了有效使用关系数据集的框架。其中包括三个重要特性：时间数据划分、任务规范和数据加载。 模型模块：该模块通过将未处理数据转换为图形表示来构建图神经网络（GNNs）的预测模型。使用强大的深度学习库PyTorch Geometric，RELBENCH对几种广泛使用的GNN架构进行了基准测试。该模块允许模型架构的灵活性，对于桥接预测模型和原始关系数据开发之间的差距至关重要。 评估模块：该模块创建了一个统一的评估模型性能的过程。它以系统化的方式评估预测文件，提供了模型的有效性的量化指标。该模块与各种受欢迎的深度学习工具配合使用，因为它被设计为与深度学习框架无关。这种适应性使研究人员和从业者可以使用他们选择的框架，而不会牺牲评估过程。

“`html 来自隆德大学和哈尔姆斯塔德大学的研究人员通过卫星图像和深度机器学习对可解释的AI在贫困估计中进行了回顾。通过透明度、可解释性和领域知识强调，对32篇论文的分析显示，这些关键要素在可解释的机器学习中表现出变异性，无法完全满足对贫困和福利的科学洞察和发现的需求。 这项研究通过分析32篇预测贫困/财富的论文，使用调查数据作为基准真实性，在城市和农村环境中应用它，并涉及深度神经网络，发现这些核心要素的状态存在变异性，不能满足对贫困和福利洞察的科学要求。该回顾凸显了解释性对于开发社区范围内的更广泛传播和接受的重要性。 引言介绍了在识别弱势社区和了解贫困决定因素方面的挑战，指出了信息缺口和家庭调查的局限性。强调深度机器学习和卫星图像在克服这些挑战方面的潜力，并强调在科学过程中的可解释性、透明性、可解释性和领域知识的需求，并评估了使用调查数据、卫星图像和深度神经网络预测贫困/财富中的可解释的机器学习的状态。目标是在开发社区范围内增强更广泛的传播和接受。 通过进行综合文献综述，该研究分析了满足特定标准的32项关于贫困预测、调查数据、卫星图像和深度神经网络的研究。文章讨论了解释深度学习成像模型的属性图的使用，并评估了其可解释性。本回顾旨在概述所审查论文中的可解释性，并评估它们在贫困预测的新知识中的潜在贡献。 对论文的回顾揭示了可解释的机器学习的核心要素（透明度、可解释性和领域知识）的不同状态，无法满足科学要求。可解释性和可解释性较弱，很少有研究人员解释模型或解释预测数据的努力。在特征模型的选择中普遍使用领域知识，但在其他方面使用较少。实验结果突出了一些洞察，如模拟财富指数的局限性和低分辨率卫星图像的影响。其中一篇论文以其强有力的假设和领域知识的积极评价脱颖而出。 在贫困、机器学习和卫星图像领域，可解释的机器学习方法中透明度、可解释性和领域知识的状态各不相同，并未达到科学要求。对于开发社区范围内更广泛传播的可解释性，超出了单纯的可解释性。论文中的透明度参差不齐，有些文件有很好的文档记录，而其他文件则缺乏可复现性。解释性和可解释性方面的不足仍然存在，很少有研究人员解释模型或解释预测数据。虽然在基于特征的模型中普遍使用领域知识进行选择，但在其他建模方面应用较少。在冲击要素中的排序和排名是一个重要的未来研究方向。 “`

模型在推理时利用输入来修改其行为的能力，而无需更新权重以解决训练期间不存在的问题，被称为上下文学习或ICL。神经网络结构，尤其是为了少样本知识而创建和训练的能够从少量示例中学习所需行为的能力，是最早表现出这种能力的。为了使模型在训练集上表现良好，它必须记住上下文中的示例-标签映射，以便在未来进行预测。在这些情况下，训练意味着在每个“episode”上重新安排与输入示例对应的标签。测试时提供了新的示例-标签映射，网络的任务是使用这些来对查询示例进行分类。 ICL的研究是由transformer的发展而演变而来的。人们注意到，作者并没有通过训练目标或数据来特别鼓励ICL；相反，经过适当大小的自回归训练后，基于transformer的语言模型GPT-3展示了ICL的能力。从那时起，已经有大量的研究探讨或记录了ICL的实例。由于这些令人信服的发现，大规模神经网络中的新兴能力成为研究的主题。然而，最近的研究表明，只有在某些具有特定语言数据特征的情况下，transformer的训练才会有时产生ICL。研究人员发现，在训练数据缺乏这些特征的情况下，transformer通常会转向内部权重学习（IWL）。在IWL状态下，transformer不使用新提供的上下文信息，而是使用存储在模型权重中的数据。关键是，ICL和IWL似乎相互矛盾；当训练数据具有突发特征（即对象以聚类形式而不是随机形式出现）并且具有大量的标记或类别时，ICL似乎更容易出现。有必要使用已建立的数据生成分布进行受控调查，更好地理解transformer中的ICL现象。 同时，还有一系列辅助语料研究探讨了直接在有机网络规模的数据上训练的巨型模型的出现，得出结论认为像ICL这样的非凡特征更可能在训练了更多数据的大型模型中出现。然而，依赖于大型模型带来了重要的实际障碍，包括快速创新、低资源环境下的能源高效训练和部署效率。因此，大量的研究致力于开发更小的transformer模型，这些模型可以提供等效的性能，包括出现ICL的能力。目前，发展紧凑而有效的转换器的首选方法是过度训练。这些小型模型通过使用更多的数据进行训练（可能是重复的）来计算预算，而不仅仅是遵循缩放规则所需的数据量。 图1：具有12层和64个嵌入维度，使用1600门课程进行训练，每类20个示例，上下文学习是暂时的。每个训练会话都会出现突发情况。由于训练时间不足，研究人员尽管发现这些环境极大地鼓励ICL，却没有看到ICL的瞬时性。(a) ICL评估器的准确性。(b) IWL评估器的准确性。研究团队注意到，由于测试序列属于分布之外，IWL评估器的准确性提高得非常缓慢，尽管训练序列的准确性为100%。(c) 训练日志的损失。两种颜色代表两个实验种子。 从根本上说，过度训练是建立在近期LLMs的ICL调查中的一个固有前提上的：持久性。人们认为，只要模型已经接受了足够的训练以产生ICL依赖能力，并且训练损失持续减少，模型将会在训练过程中保持。在这里，研究团队否定了普遍的持久性假设。他们通过修改一个常见的基于图像的少样本数据集来做到这一点，这使得我们能够在一个受控环境中全面评估ICL。研究团队提供了简单的场景，其中ICL出现并随着模型损失的减少而消失。 换个角度来说，尽管ICL被广泛认可为一种新兴现象，研究团队也应考虑到它可能只是暂时存在的可能性（图1）。研究团队发现，这种短暂性发生在各种模型大小、数据集大小和数据集种类上，尽管研究团队也表明某些属性可以延缓短暂性的出现。一般而言，那些被长时间不负责任地训练的网络发现ICL可能会瞬间消失，让人们对当代人工智能系统所期待的技能感到失望。

在人工智能领域，效率和环境影响已成为重要的关注点。加州圣克鲁兹大学的Jason Eshraghian开发了snnTorch这一开源Python库，实现了脉冲神经网络，从大脑在处理数据方面的出色效率中汲取灵感。研究中强调的关键问题在于传统神经网络的低效率和不断增长的环境足迹。 传统神经网络缺乏大脑处理机制的优雅性。脉冲神经网络模仿大脑，只在有输入时激活神经元，与持续处理数据的传统网络形成对比。Eshraghian旨在将人工智能注入到生物系统中观察到的效率中，为当前神经网络能量密集型所引起的环境担忧提供切实可行的解决方案。 鉴于snnTorch这一在大流行病期间产生的热情项目，其使用已取得了不错的成果，下载量超过了10万次。它的应用范围从NASA的卫星跟踪到与Graphcore等公司的合作，优化AI芯片。snnTorch致力于利用大脑的能源效率，并将其无缝集成到AI功能中。在芯片设计背景下，Eshraghian看到了通过软件和硬件共同设计以实现最大功率效率的计算芯片优化的潜力。 随着snnTorch的采用增加，对教育资源的需求也在增长。Eshraghian的论文作为该库的伴随文档具备双重功能：记录代码并提供一个基于大脑启发的人工智能的教育资源。它采用了极为诚实的方法，承认了神经形态计算的不确定性，避免了学生在这个领域中普遍存在的挫折感。 这项研究的诚实也体现在其呈现方式上，使用代码块来呈现，这是传统研究论文的一种变化。这些带有解释的代码块突出显示了某些领域的不确定性，提供了在经常晦涩难懂的领域中的透明度。Eshraghian旨在提供他在编码之旅中所希望拥有的资源。这种透明度在有关研究在神经形态硬件初创企业的入职培训中的应用方面获得了积极的回响。 这项研究探讨了大脑启发深度学习的限制和机会，并认识到相对于人工智能模型而言，我们对大脑过程的理解还存在差距。Eshraghian提出了一种前进的道路：识别相关性和差异。一个关键区别是大脑无法重访过去的数据，而专注于实时信息——这为可持续人工智能至关重要的增强能源效率提供了机会。 这项研究深入探讨了神经科学的基本概念：“共同激发，联结在一起”。传统上认为这与深度学习的误差反向传播截然相反，研究者提出了一种互补的关系，开辟了探索的道路。与生物分子工程研究人员合作在脑器官模型方面架起了生物模型与计算研究之间的桥梁。将“生物硬件”纳入软件/硬件共同设计范例，这种多学科方法承诺为大脑启发的学习提供深入的洞察力。 总之，snnTorch及其论文标志着迈向大脑启发人工智能的里程碑。其成功凸显了对传统神经网络的持续需求，即对能源效率更高的替代方案。研究者的透明和教育方法促进了一个致力于推动神经形态计算界限的协作社区。在snnTorch的指导下，该领域有潜力革新人工智能，并加深我们对人脑进程的理解。

复杂预测模型的高度参数化特性使得对预测策略进行描述和解释困难。研究人员引入了一种使用拓扑数据分析（TDA）的新方法来解决这个问题。这些模型，包括机器学习、神经网络和人工智能模型，已经成为各个科学领域中的标准工具，但由于它们的广泛参数化而通常难以解释。 普渡大学的研究人员意识到需要一种将这些复杂模型转化为更易于理解的格式的工具。他们利用TDA构建Reeb网络，提供了一种拓扑视图，有助于预测策略的解释。该方法已应用于各个领域，展示了它在大型数据集上的可扩展性。 所提出的Reeb网络本质上是拓扑结构的离散化，以便可视化预测景观。Reeb网络中的每个节点代表预测空间的本地简化，计算为具有类似预测的数据点的聚类。节点基于共享数据点连接，揭示了预测与训练数据之间的有用关系。 这种方法的一个显著应用是在检测训练数据中的标签错误。Reeb网络在识别模糊区域或预测边界方面表现出良好的效果，指导进一步对潜在错误的研究。该方法还在理解图像分类中的泛化和观察与BRCA1基因中的致病突变相关的预测方面展示了实用性。 与tSNE和UMAP等广泛使用的可视化技术进行了比较，突出了Reeb网络提供有关预测之间边界和训练数据与预测之间关系的更多信息。 构建Reeb网络需要具备一组具有未知标签的数据点、数据点之间已知的关系以及每个预测值的实值指南等前提条件。研究人员采用了一种称为GTDA（基于图的TDA）的递归分裂和合并过程，从原始数据点和图中构建了Reeb网络。经过对ImageNet中的130万图像的分析验证了该方法的可扩展性。 在实际应用中，Reeb网络框架应用于根据亚马逊评论预测产品类型的图神经网络。它揭示了产品类别中的关键模糊性，强调了预测准确性的限制，并提出了需要改进标签的建议。将该框架应用于在Imagenet数据集上预训练的ResNet50模型时，也获得了类似的见解，提供了图像的视觉分类和揭示了真相标签错误的分类。 研究人员还展示了将Reeb网络应用于理解与恶性基因突变相关的预测，特别是BRCA1基因。网络突出了DNA序列中的局部组成部分及其与次级结构的映射，有助于解释。 总之，研究人员预计拓扑检查技术，如Reeb网络，将在将复杂预测模型转化为可操作的人类级洞察力方面起到关键作用。该方法从标签错误到蛋白质结构方面的问题，表明其广泛的适用性和作为预测模型的早期诊断工具的潜力。