Tag: Machine learning

大型语言模型和AI模型每天都在日益受到欢迎。即使是防止事故、检测癌症和维护公共安全，我们也必须依赖这些AI应用程序提供最优质的信息。军队和武器也在国际冲突中利用AI。 机器学习（ML）研究在很大程度上受到PyTorch的推动，它作为一种领先的AI平台脱颖而出。尽管PyTorch在研究中被广泛使用，超过90%的ML研究论文使用它，但其知名度使其成为潜在攻击者渗透基于AI的系统的诱人目标。值得注意的是，PyTorch拥有广泛的客户群，包括世界上一些最大的企业，如沃尔玛、亚马逊、OpenAI、特斯拉、Azure、谷歌云、英特尔等。 然而，Oligo Security意外地发现TorchServe的默认配置可能会受到威胁。Oligo发现了一个全新的关键SSRF漏洞，该漏洞在管理界面中允许来自任何域的配置上传，并允许远程代码执行（RCE）。攻击者可以利用ShellTorch运行代码并控制目标服务器。 他们注意到TorchServe存在对恶意模型的不安全反序列化的漏洞，这可能导致远程代码执行。这些漏洞的组合可能导致远程代码执行（RCE）和完全接管，尤其是考虑到大量TorchServe应用程序正面临这些风险，成千上万的实例正暴露于这些风险之中。他们观察到许多公开可用且未受保护的实例容易受到黑客攻击，可能引入恶意AI模型，甚至完全接管服务器。他们强调这可能影响数百万人。由于这些漏洞，世界上的服务器可能受到威胁。因此，世界上一些最大的企业可能立即处于危险之中。 因此，研究人员开发了一个用于在运行环境中检测威胁的安全产品。与可能会忽视某些不希望或不安全的应用程序行为原因的其他工具不同，Oligo调查在使用库的动态环境中可能被忽视的问题。与静态分析解决方案相比，它还可以在运行时检测到任何代码中的异常。这包括使用开源库、专有第三方软件或自定义代码开发的代码。Oligo还识别潜在的风险源，如不安全的配置设置。因此，通过这些漏洞提供的高权限，可以看到、更改、窃取和删除进入和离开目标TorchServe服务器的AI模型和敏感数据。 研究人员强调Oligo的附加优势是其提供低干扰解决方案的能力。在解决漏洞和安全问题时，它并不一定需要全面修补或版本更改，为增强系统安全提供了更简化的方法。

近年来，语言模型展示了非凡的文字理解和生成能力。然而，尽管这些模型在语言方面有着令人印象深刻的能力，但在复杂的推理任务方面仍然有所欠缺。无论是解决数学问题、生成代码还是推断逻辑结论，传统的语言模型都面临着巨大的挑战。为了应对这个限制，来自Google Deepmind和斯坦福大学的一组研究人员引入了一种名为“类比提示”的突破性技术，以增强语言模型的推理能力。本文探讨了问题，提出的解决方案，类比提示背后的技术以及其对基于人工智能的推理的未来的影响。 语言模型，例如GPT-3.5-turbo，在自然语言理解和生成方面取得了重大进展。它们在语言翻译、文本生成甚至回答事实性问题方面表现出色。然而，这些模型在需要推理的任务上通常需要帮助。考虑以下场景： 一个学生需要在一个涉及在数组的子数组中找到元素的乘积的数学问题上寻求帮助。虽然语言模型可以理解问题陈述，但要提供正确的解决方案需要更深入的推理，具体涉及“前缀乘积算法”。传统的提示可能无法引导模型有效地解决问题。 在深入讨论类比提示之前，了解当前方法及其在解决推理任务时的局限性是非常重要的。研究人员已经探索了零-shot提示（0-shot）和少-shot提示（少-shot CoT）等技术。这些方法提供了预定义的示例或提示，以指导语言模型在推理任务中的工作。 然而，这些现有方法存在一些缺点。它们通常需要大量标记数据，而对于不同领域和语言来说，这可能是很困难的。此外，预定义的示例可能仅在某些情况下与问题完全匹配，从而导致结果不尽如人意。为了应对这些限制，研究团队推出了类比提示。 类比提示在语言模型处理推理任务的方式上代表了一种重大转变。这种方法不依赖于固定的提示或预定义的示例，而是利用语言模型的生成能力来自动生成与每个问题相关的上下文相关的示例。 可以将类比提示想象成语言模型的个性化导师。面对推理任务时，该模型会生成与问题的上下文和要求直接相关的特定示例。例如，当面临涉及前缀乘积算法的数学问题时，模型会生成展示算法应用的示例。 类比提示背后的技术基于GPT-3.5-turbo等现代语言模型的先进能力。这些模型在广泛的数据集上进行训练，并对各种领域和语言有深入的理解。类比提示利用这些知识来生成特定问题的示例。 该过程涉及模型分析问题陈述，并根据其丰富的知识生成相关的示例。这些示例引导模型理解问题的复杂性，并以必要的推理方式处理问题。类比提示缩小了问题陈述和模型理解之间的差距。 类比提示在推理任务中的表现令人印象深刻。实验结果展示了它在多个领域中优于零-shot和少-shot CoT等传统方法的优越性。值得注意的是，该技术在问题解决、代码生成和逻辑推理方面表现出色。 从类比提示中得出的重要结论之一是它与规模更大的语言模型兼容。当与GPT-3.5-turbo等先进模型结合使用时，该方法取得了显著的结果。生成的示例提供了重要优势，使模型能够有效地解决复杂问题。 总之，类比提示代表了增强语言模型推理能力的一种突破性方法。通过为每个问题自动生成上下文相关的示例，该方法弥合了问题陈述和模型理解之间的差距。类比提示在各种领域取得了令人期待的结果，展示了基于人工智能的推理的未来。

决策树是一种常用的机器学习算法，可以用于分类和回归任务。它们通过根据每个节点的最重要属性递归地将数据集分成子集来运作。树形结构展示了决策过程，每个内部节点根据一个属性进行选择，每个分支代表选择的结果，每个叶节点代表结果。它们被赞扬其效率、适应性和可解释性。 《MAPTree: 使用贝叶斯决策树超越“最优”决策树》是斯坦福大学的一个团队提出的方法。该方法通过专家评估特定数据集上基于贝叶斯分类和回归树（BCART）的后验分布来确定最大后验树。研究表明，MAPTree可以成功地提升决策树模型，超过了之前认为的最优水平。 贝叶斯分类和回归树（BCART）已经成为一种先进方法，基于可用数据为树结构引入后验分布。在实践中，这种方法常常通过产生更优的树结构，胜过传统的贪心方法。然而，它面临着长达指数级混合时间以及常常陷入局部最小值的缺点。 研究人员在贝叶斯分类和回归树（BCART）的最大后验推断与AND/OR搜索问题之间建立了正式的联系，揭示了问题的基本结构。研究人员强调，该研究的主要重点是个体决策树的创建。它对最优决策树的理念提出了质疑，将决策树的归纳视为一个全局优化问题，旨在最大化整体目标函数。 作为一种更精密的方法，贝叶斯分类和回归树（BCART）根据可用数据提供了树架构的后验分布。与传统的贪心方法相比，该方法产生了更优的树架构。 研究人员还强调，MAPTree在计算效率方面超过了先前基于采样的策略，为实践者提供了更快的结果。MAPTree找到的决策树在性能上优于目前可用的最先进算法，或者在性能类似的情况下也表现相似，同时留下更小的环境足迹。 他们使用了来自CP4IM数据集的16个数据集来评估MAPTree和基准技术创建的模型的泛化准确性、对数似然和树大小。他们发现，MAPTree要么在测试准确性或对数似然方面优于基准技术，要么在性能相似的情况下产生明显更瘦的决策树。 总之，MAPTree为当前方法提供了更快、更有效的替代方案，代表了决策树建模的重大进步。它对数据分析和机器学习的潜在影响不容忽视，为专业人士提供了在性能和效率上出色的决策树构建工具。

人类的大脑是一个非常复杂的器官，常常被认为是已知宇宙中最复杂和精密的系统之一。大脑具有层次分明的组织结构，较低级的感觉处理区域将信息发送至较高层次的认知和决策区域。这种层次结构可以实现知识的整合和复杂行为的展现。大脑以并行的方式处理信息，不同的区域和网络同时处理感知、认知和运动控制的各个方面。这种并行处理有助于其高效性和适应性。 我们能否在深度学习中应用这种层次结构和并行处理的技术？答案是肯定的，这个研究领域被称为神经网络。哥本哈根大学的研究人员提出了一种图神经网络类型的编码方法，其中策略网络的增长由每个神经元内运行的另一个网络控制。他们称之为神经发育程序（NDP）。 一些生物过程涉及将紧凑的基因型映射到更大的表型。受此启发，研究人员构建了间接编码方法。在间接编码中，解决方案的描述被压缩。这样可以重复使用信息，最终的解决方案将比描述本身包含更多的组成部分。然而，这些编码（特别是间接编码系列）必须得到发展。 NDP架构包括一个多层感知机（MLP）和一个图形元胞自动机（GNCA）。在发展阶段的每一次消息传递步骤之后，它会更新节点嵌入。一般来说，元胞自动机是由一组处于多种状态之一的单元格组成的数学模型。这些自动机根据一组规则在离散的时间步骤上演变，这些规则决定了细胞状态如何随时间变化。 在NDP中，相同的模型应用于每一个节点。因此，它的参数数量与其所在图的大小是恒定的。这使NDP具有优势，它可以适用于任意大小或架构的神经网络。NDP神经网络还可以使用任何黑盒优化算法进行训练，以满足任何目标函数。这将使神经网络能够解决强化学习和分类任务，并展示拓扑特性。 研究人员还尝试通过比较在不同增长步骤上训练和测试模型的可微分NDP来评估其性能。他们观察到，对于大多数任务来说，网络的性能在达到一定增长步骤后会下降。观察到这一现象的原因是网络的新模式变得更大。您需要一种自动方法来知道何时停止增加步骤。他们表示，这种自动化将是NDP的一个重要补充。在未来，他们还希望为NDP引入基于活动的和奖励调节的增长和适应技术。

动作识别是在视频中自动识别和分类人类动作或移动的过程。它在各个领域中都有应用，包括监控、机器人技术、运动分析等等。其目标是使机器能够理解和解释人类的行动，从而改善决策和自动化能力。 随着深度学习的出现，尤其是卷积神经网络（CNNs）的应用，视频动作识别领域取得了显著的进展。CNNs在直接从视频帧中提取时空特征方面表现出了有效性。早期的方法，比如Improved Dense Trajectories（IDT），聚焦于手工设计特征，这些特征计算成本高且难以扩展。随着深度学习的普及，引入了两通道模型和3D CNNs等方法，用于有效利用视频的空间和时间信息。然而，有效提取相关视频信息的挑战依然存在，尤其是区分具有鉴别性的帧和空间区域。此外，某些方法（如光流计算）所需的计算需求和内存资源必须得到处理，以提高可扩展性和适用性。 为了应对上述挑战，中国的一个研究团队提出了一种新颖的动作识别方法，利用了改进的残差卷积神经网络和注意机制。所提出的方法名为帧和空间注意网络（FSAN），重点是引导模型强调视频数据中的重要帧和空间区域。 FSAN模型结合了一个伪-3D卷积网络和一个两级注意模块。两级注意模块有助于在通道、时间和空间维度上利用信息特征，增强模型对视频数据时空特征的理解。还引入了一个视频帧注意模块，以减少不同视频帧之间相似性的负面影响。这种基于注意的方法，通过在不同级别引入注意模块，有助于生成更有效的动作识别表示。 根据作者的观点，将残差连接和注意机制整合到FSAN中具有明显的优势。残差连接，尤其是通过伪-ResNet架构，增强了训练过程中的梯度流动，有助于更有效地捕捉复杂的时空特征。同时，在时间和空间维度上的注意机制可以重点关注重要的帧和空间区域。这种选择性注意增强了鉴别能力并减少了噪声干扰，优化了信息提取。此外，这种方法确保了根据特定数据集和要求进行定制最佳适应性和可扩展性。总体而言，这种整合增强了动作识别模型的鲁棒性和效果，从而提高了性能和准确性。 为了验证他们提出的FSAN在动作识别方面的有效性，研究人员在两个关键基准数据集UCF101和HMDB51上进行了大量实验。他们在Ubuntu 20.04 bionic操作系统上实施了该模型，利用Intel Xeon E5-2620v4 CPU和GeForce RTX 2080 Ti GPU进行计算。模型的训练包括使用随机梯度下降（SGD）和特定参数进行的100个epochs，使用4个GeForce RTX 2080 Ti GPUs的系统进行训练。他们还应用了智能数据处理技术，如快速视频解码、帧提取以及数据增强方法，如随机裁剪和翻转。在评估阶段，FSAN模型与最先进的方法在两个数据集上进行了比较，展示了在动作识别准确性方面的显著提升。通过消融研究，研究人员强调了注意模块发挥的关键作用，确认了FSAN在增强识别性能和有效区分时空特征以准确进行动作识别方面的有效性。 总之，将改进的残差卷积神经网络和注意机制整合到FSAN模型中为视频动作识别提供了一个强大的解决方案。这种方法通过有效解决特征提取、鉴别帧识别和计算效率方面的挑战，提高了准确性和适应性。通过对基准数据集进行全面实验，研究人员展示了FSAN的超强性能，展示了其在推动动作识别方面的潜力。这项研究强调了借助注意机制和深度学习来更好地理解人类动作的重要性，为各个领域的变革性应用提供了前景。

大型语言模型（LLMs）在多种不同的推理任务中取得了成功。为了确保预期的目标得以实现，有时需要对LLM的结果进行迭代调整，因为输出在第一次尝试中只有偶尔准确。这些改进技术假设连续的结果（来自同一模型、外部模型或某些工具）会提高性能。然而，并不能保证后续版本总是更好，正如图1所示，改进可能导致错误的调整。这鼓励模型使用选择技术选择更早的结果。此外，在先前的迭代优化研究中通常使用单一的、固定的推理技术。但是人类更具适应性。 图1：一个案例研究，说明条件重新取样（也称为“改进”）可能导致对初始响应的错误修改。选择模块可能会选择替代改动的原始响应，而在这种情况下，原始响应是正确的。 产品经理在切换到优先级排序技术之前，可以使用头脑风暴技巧生成多个想法，然后根据可行性或影响对它们进行排名。同样地，准备考试的学生可能会使用演绎推理来回答问题，使用归纳推理来确认结果。他们因此提出了一种模块化的策略来回答改进问题，使我们能够尝试各种策略。在本文中，来自ETH Zurich和微软Semantic Machines的研究人员介绍了SCREWS，一个关于变更推理的模块化框架。采样、条件重新取样和选择是该架构的三个核心组件，详细介绍如图2所示。他们通过为每个模块固定子模块（例如，选择“Chain of Thought”用于采样）来实例化SCREWS。这是针对特定任务和输入序列进行的。 图2展示了用于推理修订的模块化SCREWS系统的高级图像。三个实质性的方框（或“模块”）分别包含多个选择（或“子模块”）。许多先前的工作，包括Self-Refine、Least to Most、LLMs Know (Mostly)、Self-Consistency、Self-Improve、PHP CoT、Self-Correct、Socratic CoT、Programme of Thoughts等，都可以看作是该框架的示例。(…)表示可以添加到每个模块中的其他子组件，包括但不限于采样模块的缓存内存或在线搜索、条件重新采样的精调模型或外部验证器以及选择模块基于人类或神谕的选择。 采样的第一个输出被传递给条件重新取样，该模块根据原始样本确定是否创建修订，并在有需要时执行。然后选择模块从所有样本和修订中选择最佳结果。由于他们的框架具有模块化设计，可以使用额外的框架元素来提升几种新提出的自我改进方法。一个示例是他们基于模型的选择技术和自我改进方法的组合，可以提高整体性能。他们使用ChatGPT或GPT-4对SCREWS在各种推理任务上进行评估，包括多跳问题回答、算术推理和代码调试。 与标准样本和重抽样程序相比，他们提出的解决方案显著改进了（10-15%）。他们展示了异质重抽样的价值，显示了它如何影响模型的逻辑并且以极低的总成本大幅改进了基线。他们还解释了基于模型选择方法的重要性，这是当代LLMs的关键要素，使模型能够恢复到较早、更确定的输出。