四海吧 Posts

大型语言模型和AI模型每天都在日益受到欢迎。即使是防止事故、检测癌症和维护公共安全，我们也必须依赖这些AI应用程序提供最优质的信息。军队和武器也在国际冲突中利用AI。 机器学习（ML）研究在很大程度上受到PyTorch的推动，它作为一种领先的AI平台脱颖而出。尽管PyTorch在研究中被广泛使用，超过90%的ML研究论文使用它，但其知名度使其成为潜在攻击者渗透基于AI的系统的诱人目标。值得注意的是，PyTorch拥有广泛的客户群，包括世界上一些最大的企业，如沃尔玛、亚马逊、OpenAI、特斯拉、Azure、谷歌云、英特尔等。 然而，Oligo Security意外地发现TorchServe的默认配置可能会受到威胁。Oligo发现了一个全新的关键SSRF漏洞，该漏洞在管理界面中允许来自任何域的配置上传，并允许远程代码执行（RCE）。攻击者可以利用ShellTorch运行代码并控制目标服务器。 他们注意到TorchServe存在对恶意模型的不安全反序列化的漏洞，这可能导致远程代码执行。这些漏洞的组合可能导致远程代码执行（RCE）和完全接管，尤其是考虑到大量TorchServe应用程序正面临这些风险，成千上万的实例正暴露于这些风险之中。他们观察到许多公开可用且未受保护的实例容易受到黑客攻击，可能引入恶意AI模型，甚至完全接管服务器。他们强调这可能影响数百万人。由于这些漏洞，世界上的服务器可能受到威胁。因此，世界上一些最大的企业可能立即处于危险之中。 因此，研究人员开发了一个用于在运行环境中检测威胁的安全产品。与可能会忽视某些不希望或不安全的应用程序行为原因的其他工具不同，Oligo调查在使用库的动态环境中可能被忽视的问题。与静态分析解决方案相比，它还可以在运行时检测到任何代码中的异常。这包括使用开源库、专有第三方软件或自定义代码开发的代码。Oligo还识别潜在的风险源，如不安全的配置设置。因此，通过这些漏洞提供的高权限，可以看到、更改、窃取和删除进入和离开目标TorchServe服务器的AI模型和敏感数据。 研究人员强调Oligo的附加优势是其提供低干扰解决方案的能力。在解决漏洞和安全问题时，它并不一定需要全面修补或版本更改，为增强系统安全提供了更简化的方法。

近年来，语言模型展示了非凡的文字理解和生成能力。然而，尽管这些模型在语言方面有着令人印象深刻的能力，但在复杂的推理任务方面仍然有所欠缺。无论是解决数学问题、生成代码还是推断逻辑结论，传统的语言模型都面临着巨大的挑战。为了应对这个限制，来自Google Deepmind和斯坦福大学的一组研究人员引入了一种名为“类比提示”的突破性技术，以增强语言模型的推理能力。本文探讨了问题，提出的解决方案，类比提示背后的技术以及其对基于人工智能的推理的未来的影响。 语言模型，例如GPT-3.5-turbo，在自然语言理解和生成方面取得了重大进展。它们在语言翻译、文本生成甚至回答事实性问题方面表现出色。然而，这些模型在需要推理的任务上通常需要帮助。考虑以下场景： 一个学生需要在一个涉及在数组的子数组中找到元素的乘积的数学问题上寻求帮助。虽然语言模型可以理解问题陈述，但要提供正确的解决方案需要更深入的推理，具体涉及“前缀乘积算法”。传统的提示可能无法引导模型有效地解决问题。 在深入讨论类比提示之前，了解当前方法及其在解决推理任务时的局限性是非常重要的。研究人员已经探索了零-shot提示（0-shot）和少-shot提示（少-shot CoT）等技术。这些方法提供了预定义的示例或提示，以指导语言模型在推理任务中的工作。 然而，这些现有方法存在一些缺点。它们通常需要大量标记数据，而对于不同领域和语言来说，这可能是很困难的。此外，预定义的示例可能仅在某些情况下与问题完全匹配，从而导致结果不尽如人意。为了应对这些限制，研究团队推出了类比提示。 类比提示在语言模型处理推理任务的方式上代表了一种重大转变。这种方法不依赖于固定的提示或预定义的示例，而是利用语言模型的生成能力来自动生成与每个问题相关的上下文相关的示例。 可以将类比提示想象成语言模型的个性化导师。面对推理任务时，该模型会生成与问题的上下文和要求直接相关的特定示例。例如，当面临涉及前缀乘积算法的数学问题时，模型会生成展示算法应用的示例。 类比提示背后的技术基于GPT-3.5-turbo等现代语言模型的先进能力。这些模型在广泛的数据集上进行训练，并对各种领域和语言有深入的理解。类比提示利用这些知识来生成特定问题的示例。 该过程涉及模型分析问题陈述，并根据其丰富的知识生成相关的示例。这些示例引导模型理解问题的复杂性，并以必要的推理方式处理问题。类比提示缩小了问题陈述和模型理解之间的差距。 类比提示在推理任务中的表现令人印象深刻。实验结果展示了它在多个领域中优于零-shot和少-shot CoT等传统方法的优越性。值得注意的是，该技术在问题解决、代码生成和逻辑推理方面表现出色。 从类比提示中得出的重要结论之一是它与规模更大的语言模型兼容。当与GPT-3.5-turbo等先进模型结合使用时，该方法取得了显著的结果。生成的示例提供了重要优势，使模型能够有效地解决复杂问题。 总之，类比提示代表了增强语言模型推理能力的一种突破性方法。通过为每个问题自动生成上下文相关的示例，该方法弥合了问题陈述和模型理解之间的差距。类比提示在各种领域取得了令人期待的结果，展示了基于人工智能的推理的未来。