大型语言模型（LLMs）在人工智能领域引发了一场革命。ChatGPT的发布为LLMs时代点燃了火花，从那时起，我们见证了它们不断改进。这些模型通过大量的数据变得可能，并以其能力给我们留下了深刻的印象，从掌握语言理解到简化复杂任务。
ChatGPT的替代方案有很多，它们每天都在变得越来越好，甚至在某些任务上超越了ChatGPT。LLaMa、Claudia、Falcon等等；新的LLM模型正向ChatGPT的宝座发起冲击。
然而，毫无疑问，ChatGPT仍然是迄今为止最受欢迎的LLM。你最喜欢的基于AI的应用很有可能只是一个处理连接的ChatGPT封装器。但是，如果我们退后一步思考安全问题，它真的是私密且安全的吗？OpenAI确保保护API数据隐私是他们非常关心的事情，但他们同时面临着许多诉讼。即使他们非常努力地保护模型使用的隐私和安全性，这些模型可能过于强大而无法控制。
那么，我们如何确保在使用LLMs的同时不会出现隐私和安全问题？如何利用这些模型的能力而不损害敏感数据？让我们来认识一下PUMA。
PUMA 是一个旨在实现安全高效评估Transformer模型的框架，同时保护您数据的纯洁性。它将安全多方计算（MPC）与高效的Transformer推理相结合。
在其核心，PUMA 引入了一种新颖的技术，用于近似Transformer模型内的复杂非线性函数，如GeLU和Softmax。这些近似是为了保持准确性，同时显著提高效率。与可能牺牲性能或导致复杂部署策略的先前方法不同，PUMA的方法平衡了两个世界-确保准确结果的同时，保持了实际应用所需的效率。
PUMA 引入了三个关键实体：模型所有者、客户端和计算方。每个实体在安全推理过程中都发挥着关键作用。
模型所有者提供经过训练的Transformer模型，而客户端贡献输入数据并接收推理结果。计算方集体执行安全计算协议，确保数据和模型权重在整个过程中得到安全保护。PUMA推理过程的基本原则是保持输入数据和权重的机密性，保护涉及的实体的隐私。
安全嵌入是安全推理过程的一个基本方面，传统上涉及使用令牌标识符生成一位热向量。然而，PUMA 提出了一种与Transformer模型的标准工作流程密切相符的安全嵌入设计。这种简化的方法确保安全措施不会干扰模型的固有架构，简化了在实际应用中部署安全模型。
此外，在安全推理中，近似复杂函数（如GeLU和Softmax）以平衡计算效率和准确性的方式是一个重大挑战。PUMA 通过设计更准确的近似方法，根据这些函数的特性进行优化，解决了这个问题。通过利用这些函数的特定特征，PUMA 显著提高了近似的精度，同时优化了运行时间和通信成本。
最后，LayerNorm作为Transformer模型中的关键操作，由于除法平方根公式，它在安全推理中带来了独特的挑战。PUMA 通过巧妙地重新定义使用安全协议的操作，确保LayerNorm的计算既安全又高效。
PUMA 最重要的特点之一是它的无缝集成。该框架可以在不需要进行重大模型架构修改的情况下，实现端到端的安全推理，这意味着您可以轻松利用预训练的Transformer模型。无论是从Hugging Face还是其他来源下载的语言模型，PUMA 都能简化操作。它与原始工作流程相一致，不需要复杂的重新训练或修改。