AI语言模型正在成为我们生活中必不可少的一部分。几十年来，我们一直使用谷歌来获取信息，但现在，我们正慢慢地转向ChatGPT。它提供简洁的答案、清晰的解释，通常更快地找到我们所寻找的信息。
这些模型从我们多年来产生的数据中学习。因此，我们将我们的偏见传递给了AI模型，这是该领域的一个争议话题。一个特别引起关注的偏见是代词分布中的性别偏见，其中模型倾向于根据上下文喜欢使用带有性别色彩的代词，如“他”或“她”。
解决这种性别偏见对于确保公平和包容的语言生成至关重要。例如，如果你以“CEO认为…”开头的句子，模型会继续使用他，如果你用护士代替CEO，下一个标记就变成了她。这个例子是一个有趣的案例研究，可以研究偏见并探索缓解偏见的方法。
事实证明，上下文在塑造这些偏见方面起着至关重要的作用。通过用与不同性别相关联的职业代替CEO，实际上可以翻转观察到的偏见。但是，这里的挑战在于：实现在CEO出现的所有不同上下文中的一致去偏见并不容易。我们希望的是可靠和可预测的干预措施，无论特定情况如何，它们都能起作用。毕竟，在理解和改善语言模型方面，可解释性和控制性是关键。不幸的是，当前的Transformer模型虽然在性能方面令人印象深刻，但并不完全符合这些标准。他们的上下文表示引入了各种复杂和非线性的影响，这些影响取决于手头的上下文。
那么，我们该如何克服这些挑战？我们如何解决我们在大型语言模型中引入的偏见？我们应该改进Transformer，还是应该提出新的结构？答案是Backpack Language Models。
Backpack LM通过利用称为感觉向量的非上下文表示来解决去偏见代词分布的挑战。这些向量捕捉单词意义的不同方面以及其在不同上下文中的角色，使单词具有多种个性。
在Backpack LMs中，预测是非上下文表示的对数线性组合，称为感觉向量。词汇表中的每个单词都由多个感觉向量表示，编码单词在不同上下文中的不同学习方面。这些感觉向量在特定上下文中具有特定的专业性，并且可以具有预测性。序列中单词的感觉向量的加权和形成每个单词的Backpack表示，权重由作用于整个序列的上下文化函数确定。通过利用这些感觉向量，Backpack模型实现了在所有上下文中表现出可预测干预的精度。
这意味着我们可以对模型进行非上下文的更改，以始终影响其行为。与Transformer模型相比，Backpack模型提供了一个更透明和可管理的接口。它们提供了更易于理解和控制的精确干预措施。此外，Backpack模型在性能方面也不会有所妥协。事实上，它们在提供增强可解释性的同时也能够达到与Transformers相当的结果。
Backpack模型中的意义向量编码了丰富的词义概念，在词汇相似性任务上表现优于最先进的Transformer模型中的词嵌入。此外，对意义向量的干预，例如减少专业词汇中的性别偏见，展示了Backpack模型提供的控制机制。通过缩小与性别偏见相关联的意义向量，在有限的场景中可以实现显著降低上下文预测差异。