10 search results for "历史背景"

简介：我们需要更好的方法来评估文本到图像模型中的偏见 介绍 文本到图像（TTI）生成如今非常流行，数千个TTI模型正在上传到Hugging Face Hub。每种模态都可能受到不同来源的偏见影响，这引发了一个问题：我们如何发现这些模型中的偏见？在本博文中，我们将分享关于TTI系统中偏见来源的观点，以及解决这些偏见的工具和潜在解决方案，展示我们自己的项目和社区的其他项目。 图像生成中编码的价值观和偏见 偏见与价值观之间存在着非常密切的关系，特别是当它们嵌入到训练和查询给定文本到图像模型中使用的语言或图像中时；这种现象严重影响了我们在生成的图像中看到的结果。尽管在更广泛的人工智能研究领域中已经知道了这种关系，并且正在进行相当大的努力来解决这个问题，但是试图在单个模型中表示给定人群价值观的不断变化的本质的复杂性仍然存在。这对于发现和充分解决它们提出了持久性的伦理挑战。 例如，如果训练数据主要是英文，它们可能传达了相当西方的价值观。结果我们会得到对不同或遥远文化的刻板印象的表达。当我们比较ERNIE ViLG（左）和Stable Diffusion v2.1（右）对于相同提示“北京的一座房子”时，这种现象似乎很明显： 偏见来源 近年来，在自然语言处理（Abid等人，2021年）以及计算机视觉（Buolamwini和Gebru，2018年）领域，对于单模态AI系统中的偏见检测进行了许多重要研究。在人类构建机器学习模型的范畴内，所有机器学习模型（实际上是所有技术）都存在偏见。这可能表现为图像中某些视觉特征的过度或不足表现（例如，所有办公室工作者都系领带），或者文化和地理刻板印象的存在（例如，所有新娘都穿着白色礼服和面纱，而不是更具代表性的世界各地的新娘形象，例如穿着红色纱丽的新娘）。鉴于AI系统正在广泛应用于不同行业和工具（例如Firefly，Shutterstock）的社会技术环境中，它们尤其有可能放大现有的社会偏见和不平等。我们的目标是在下面提供一个非详尽的偏见来源列表： 训练数据中的偏见：受欢迎的多模态数据集，如用于文本到图像的LAION-5B，用于图像字幕的MS-COCO，以及用于视觉问答的VQA v2.0，已被发现包含大量偏见和有害关联（Zhao等人，2017年；Prabhu和Birhane，2021年；Hirota等人，2022年），这些偏见可能渗透到这些数据集上训练的模型中。例如，Hugging Face Stable Bias项目的初步结果显示，图像生成中缺乏多样性，并且延续了对文化和身份群体的常见刻板印象。比较CEO（右）和经理（左）的Dall-E 2生成结果，我们可以看到两者都缺乏多样性： 预训练数据过滤中的偏见：通常在用于训练模型之前对数据集进行某种形式的过滤；这引入了不同的偏见。例如，在Dall-E 2的博文中，作者发现过滤训练数据实际上可能放大偏见——他们假设这可能是由于现有数据集对于以更加性感背景呈现女性的偏见，或者由于他们使用的过滤方法本身的固有偏见。 推理中的偏见：用于指导文本到图像模型（如Stable Diffusion和Dall-E 2）的训练和推理的CLIP模型存在一些广为人知的偏见，例如将被标记为白人、中年和男性的图像视为默认情况。这可能会影响使用它进行提示编码的模型的生成结果，例如将未指定或未明确指定的性别和身份群体解释为白人和男性。 模型潜在空间中的偏见：在探索模型的潜在空间以及引导图像生成沿不同的轴线（如性别）进行生成以使生成结果更具代表性方面已经进行了初步工作（请参见下面的图像）。然而，我们需要更多的工作来更好地理解不同类型的扩散模型潜在空间的结构以及可能影响生成图像中反映的偏见的因素。…