语言模型在热点话题上的偏见可能与普遍民意不符。
来源：DALL-E
斯坦福大学的研究人员开发了OpinionQA来评估语言模型的偏见，将语言模型的倾向性与公共舆论调查进行比较。
OpinionQA使用三个意见调整指标：代表性，即模型与普罗大众和人口统计学横截面的一致性；可操纵性，即模型在被要求时如何反映给定子群的意见；以及一致性，即模型在话题和时间上的意见稳定性。
研究人员发现，当仅在互联网上进行训练时，语言模型通常对不受教育、低收入或保守观点有偏见，但当通过策划的人类反馈进行改进时，它们会偏向更自由、受教育程度更高、收入更高的观点。
斯坦福大学的Shibani Santurkar表示，OpinionQA“有助于确定和量化语言模型与人类观点不一致的地方和方式，以及模型通常不能充分代表某些子群。”来自斯坦福大学人类中心AI研究所的全文
摘要版权所有©2023 SmithBucklin，华盛顿特区，美国 