随着自然语言系统在现实场景中的普及，这些系统必须正确地传达不确定性。人类通常依靠不确定性表达来告知决策过程，从带伞到开始化疗的决策都范围之内。然而，有必要研究语言不确定性与自然语言生成系统的相互作用，从而需要了解模型与自然语言交互的关键组成部分。
最近的研究探讨了语言模型（LMs）解释不确定性表达的能力以及当它们被训练用于发出不确定性表达时的行为变化。自然的不确定性表达可以包括表示犹豫、归因信息或承认限制等其他话语行为。尽管先前的研究集中于学习模型的内部概率与语言或数字序数输出之间的映射，但当前的研究旨在将非单一维度的语言特征（如修饰语、认识标记、主动动词和证据标记）纳入自然语言生成模型中。
本研究检查了大型语言模型（LMs）在解释和生成不确定性提示时在问答（QA）任务的上下文中的行为。研究在零样本设置下进行实验，以分离提示中不确定性的影响，并在上下文学习场景中研究学习表达不确定性如何影响QA任务的生成。
研究发现，使用高确定性的表达可能导致准确性和校准性的缺陷。具体而言，在使用确定性表达来加强介词时，准确性存在系统性损失。此外，教导LM发出削弱语气而不是加强语气可以在不牺牲准确性的情况下获得更好的校准。该研究引入了不确定性表达的分类学以评估语言特征对LM生成的影响。
结果表明，在设计语言校准模型时至关重要，鉴于模型发出高度确定性语言的潜在缺陷。该研究的贡献包括：
- 提供不确定性表达与LMs相互作用的框架和分析。
- 引入不确定性表达的分类学。
- 展示模型使用确定性表达或惯用语言时出现的准确性问题。
最后，研究表明，不确定性表达可能比确定性表达更好地实现校准。
结论
本研究分析了自然不确定性表达对零样本提示和上下文学习中模型行为的影响。研究人员发现，在零样本提示中使用自然不确定性表达（如加强语气和主动动词）以及数值不确定性习语（如“100%确定”）会降低准确性。然而，教导模型仅在不确定时发出不确定性表达可能是人机交互的更安全设计选择。这是因为先前的研究表明，辅助决策的人工智能表现不如仅依靠人类决策，这表明过度依赖人工智能。教导模型发出确定性表达可能会加剧模型的校准不良和脆弱性。
研究人员建议，在进一步研究人类如何解释生成的自然表达式时，社区应将重点放在训练模型发出不确定性表达上。