在一个不确定的人类洞察力世界中，接受不确定性可能有助于机器和人类更有效、可靠地共同工作。尽管当前的系统被编程为假设人类干预始终准确自信，但这项研究考虑了这种互动中的不确定性。剑桥大学的研究人员团队创建了“UElic”平台，用于收集现实世界中的人类不确定性数据，并展示其在改善模型处理不确定性能力方面的价值。它强调了允许人类表达不确定性在提高机器学习模型可靠性方面的重要性。
研究人员介绍了旨在提高可解释性并实现人类干预以纠正错误的基于概念的模型。它涉及到使用输入(x)、概念(c)和输出(y)进行监督学习，其中概念可以是二进制或分类的，可能包括不确定性。他们使用了一个图像分类数据集，以便人类可以在标记特定图像时提供反馈并指出不确定性。这些模型使用神经网络预测概念，重点关注概念嵌入模型(CEMs)和概念瓶颈模型(CBMs)的扩展。
研究问题探讨了基于概念的模型如何在测试时处理人类不确定性以及它们如何更好地支持人类不确定性和不确定性水平。研究人员使用了一些具有不同不确定性的基准机器学习数据集：Chexpert用于分类胸部X射线，UMNIST由MNIST数字组成，用于数字分类。为此，研究人员在使用鸟类数据集时模拟了不确定性，参与的人类通过将鸟类分类为红色或橙色来表示确定性。
该研究涵盖了受控模拟和真实人类不确定性，调查了粗粒度和细粒度的不确定性表达。成功处理离散不确定性得分的设计选择影响性能，考虑到映射、广泛与狭窄的不确定性以及实例与总体层面的不确定性。研究学者强调了将人类不确定性纳入基于概念的模型的重要性，以及需要像CUB-S这样的综合数据集来研究这些挑战。作者从这项研究中发现一些开放性挑战：(1)人类和机器不确定性的互补性，(2)对待人类(误)校准，以及(3)扩展不确定性引导。研究人员解释了常见基于概念的模型的缺点，并介绍了UElic界面和CUB-S数据集，以促进在人类不确定性干预方面的进一步研究。