机器学习永远不会100%正确。因此，只有在用户理解预测的不确定性时，ML模型才有帮助。
几乎每天我们都会发现新的机器学习产品、服务或数据集的推出。这是人工智能的时代，然而很少有这些产品提供用户对结果应该有多大信心的信息。然而，正如研究所显示的，做出良好的决策需要知道何时信任人工智能，何时不信任。否则，就会导致常见的用户需要频繁尝试模型以了解何时信任模型、何时不信任模型，以及是否对他们有用。
用户采用尝试和错误的原则是因为每个模型（无论是基于机器学习还是统计学）都是建立在数据和其不确定性的基础上。模型的底层数据并不代表模型所预测的实际真相。否则，如果真相数据可用，你就不需要模型了。因此，得到的模型只能提供一个估计值，而不是一个真值。
简而言之，机器学习和统计模型的正确性是不确定的，不能总是被信任。
例子：预测跨县移动
让我们举个例子（图1）。想象一下一个产品能够提供从一个国家到另一个国家移动的人数。当然，存在一些数据（例如税务报告）可以提供这样的信息，但是这些数据真的能完整代表整个人口的流动吗？每个学生、移民或外派员工都会更改他们的税务报告吗？很可能不是这样。因此，即使是一个简单的提供移动信息的产品，也会对其底层数据样本（例如公开的税务报告）产生偏见。很容易想象更复杂的产品可能存在偏见。
对于机器学习来说，这个限制甚至变得更糟，因为它是基于概率的、具有众多输入，并且每个输入仅代表人口的一小部分。因此，底层模型将倾向于训练数据中描述的大多数情况，并会偏离…