人工智能（AI）聊天机器人的出现重塑了对话体验，带来了似乎与人类理解和使用语言相似的进展。这些聊天机器人以大量的语言模型为基础，正在逐渐擅长处理人类交互的复杂性。
然而，最近的一项研究揭示了这些模型在区分自然语言和无意义语句方面的持久性漏洞。哥伦比亚大学研究人员进行的调查提供了有关聊天机器人性能和人类语言处理潜力改进的有趣见解。
语言模型的调查
团队详细阐述了他们的研究，涉及九种不同的语言模型，这些模型接受了大量的句子对。研究中的人类参与者被要求在每对句子中辨别出更“自然”的句子，反映了日常用法。然后根据模型的评估结果与人类选择进行比较。
当模型相互对抗时，基于变压器神经网络的模型表现出优于较简单的循环神经网络模型和统计模型的性能。然而，即使是更复杂的模型也会出现错误，常常选择被人类视为无意义的句子。
与无意义句子的斗争
哥伦比亚大学祖克曼研究所的首席研究员尼古劳斯·克里格斯科特博士强调了大型语言模型在捕捉简单模型所忽视的关键方面方面的相对成功。他指出：“即使是我们研究的最好的模型在被无意义句子欺骗的情况下，说明它们的计算在人类语言处理方面缺少某些东西。”
研究中的一个引人注目的例子突出了像BERT这样的模型错误判断句子的自然性，与像GPT-2这样的模型与人类判断一致。这些模型中存在的缺陷，正如哥伦比亚大学心理学助理教授克里斯托弗·巴尔达萨诺博士所指出的，引发了对于决策过程中依赖AI系统的担忧，进一步引起对其在标记句子时的“盲点”关注。
影响和未来方向
性能差距以及为什么某些模型表现更好的探索是克里格斯科特博士感兴趣的领域。他认为，了解这些差异可以极大地推动语言模型的进展。
这项研究还为探索AI聊天机器人的机制是否可以引发新的科学探索开辟了道路，有助于神经科学家解读人类大脑的复杂性。
论文的通讯作者塔尔·戈兰博士对理解人类思维过程表示了兴趣，考虑到AI工具在语言处理方面的不断增强能力。他评论道：“将它们的语言理解与我们的进行比较，为我们提供了一种思考我们思维方式的新途径。”
对AI聊天机器人的语言能力的探索揭示了将其理解与人类认知对齐的挑战。
持续努力探索这些差异和随之而来的启示，不仅有望提高AI聊天机器人的效能，还有望揭示人类认知过程的多层面。
基于AI驱动的语言理解和人类认知的并置为多方面的探索奠定了基础，可能重塑对AI和神经科学互联领域的认识和知识的看法。