GPT-4 在互联网上由UCSD的一组研究人员进行了公共图灵测试。表现最佳的GPT-4提示在41%的游戏中成功，这比ELIZA（27%）、GPT-3.5（14%）和随机机会（63%）提供的基线更好，但它仍然需要迈上更高一步。图灵测试的结果显示，参与者主要根据语言风格（占总比例的35%）和社交情感特征（占总比例的27%）进行判断。参与者的教育水平和之前与LLM的经验都不能预测他们发现欺骗的能力，这表明即使是在这方面有经验的人也可能容易受欺骗。虽然图灵测试因其作为智能测量的缺点而受到广泛批评，但来自加利福尼亚大学圣迭戈分校的两位研究人员表示，它仍然有用作衡量自发交流和欺骗的标准。他们拥有可以模仿人类的人工智能模型，这可能会产生深远的社会影响。因此，他们正在研究各种方法和标准的有效性，以确定人类相似性。
图灵测试有趣的原因与其对智能敏感性的争议无关。首先，分析正在测试的能力非常重要，即一个系统能否欺骗对话者认为它是人类。图灵测试提供了一种可靠的方法来监测模型中此类能力的发展。此外，它使我们能够了解在撒谎中起作用的各个方面，例如模型的大小和性能、提示策略、附属基础设施（如实时信息访问）以及询问者的专业水平。
其次，图灵测试可用作研究工具来探究机器显示人类外貌的普遍认知。评估了机器的性能，还研究了人类参与者在文化、伦理和心理方面的先入为主观念。询问者在撰写和完善问题时披露了关于构成为人类的特质以及哪些特质最难拥有的潜在观点。
图灵测试经过一个询问者和一个证人的修改，用来确定后者是人还是人工智能。这与图灵最初的三人设定形成对比，但由于无需每场游戏都在线上有多个人类参与者，这一设定变得相当普遍。
他们使用OpenAI API开发了25个LLM证人，可以回答用户提出的问题。每个LLM证人都有一个温度设置（0.2、0.5或1.0）、一个模型（GPT-3.5或GPT-4）和一个提示。提示解释了情况，并为代理人提供了具体的指导。
聊天应用的用户界面被设计成类似于标准的消息服务。询问者发送第一条消息，每个用户一次只能发送一条消息。每次沟通只能有300个字符长，并且总的讨论时间为5分钟。用户不被允许将内容粘贴到文本框中，还应用了内容过滤器以防止滥用信息。在屏幕的右上角，您将找到一个倒计时计时器、显示指导说明的按钮和一个报告滥用行为的表格。
询问者使用决策界面提供以下信息：
i）裁决（机器或人工证人）
ii）他们对自己做出正确决定的确信程度（0-100）。
iii）对他们选择的理由（自由形式语言）。
加州大学圣迭戈分校的IRB授予了这项研究（图灵测试）的许可。实验在现场网站进行。在线社交媒体平台被用于招募参与者。他们阅读了概述游戏规则的说明，并同意他们的数据被用于科学研究。
他们招募了650人，并完成了1400场“游戏”，在其中与人类或GPT模型进行了短暂的对话。被试者被提供了一个对话伙伴，并被要求识别他们。
研究参与者被GPT-4模型欺骗的比例为41%，而被GPT-3.5模型欺骗的比例为5%至14%。只有在63%的试验中，人们能够说服参与者他们不是机器。
局限性
由于这项研究作为一项开放、在线的实验，有一些注意事项可能会导致其结果不够可靠。首先，样本可能更具代表性，因为参与者是通过社交媒体招募的。其次，参与者需要有一些激励措施。因此，提问者和证人可能会尽力而为。人类证人已经通过表现得像人工智能来进行“恶作剧”。一些调查人员将这种行为作为证明人类判断的理由。因此，结果可能低估了人类的表现，同时高估了人工智能的表现。第三，一些提问者承认他们对证人有先验知识。
总结一下 –
图灵测试经常被批评为衡量智能的不完美指标：因为它过于，但是在这种情况下，如果提问者没有透露，研究人员可能高估了人类的表现。最后，由于每次只有一个在线用户，他们经常与同一个人工智能证人配对。因此，人们就会对任何给定的证言有先入为主的观念，这可能导致整体上的SR率降低。尽管努力删除了连续三次与人工智能对战的游戏，以抵消这种偏见对结果的影响，但这种偏见可能仍然影响了结果。最后，他们只使用了可用提示的一小部分，并且在开发这些提示时并不知道真实人类会如何与游戏互动。结果肯定低估了GPT-4在图灵测试中的潜力，因为还有更有效的提示。