Month: October 2023

为了与他人沟通，人类只能使用有限的词汇来解释外界的所见。这种适应性的认知能力表明，通过语言传达的语义信息与各种感觉输入紧密地交织在一起，特别是对于视觉来说。根据神经科学的调查，非模态语义表示在视觉和语言体验之间是共享的。例如，“猫”这个词会生成可与猫的脑内图像相比拟的概念信息。然而，概念类别之间的语义关系以及在V&L模态之间的平滑过渡通常只是在计算模型中被量化或实现。 最近关于神经解码器的研究表明，通过功能磁共振成像捕获到的视觉皮层的表示可以重建视觉内容。然而，重建图片的模糊和语义的无意义或不匹配仍然存在。另一方面，神经科学界提供了强有力的证据支持大脑的视觉皮层可以获取既视觉又语言的语义理念。研究结果促使我们开发新的“读心术”设备，以语音翻译您所感知的内容。这样的努力在阐明跨模态的语义整合机制方面具有相当的科学价值，同时也为增强型或恢复性脑-计算机接口提供了有用的信息。 浙江大学的作者们介绍了MindGPT，一种非侵入性神经语言解码器，将由静态视觉刺激产生的血氧水平依赖模式转换为良好的词序列，如图1左所示。据他们所知，唐等人是第一次尝试创建一个非侵入性神经解码器，用于感知性讲稿的重建，甚至可以恢复静默影片的含义。然而，由于功能磁共振成像的时间分辨率较低，需要收集大量的功能磁共振成像数据才能预测候选词与诱发脑响应之间的细粒度语义意义。 图1：左：MindGPT非侵入性语言解码器的整体流程。右：我们的MindGPT重建结果，SMALLCAP图片标题模型和VQ-fMRI以及MinD-Vis视觉解码方法的结果。 相反，这项研究集中于静态视觉感觉经验（如单一图像）是否以及在多大程度上为非模态语言映射提供语义标记。他们构建MindGPT以满足两个重要需求：（i）它必须能够从脑活动中提取视觉语义表示；（ii）它必须包括一种将学习到的视觉语义表示转化为正常构造的词序列的方法。他们首先决定使用大型语言模型GPT-2作为他们的文本生成器。该模型已经在一个名为WebText的数百万个网站数据集上进行了预训练，并且它可以让我们限制句子模式以与良好的自然英语相似。 然后，为了从端到端地缩小脑-视觉语言表示之间的含义差距，他们采用了一个简单且有效的受CLIP引导的fMRI编码器和交叉注意层。这种神经解码形式具有非常少的可学习参数，使其既轻量又高效。他们在这项工作中展示了MindGPT可以作为连接大脑的VC和机器的可靠的V&L语义转换的链路。他们的技术已经学习到了可普遍适用的脑语义表示以及对B&V&L模态的深入理解，因为其生成的语言准确捕捉了观察输入的视觉语义。 此外，他们发现，即使只有很少的fMRI图片训练数据，经过良好训练的MindGPT似乎也能够记录刺激图像的视觉线索，这使我们更容易研究视觉特征对语言语义的贡献。他们还借助可视化工具观察到，MindGPT所教授的潜在脑表示具有低级视觉要素和高级语义理念的有利的局部敏感特征，与神经科学领域的某些发现一致。总体而言，他们的MindGPT揭示了与先前工作相比，从大脑的VC中推断V&L表示之间的语义关系是可能的，而无需考虑fMRI的时间分辨率。

该内容仅供订阅者使用 使用条款隐私政策 自然语言处理（NLP）系统长期以来一直严重依赖预训练语言模型（PLMs）进行各种任务，包括语音识别、隐喻处理、情感分析、信息提取和机器翻译。随着最新的发展，PLMs 正在快速变化，并且新的发展显示它们可以作为独立的系统运行。这种方法的重要进展是由OpenAI开发的大型语言模型（LLMs），如GPT-4，它们在NLP任务以及生物学、化学和医学测试等学科中表现出了改进的性能。谷歌的Med-PaLM 2开启了一个新的可能性时代，该模型专门为医疗领域设计，并在医学问题数据集上达到了“专业”级别的性能。 LLMs可以通过提高众多应用的效力和效率来改变医疗保健行业。由于它们对医学思想和术语有透彻的理解，这些模型可以为医疗问题提供有见地的分析和答案。它们可以在患者互动、临床决策支持甚至医学影像解读方面提供帮助。LLMs也存在一些缺点，包括对大量训练数据的需求以及可能传播数据中的偏见。 在最近的一项研究中，一个研究团队对LLMs在医疗保健中的能力进行了调查。为了理解从PLMs到LLMs的显著改进，有必要对比这两种类型的语言模型。虽然PLMs是基础构建模块，但LLMs拥有更广泛的功能范围，使其能够在医疗保健环境中产生连贯、有上下文意识的回答。从PLMs到LLMs的转变可以看作是从区分性人工智能方法（模型分类或预测事件）到生成性人工智能方法（模型生成基于语言的答案）的转变。这种转变进一步突显了从以模型为中心到以数据为中心的转变。 LLM领域有许多不同的模型，每个模型都适用于特定的专业领域。专门为医疗保健行业定制的知名模型包括华佗GPT、Med-PaLM 2和Visual Med-Alpaca。例如，华佗GPT会主动向患者提问，而Visual Med-Alpaca与视觉专家合作进行诸如放射学图像解释等工作。由于其多样性，LLMs能够解决各种与医疗保健相关的问题。 训练数据集、技术和优化策略对LLMs在医疗应用中的性能有重大影响。调查探讨了在医疗环境中创建和优化LLMs的技术要素。在使用LLMs进行医疗保健时存在一些实际和伦理问题。在涉及患者护理时，确保公正、责任、透明和伦理尤为重要。医疗保健应用必须没有偏见，遵循道德准则，并对其答案给出清晰的解释。 研究团队对主要贡献进行了总结，具体如下： 分享了从PLMs到LLMs的过渡路径，提供了新进展的更新。 重点关注了在医疗保健行业中为LLMs组合培训材料、评估工具和数据资源，以帮助医学研究人员选择适合其个体需求的最佳LLMs。 对公正性、平等性和透明性等伦理问题进行了研究。

在大型语言模型的领域中，有一个困扰人的问题突出出现。虽然这些模型可以掌握许多基于语言的任务，但在处理涉及大数乘法计算时常常会出现困难。具体来说，两个四位数相乘的成功率仅略超过90％，有待改进的余地。 这个问题源于数字和其他形式的语言之间固有的差异。与字母或单词不同，数字包含了一个连续的值谱系，受到复杂且严格的规则约束。这个挑战引发了有关语言模型和数字数据交叉领域的问题，并催生出寻求解决方案的探索。 解决这个问题的现有方法寥寥无几且不完美。在语言相关任务方面表现出色的大型语言模型在适应数字这一连续且具有无限变动性的特性时面临困难。大多数方法涉及令牌化，即将数字拆分成多个令牌，从而增加了模型的复杂性和内存需求。 多学科人工智能研究人员提出了一个潜在的创世纪者：xVal编码策略。这种创新方法为大型语言模型中数字的编码提供了全新视角，以用于科学应用。xVal使用一个标记为[NUM]的唯一标记来代表任何数字。 xVal策略通过在语言模型中以不同的方式处理数字来实现这一点。每个数字都经过预处理并存储在单独的向量中。文本将数字替换为[NUM]标记。在解码过程中，变压器架构中的专用标记头被用来预测与[NUM]标记相关联的值，使用均方误差（MSE）损失作为指导指标。 在一系列实验中，xVal的能力经过了严格测试，并与其他四种数字编码策略进行了比较。结果令人惊奇。在多操作数任务中，xVal超越了其他方法，并在复杂计算（如大型多位整数相乘）中表现出类似的性能。 将xVal应用于ERA5全球气候数据集的温度读数时，xVal的内在连续性偏差使其在最短的训练时间内取得了最佳性能。 行星模拟揭示了xVal在模拟绕中心质量运行的行星时出色的插值能力，在预测分布之外的数据时超过了所有其他的编码方案。 总之，xVal在语言模型中对数字进行编码的创新方法具有革命未来的潜力。通过采用更高效准确的方法解决在LLM中表示数字的挑战，为科学领域的创新应用打开了大门。这一具有突破性的解决方案可能为多个科学领域的基础模型的开发铺平道路，从而彻底改变未来科学探究的格局。

人工智能（AI）的创新速度令人惊讶。AI现在是机器人技术、物联网和大数据等技术的驱动力，而ChatGPT等生成型AI工具正受到广泛关注。借助AI，计算机可以从大量数据中做出智能决策和发现，为未来的创新铺平道路。 然而，这种AI的崛起引发了一些人的担忧。他们担心AI可能会取代工作，并在将来独立于人类操作。本文探讨了人们为什么害怕AI以及我们如何应对和消除他们的恐惧和误解。 AI如何改善人类生活？ 医疗保健 得益于AI的数据分析能力，医疗行业已经在经历变革。例如，AI可以更快、更准确地检测疾病。例如，在更容易治疗时，它可以发现癌症的迹象。它可以简化药物发现过程，甚至可以像虚拟护士一样对患者进行检查。 交通运输 随着自动驾驶汽车越来越普及，它们将彻底改变交通运输行业。这些汽车利用AI安全高效地驾驶，减少事故，使出行更加便捷。此外，AI在交通运输中扮演其他角色，如汽车中的智能语音助手，可帮助导航、回答问题，并使驾驶更加方便和愉快。此外，AI现在还被用于创意设计汽车。它可以开发使车辆更高效、舒适和环保的新想法。 教育 AI有能力改变各个年龄段的人们的教育形式。它利用机器学习、理解人类语言和识别人脸等智能技术来提高学习效果。例如，AI可以将常规教科书转化为数字教材，使从屏幕上学习变得更容易。它还有助于发现抄袭，确保每个人都公平学习。此外，AI甚至可以通过观察学生的情绪来判断他们是否觉得课程太难或太容易，从而调整学习内容以更好地适应他们。 除了这些领域，AI还有潜力改变许多其他行业。它正在通过聊天机器人和虚拟助手提升客户服务。它甚至正在使我们的家居变得更智能，控制温控器和灯光等设备。AI的可能性是广泛的，且不断扩大。 尽管AI非常有用，但对AI的担忧也在增加。让我们讨论人们为什么害怕AI的原因。 “具有前瞻性的公司认识到AI的巨大潜力，并积极寻求将其纳入日常运营的方法，从而为成功做好准备。这不是AI与人类的对立问题，而是AI与人类合作的问题，因为AI旨在补充人类能力，使我们能够取得比以往更多的成就。教育团队并利用这项技术不仅可以提高个人效率和生产力，还可以设想如何提升整个行业水平。我们有机会迎来一段史无前例的进步和创新时代。” – Shubham A. Mishra，Pixis的联合创始人兼全球首席执行官 为什么人类害怕AI？ 2023年3月，包括埃隆·马斯克在内的超过一千名AI领域的专家发表了一封公开信，呼吁大规模AI系统的开发暂停几个月，以便能够正确理解其风险。 这种恐惧背后的主要原因之一是，专家们认为在不久的将来，AI可能能够独立于人类工作-它可能开始制定自己的目标。鉴于AI系统的改进速度，此前被视为科幻可能性的情况，现在被认为只是一个时间问题。 专家们还预测，AI将威胁人类的自主权，计算机可能在模式识别、分析和复杂决策等任务上与甚至超过人类智能。 我们希望人工智能不仅聪明，还要尊重人们关心的事情，比如保护我们的信息安全。如果我们做错了，后果可能非常危险。有时，拥有大量数据可以帮助我们做好事，比如停止不想要的电子邮件并提出我们可能喜欢的建议。但有时，它也可能影响我们的隐私和受到公平对待的权利。 对于人们对人工智能的焦虑，失业的担忧是另一个原因。几个月前，BT决定在2030年之前裁员高达55,000人，以推动人工智能的发展。人工智能也影响到了教育领域，像ChatGPT等工具可以快速写作学生的论文，GPT-4在美国法律考试中表现出色。然而，当谈到AGI（人工通用智能）时，风险变得更加严重，甚至可能对生命构成威胁。 我们如何克服人工智能的挑战和风险？ 政府可以限制科技公司使用的计算能力和数据量来培训人工智能。 我们可以限制人工智能能够获取的知识。例如，我们可以隐瞒关于生物科技、核武器或个人细节的信息。…