Tag: Machine learning

在材料科学领域，研究人员面临着破解原子尺度下物质复杂行为的巨大挑战。类似非弹性中子散射或X射线散射的技术提供了非常宝贵的见解，但资源密集且复杂。中子源的有限可用性，以及对数据解释的一丝不苟的需求，一直是该领域进展的瓶颈。虽然以前曾经使用机器学习来提高数据准确性，但美国能源部SLAC国家加速器实验室的团队揭示了一种突破性的方法，使用神经隐式表示，超越传统方法。 以往在材料研究中利用机器学习的尝试主要依赖于基于图像的数据表示。然而，这个团队使用神经隐式表示的新方法走了一条与众不同的道路。它使用坐标作为输入，类似于地图上的点，根据它们的空间位置预测属性。这种方法为解释数据提供了一种配方，允许进行详细的预测，甚至在数据点之间。这种创新在捕捉量子材料数据中细微差别方面非常有效，为该领域的研究提供了一个有前途的途径。 该团队的动力很明确：揭示受审查的材料的潜在物理特性。研究人员强调了在中子散射产生的大量数据集中筛选出仅有的相关数据的挑战。经过数千次模拟的改进的机器学习模型可以识别出对人眼来说可能不易察觉的数据曲线上微小的差异。这种突破性方法不仅加快了对数据的理解，还为研究人员在收集数据时提供了即时帮助，这在以前是不可能的。 这种创新的关键指标在于其能够进行连续实时分析的能力。这种能力可以改变像SLAC的Linac相干光源（LCLS）这样的设施中的实验进行方式。传统上，研究人员依靠直觉、模拟和实验后分析来指导他们的下一步。通过新方法，研究人员可以精确地确定何时积累足够的数据来得出一个实验的结论，从而简化整个过程。 这种名为“坐标网络”的模型的适应性证明了其在涉及能量和动量数据的各种散射测量中的潜在影响。这种灵活性为材料科学领域的各种研究提供了新的研究途径。该团队恰当地强调了这种前沿的机器学习方法在加快进步和简化实验方面的潜力，并为材料研究开辟了令人兴奋的新前景。 总而言之，神经隐式表示和机器学习技术的整合为材料研究带来了一个新时代。能够迅速准确地从实验数据中提取未知参数，减少人为干预的能力，是一个重要的改变者。通过提供实时指导和连续分析，这种方法有望改变实验的进行方式，可能加快材料科学中的发现速度。凭借其在各种散射测量中的适应性，材料研究的未来看起来异常有希望。

人类动作捕捉已经成为各个行业的关键工具，包括体育、医疗和娱乐领域的角色动画。动作捕捉在运动中使用多种目的，包括预防受伤、分析伤病、视频游戏行业动画，甚至为电视广播提供信息可视化。传统的动作捕捉系统在大多数情况下可以提供可靠的结果。但是，它们昂贵且耗时，设置、校准和后处理困难，难以广泛应用。对于游泳等水上活动而言，这些问题更加严重，例如标记器反射或水下摄像机的安装。 最近的进展使得能够使用简单、可负担得起的设备从RGB照片和电影中捕捉动作。这些实时单摄像头系统可以利用现有的实时视频数据，在体育赛事中广泛应用动作捕捉。它可以用于小型结构，以增强业余运动员的培训计划。然而，由于需要更多数据，使用基于计算机视觉的游泳动作捕捉面临着一些障碍。无论是2D关节点、身体分割还是3D关节点、虚拟标记，每个人体姿态和形状（HPS）估计方法都必须从图像中提取信息。然而，基于传统数据集训练的计算机视觉算法在处理水上数据时需要帮助，因为它与训练图片差异很大。 HPS估计的最新进展表明，合成数据可以替代或补充真实图片。他们推出了SwimXYZ，以扩展基于图像的动作捕捉技术在游泳中的应用。SwimXYZ是一个人工数据集，其中包含用真实游泳池拍摄的特定于游泳的电影，并标注了2D和3D关节点。SwimXYZ的11520部电影共340万个帧，拍摄角度、主题和水质、灯光以及动作都有所不同。除了240个合成游泳动作序列以SMPL格式呈现，SwimXYZ还提供了各种身体形态和游泳动作。 这项研究由CentraleSupélec、IETR UMR、Centrale Nantes和Université Technologique de Compiègne的研究人员创建了SwimXYZ，这是一个庞大的人工游泳动作和电影集合，将在论文被接受后在线发布。SwimXYZ的实验证明了在游泳中进行动作捕捉的潜力，他们的目标是帮助其更广泛地应用。未来的研究可能会运用SMPL格式的动作来训练姿势和运动先验或游泳划水分类器，以及使用SwimXYZ提供的电影来训练2D和3D姿势估计模型。SwimXYZ在主题（性别、体型和泳装外观）和场景（室外环境、池底）方面的缺乏多样性可以在后续工作中得到纠正。其他改进可能包括其他注释（如分割和深度图）或添加其他游泳动作，如跳水和转身。

大型语言模型（LLMs）如ChatGPT和Llama因其出色的自然语言处理能力而受到广泛关注，能够实现从文本生成到代码完成等各种应用。尽管它们的效用巨大，但这些模型的高运营成本也带来了重大挑战，促使研究人员寻求创新解决方案以增强其效率和可扩展性。 由于生成单个响应的平均成本为0.01美元，将这些模型扩展以为数十亿用户提供服务，每个用户每天进行多次互动，相关费用可能迅速变得巨大。这些成本尤其在复杂任务（如代码自动完成）中可能呈指数级增长，在编码过程中，模型一直处于运行状态。鉴于对优化解码过程的迫切需求，研究人员已探索了一些技术，以简化和加速注意力操作，这是生成连贯和上下文相关文本的重要组成部分。 LLM的推理，通常称为解码，涉及一次一步生成令牌，其中注意力操作是决定整体生成时间的重要因素。尽管像FlashAttention v2和FasterTransformer这样的进展优化了训练过程，通过优化内存带宽和计算资源，但在推理阶段仍存在挑战。在解码过程中遇到的主要限制之一与较长的上下文相关联的注意力操作的可扩展性有关。随着越来越多的LLM任务处理更广泛的文档、对话和代码库，注意力操作可能消耗大量的推理时间，从而影响模型的整体效率。 研究人员提出了一种突破性技术，称为Flash-Decoding，以解决这些挑战，借鉴以前的方法的基础。Flash-Decoding的关键创新在于其并行化方法，它以关键字和值的序列长度为中心。通过将关键字和值分割为较小的片段，该方法即使在较小批量大小和较长上下文的情况下，也能高效利用GPU。Flash-Decoding通过利用并行化的注意力计算和对数求和指数函数，大大减少了GPU内存需求，促进了整个模型架构的流畅和高效计算。 为了评估Flash-Decoding的有效性，对最先进的CodeLLaMa-34b模型进行了全面的基准测试，该模型以其强大的架构和先进的功能而闻名。结果显示，与现有方法相比，对于较长序列，解码速度提高了8倍。此外，对不同序列长度和批量大小的缩放多头注意力进行的微基准测试进一步验证了Flash-Decoding的有效性，即使将序列长度扩展到64k，也展示了其稳定的性能。这种出色的性能在显著提高LLM的效率和可扩展性方面起到了重要作用，标志着大型语言模型推理技术的重大进展。 总之，Flash-Decoding已成为解决大型语言模型解码过程中注意力操作相关挑战的变革性解决方案。通过优化GPU利用率和提高整体模型性能，Flash-Decoding有潜力大幅降低运营成本，并促进这些模型在各种应用中的更广泛使用。这种开创性技术代表了大型语言模型推理领域的重要里程碑，为提高自然语言处理技术的效率和加速进步铺平了道路。

路径规划是在环境地图中从初始点到目标点找到一条经济有效且有效的路径的过程。搜索型规划方法，包括著名的A*搜索，被广泛应用于解决路径规划挑战。这些技术已在包括自动驾驶和机器人臂操作在内的各个领域找到了应用。 最近的研究突出了数据驱动路径规划在两个特定场景中的重要优势。 第一个场景涉及在点对点最短路径搜索问题中相对于传统启发式规划器更高效地发现近似最优路径。 第二个场景是对原始图像输入进行路径规划。在没有对环境进行语义像素级标注的情况下，传统规划器很难完成这一任务。 在这项研究中，作者将传统的A*搜索算法进行了重新定义，并将其与卷积编码器结合，创建了一个完全可训练的端到端神经网络规划器。这种方法被称为神经A*，通过将给定的问题实例转化为一个引导地图，然后基于该地图进行可微分的A*搜索，解决路径规划问题。 上面的图像展示了神经A*的两种路径规划场景。 点对点最短路径搜索：在输入地图中找到一个近似最优路径（红色），并进行较少的节点探索（绿色）。 基于原始图像输入的路径规划：在自然图像上准确预测人类轨迹（红色）。 通过学习使搜索结果与专家提供的地面真实路径相对齐的过程，神经A*可以生成准确且高效地遵循地面真实路径的路径。 该图示了神经A*的框图： (1) 一个路径规划问题实例被输入编码器来产生一个引导地图。 (2) 可微分的A*模块使用引导地图进行点对点最短路径搜索，并输出搜索历史和结果路径。 (3) 搜索历史和地面真实路径之间的损失被反向传播以训练编码器。 全面的实验结果表明，神经A*超越了最先进的数据驱动规划器，在搜索最优性和效率之间取得了有利的平衡。此外，神经A*已经展示了将基于搜索的规划直接应用于自然图像上预测真实人类轨迹的能力。

“`html 将2D图像转换为3D对象用于文本到3D生成是一项艰巨的任务。这主要是因为2D扩散模型仅学习了与视图无关的先验，并且在提取时没有对3D空间的理解。这个限制的结果是多视角不一致的问题，即从所有视角看，3D对象是不一致的。例如，如果我们将一个2D图像的立方体提取到3D空间中，模型可能会生成一个在一个视角上完美而在其他视角上失真的立方体。 为了解决几何不一致问题，一组研究人员提出了一种叫做SweetDreamer的新方法，该方法在提取过程中添加了明确定义的3D形状，并将扩散模型中的2D几何先验与之对齐。该模型通过微调2D扩散模型以具备视角感知能力（理解对象在不同视角下的变化）、生成具有规范方向的3D对象的特定视图坐标图来实现这一目标。这种方法非常有效地生成了从所有视角看一致的3D对象。 研究人员意识到3D不一致结果的主要原因是几何不一致，因此他们的目标是赋予2D先验生成从各个视角看时外观相同且具备通用性的3D对象的能力。 研究人员提出的方法利用了包含多样的规范方向和标准化的3D模型的全面3D数据集。从随机角度渲染深度图，并将其转换为规范坐标图。然后，他们微调2D扩散模型以生成与特定视图对齐的坐标图，最终将几何先验与2D扩散对齐。最后，对齐的几何先验可以平滑地集成到各种文本到3D系统中，有效减少不一致性问题并生成多样且高质量的3D内容。 DMTet和NeRF是文本到3D生成中常用的两种3D表示方法。在研究论文中，作者展示了他们的对齐几何先验可以集成到基于DMTet和NeRF的文本到3D流程中，以提高生成的3D对象的质量。这证明了他们方法的广泛适用性，以及提升多种文本到3D系统性能的潜力。 由于缺乏评价文本到3D过程结果的成熟指标，研究人员主要关注评估3D结果的多视角一致性。他们从DreamFusion画廊随机选择了80个提示，并使用每种方法进行文本到3D生成。随后对3D不一致性进行手动检查以报告成功率。研究人员发现，他们的方法显著优于其他方法。在两种流程（DMTet和NeRF）中，他们的成功率都超过85％，而其他方法的得分约为30％。 总之，SweetDreamers方法提供了一种实现文本到3D生成的最新技术的新颖方法。它可以从各种提示中生成不受多视角不一致问题困扰的结果。与其他先前方法相比，它具有更好的性能，研究人员认为他们的工作将开创使用有限的3D数据增强2D扩散先验以实现文本到3D生成的新方向。 “`

为了与他人沟通，人类只能使用有限的词汇来解释外界的所见。这种适应性的认知能力表明，通过语言传达的语义信息与各种感觉输入紧密地交织在一起，特别是对于视觉来说。根据神经科学的调查，非模态语义表示在视觉和语言体验之间是共享的。例如，“猫”这个词会生成可与猫的脑内图像相比拟的概念信息。然而，概念类别之间的语义关系以及在V&L模态之间的平滑过渡通常只是在计算模型中被量化或实现。 最近关于神经解码器的研究表明，通过功能磁共振成像捕获到的视觉皮层的表示可以重建视觉内容。然而，重建图片的模糊和语义的无意义或不匹配仍然存在。另一方面，神经科学界提供了强有力的证据支持大脑的视觉皮层可以获取既视觉又语言的语义理念。研究结果促使我们开发新的“读心术”设备，以语音翻译您所感知的内容。这样的努力在阐明跨模态的语义整合机制方面具有相当的科学价值，同时也为增强型或恢复性脑-计算机接口提供了有用的信息。 浙江大学的作者们介绍了MindGPT，一种非侵入性神经语言解码器，将由静态视觉刺激产生的血氧水平依赖模式转换为良好的词序列，如图1左所示。据他们所知，唐等人是第一次尝试创建一个非侵入性神经解码器，用于感知性讲稿的重建，甚至可以恢复静默影片的含义。然而，由于功能磁共振成像的时间分辨率较低，需要收集大量的功能磁共振成像数据才能预测候选词与诱发脑响应之间的细粒度语义意义。 图1：左：MindGPT非侵入性语言解码器的整体流程。右：我们的MindGPT重建结果，SMALLCAP图片标题模型和VQ-fMRI以及MinD-Vis视觉解码方法的结果。 相反，这项研究集中于静态视觉感觉经验（如单一图像）是否以及在多大程度上为非模态语言映射提供语义标记。他们构建MindGPT以满足两个重要需求：（i）它必须能够从脑活动中提取视觉语义表示；（ii）它必须包括一种将学习到的视觉语义表示转化为正常构造的词序列的方法。他们首先决定使用大型语言模型GPT-2作为他们的文本生成器。该模型已经在一个名为WebText的数百万个网站数据集上进行了预训练，并且它可以让我们限制句子模式以与良好的自然英语相似。 然后，为了从端到端地缩小脑-视觉语言表示之间的含义差距，他们采用了一个简单且有效的受CLIP引导的fMRI编码器和交叉注意层。这种神经解码形式具有非常少的可学习参数，使其既轻量又高效。他们在这项工作中展示了MindGPT可以作为连接大脑的VC和机器的可靠的V&L语义转换的链路。他们的技术已经学习到了可普遍适用的脑语义表示以及对B&V&L模态的深入理解，因为其生成的语言准确捕捉了观察输入的视觉语义。 此外，他们发现，即使只有很少的fMRI图片训练数据，经过良好训练的MindGPT似乎也能够记录刺激图像的视觉线索，这使我们更容易研究视觉特征对语言语义的贡献。他们还借助可视化工具观察到，MindGPT所教授的潜在脑表示具有低级视觉要素和高级语义理念的有利的局部敏感特征，与神经科学领域的某些发现一致。总体而言，他们的MindGPT揭示了与先前工作相比，从大脑的VC中推断V&L表示之间的语义关系是可能的，而无需考虑fMRI的时间分辨率。

该内容仅供订阅者使用 使用条款隐私政策 自然语言处理（NLP）系统长期以来一直严重依赖预训练语言模型（PLMs）进行各种任务，包括语音识别、隐喻处理、情感分析、信息提取和机器翻译。随着最新的发展，PLMs 正在快速变化，并且新的发展显示它们可以作为独立的系统运行。这种方法的重要进展是由OpenAI开发的大型语言模型（LLMs），如GPT-4，它们在NLP任务以及生物学、化学和医学测试等学科中表现出了改进的性能。谷歌的Med-PaLM 2开启了一个新的可能性时代，该模型专门为医疗领域设计，并在医学问题数据集上达到了“专业”级别的性能。 LLMs可以通过提高众多应用的效力和效率来改变医疗保健行业。由于它们对医学思想和术语有透彻的理解，这些模型可以为医疗问题提供有见地的分析和答案。它们可以在患者互动、临床决策支持甚至医学影像解读方面提供帮助。LLMs也存在一些缺点，包括对大量训练数据的需求以及可能传播数据中的偏见。 在最近的一项研究中，一个研究团队对LLMs在医疗保健中的能力进行了调查。为了理解从PLMs到LLMs的显著改进，有必要对比这两种类型的语言模型。虽然PLMs是基础构建模块，但LLMs拥有更广泛的功能范围，使其能够在医疗保健环境中产生连贯、有上下文意识的回答。从PLMs到LLMs的转变可以看作是从区分性人工智能方法（模型分类或预测事件）到生成性人工智能方法（模型生成基于语言的答案）的转变。这种转变进一步突显了从以模型为中心到以数据为中心的转变。 LLM领域有许多不同的模型，每个模型都适用于特定的专业领域。专门为医疗保健行业定制的知名模型包括华佗GPT、Med-PaLM 2和Visual Med-Alpaca。例如，华佗GPT会主动向患者提问，而Visual Med-Alpaca与视觉专家合作进行诸如放射学图像解释等工作。由于其多样性，LLMs能够解决各种与医疗保健相关的问题。 训练数据集、技术和优化策略对LLMs在医疗应用中的性能有重大影响。调查探讨了在医疗环境中创建和优化LLMs的技术要素。在使用LLMs进行医疗保健时存在一些实际和伦理问题。在涉及患者护理时，确保公正、责任、透明和伦理尤为重要。医疗保健应用必须没有偏见，遵循道德准则，并对其答案给出清晰的解释。 研究团队对主要贡献进行了总结，具体如下： 分享了从PLMs到LLMs的过渡路径，提供了新进展的更新。 重点关注了在医疗保健行业中为LLMs组合培训材料、评估工具和数据资源，以帮助医学研究人员选择适合其个体需求的最佳LLMs。 对公正性、平等性和透明性等伦理问题进行了研究。

在大型语言模型的领域中，有一个困扰人的问题突出出现。虽然这些模型可以掌握许多基于语言的任务，但在处理涉及大数乘法计算时常常会出现困难。具体来说，两个四位数相乘的成功率仅略超过90％，有待改进的余地。 这个问题源于数字和其他形式的语言之间固有的差异。与字母或单词不同，数字包含了一个连续的值谱系，受到复杂且严格的规则约束。这个挑战引发了有关语言模型和数字数据交叉领域的问题，并催生出寻求解决方案的探索。 解决这个问题的现有方法寥寥无几且不完美。在语言相关任务方面表现出色的大型语言模型在适应数字这一连续且具有无限变动性的特性时面临困难。大多数方法涉及令牌化，即将数字拆分成多个令牌，从而增加了模型的复杂性和内存需求。 多学科人工智能研究人员提出了一个潜在的创世纪者：xVal编码策略。这种创新方法为大型语言模型中数字的编码提供了全新视角，以用于科学应用。xVal使用一个标记为[NUM]的唯一标记来代表任何数字。 xVal策略通过在语言模型中以不同的方式处理数字来实现这一点。每个数字都经过预处理并存储在单独的向量中。文本将数字替换为[NUM]标记。在解码过程中，变压器架构中的专用标记头被用来预测与[NUM]标记相关联的值，使用均方误差（MSE）损失作为指导指标。 在一系列实验中，xVal的能力经过了严格测试，并与其他四种数字编码策略进行了比较。结果令人惊奇。在多操作数任务中，xVal超越了其他方法，并在复杂计算（如大型多位整数相乘）中表现出类似的性能。 将xVal应用于ERA5全球气候数据集的温度读数时，xVal的内在连续性偏差使其在最短的训练时间内取得了最佳性能。 行星模拟揭示了xVal在模拟绕中心质量运行的行星时出色的插值能力，在预测分布之外的数据时超过了所有其他的编码方案。 总之，xVal在语言模型中对数字进行编码的创新方法具有革命未来的潜力。通过采用更高效准确的方法解决在LLM中表示数字的挑战，为科学领域的创新应用打开了大门。这一具有突破性的解决方案可能为多个科学领域的基础模型的开发铺平道路，从而彻底改变未来科学探究的格局。

人工智能（AI）的创新速度令人惊讶。AI现在是机器人技术、物联网和大数据等技术的驱动力，而ChatGPT等生成型AI工具正受到广泛关注。借助AI，计算机可以从大量数据中做出智能决策和发现，为未来的创新铺平道路。 然而，这种AI的崛起引发了一些人的担忧。他们担心AI可能会取代工作，并在将来独立于人类操作。本文探讨了人们为什么害怕AI以及我们如何应对和消除他们的恐惧和误解。 AI如何改善人类生活？ 医疗保健 得益于AI的数据分析能力，医疗行业已经在经历变革。例如，AI可以更快、更准确地检测疾病。例如，在更容易治疗时，它可以发现癌症的迹象。它可以简化药物发现过程，甚至可以像虚拟护士一样对患者进行检查。 交通运输 随着自动驾驶汽车越来越普及，它们将彻底改变交通运输行业。这些汽车利用AI安全高效地驾驶，减少事故，使出行更加便捷。此外，AI在交通运输中扮演其他角色，如汽车中的智能语音助手，可帮助导航、回答问题，并使驾驶更加方便和愉快。此外，AI现在还被用于创意设计汽车。它可以开发使车辆更高效、舒适和环保的新想法。 教育 AI有能力改变各个年龄段的人们的教育形式。它利用机器学习、理解人类语言和识别人脸等智能技术来提高学习效果。例如，AI可以将常规教科书转化为数字教材，使从屏幕上学习变得更容易。它还有助于发现抄袭，确保每个人都公平学习。此外，AI甚至可以通过观察学生的情绪来判断他们是否觉得课程太难或太容易，从而调整学习内容以更好地适应他们。 除了这些领域，AI还有潜力改变许多其他行业。它正在通过聊天机器人和虚拟助手提升客户服务。它甚至正在使我们的家居变得更智能，控制温控器和灯光等设备。AI的可能性是广泛的，且不断扩大。 尽管AI非常有用，但对AI的担忧也在增加。让我们讨论人们为什么害怕AI的原因。 “具有前瞻性的公司认识到AI的巨大潜力，并积极寻求将其纳入日常运营的方法，从而为成功做好准备。这不是AI与人类的对立问题，而是AI与人类合作的问题，因为AI旨在补充人类能力，使我们能够取得比以往更多的成就。教育团队并利用这项技术不仅可以提高个人效率和生产力，还可以设想如何提升整个行业水平。我们有机会迎来一段史无前例的进步和创新时代。” – Shubham A. Mishra，Pixis的联合创始人兼全球首席执行官 为什么人类害怕AI？ 2023年3月，包括埃隆·马斯克在内的超过一千名AI领域的专家发表了一封公开信，呼吁大规模AI系统的开发暂停几个月，以便能够正确理解其风险。 这种恐惧背后的主要原因之一是，专家们认为在不久的将来，AI可能能够独立于人类工作-它可能开始制定自己的目标。鉴于AI系统的改进速度，此前被视为科幻可能性的情况，现在被认为只是一个时间问题。 专家们还预测，AI将威胁人类的自主权，计算机可能在模式识别、分析和复杂决策等任务上与甚至超过人类智能。 我们希望人工智能不仅聪明，还要尊重人们关心的事情，比如保护我们的信息安全。如果我们做错了，后果可能非常危险。有时，拥有大量数据可以帮助我们做好事，比如停止不想要的电子邮件并提出我们可能喜欢的建议。但有时，它也可能影响我们的隐私和受到公平对待的权利。 对于人们对人工智能的焦虑，失业的担忧是另一个原因。几个月前，BT决定在2030年之前裁员高达55,000人，以推动人工智能的发展。人工智能也影响到了教育领域，像ChatGPT等工具可以快速写作学生的论文，GPT-4在美国法律考试中表现出色。然而，当谈到AGI（人工通用智能）时，风险变得更加严重，甚至可能对生命构成威胁。 我们如何克服人工智能的挑战和风险？ 政府可以限制科技公司使用的计算能力和数据量来培训人工智能。 我们可以限制人工智能能够获取的知识。例如，我们可以隐瞒关于生物科技、核武器或个人细节的信息。…

通过脑部活动解读语音是医疗保健和神经科学领域的一个长期目标，最近在有创设备上取得了进展。在颅内记录上训练的深度学习算法可以解码基本的语言要素。然而，将这一方法扩展至自然语音和非侵入性脑部记录存在挑战。Meta的研究人员介绍了一种利用对比学习来解码非侵入性记录中感知到的语音表示的机器学习模型。他们的方法结合了四个数据集，并取得了有希望的结果，为从脑部活动解码语言提供了一个潜在途径，无需侵入性程序，并对医疗保健和神经科学产生了影响。 研究人员探索利用非侵入性脑部活动记录来解码语音，借鉴了有创设备在解码语言要素方面的最新进展。他们的方法引入了一种对比学习模型，训练出能够解码自我监督语音表示的模型。与有创研究的比较突显出他们更丰富的词汇量，并讨论了在语音生成方面的潜在应用。获取健康成年志愿者数据集并进行被动听取已获得伦理批准。 在医疗保健和神经科学领域，从非侵入性脑部记录中解码语音是一个重大挑战。虽然有创设备已经取得了进展，但将其扩展到自然语音仍然困难。他们的方法介绍了一种利用对比学习训练的模型，用于解码非侵入性数据中的自我监督语音表示。他们的进步在不需要侵入性程序的情况下，提供了从脑部活动中解码语言的希望。 他们的方法引入了一个神经解码任务，用于解码由MEG或EEG记录的175名志愿者在听故事时的感知语音。它采用了一种常见的卷积架构，同时对多个参与者进行训练。与基准的比较分析突显出对比目标和预训练语音表示的重要性。此外，解码器的预测主要依赖于词汇和上下文语义表示。 解码准确率在参与者和数据集之间有所不同。以单词级别的预测为例，对正确单词的识别和与负面候选项的区分显示了准确性。与基准的比较突显了对比目标、预训练语音表示和共享卷积架构在提高解码准确性方面的重要性。解码器的预测主要依赖于词汇和上下文语义表示。 研究人员引入了一种基于对比学习的模型，用于解码非侵入性脑部记录中的感知语音。他们的模型展示了有希望的结果，实现了在语音段落识别方面平均准确率高达41%，在最佳表现的参与者中达到了80%的准确率。与基准的比较突显了对比目标、预训练语音表示和共享卷积架构在提高解码准确性方面的重要性。解码器的预测主要依赖于词汇和上下文语义。他们的工作在医疗保健和神经科学应用中具有潜力，可以进行非侵入性语言解码。 未来的研究应阐明导致参与者和数据集解码准确性差异的因素。探究模型在解决更复杂的语言属性和实时语音感知场景方面的性能至关重要。评估模型在不同脑部记录或成像技术中的泛化能力是必要的。探索其捕捉语调和音素特征的能力将为语音解码提供全面的见解。