我们感谢Salk研究所的Talmo Pereira参与这次访谈并分享了他关于开发基于人工智能的方法研究复杂生物系统的故事和几个见解。他最近的工作集中在使用SLEAP工具通过无标记运动捕捉来量化行为。它在神经科学、癌症研究和植物生物学中有应用。SLEAP可以跟踪动物、植物和人类的运动，有助于疾病预测和气候变化缓解。 Pereira设想使用人工智能通过分析视频中的行为模式来早期诊断疾病。
研究背景、对定量表型的贡献和理解行为的挑战
在加入Salk研究所之前，你在哪里工作过？
加入Salk之前，我在普林斯顿大学攻读神经科学博士学位，导师是Mala Murthy和Josh Shaevitz，并在Google AI担任博士研究实习生。我的重点是开发计算机视觉方法，从视频中捕捉运动并量化行为。
你最近的工作对复杂行为的定量表型领域有何贡献？
我最近的工作集中在无标记运动捕捉问题，也被称为姿势跟踪。就像好莱坞中使用运动捕捉套装来跟踪演员身体部位的运动以创建CGI序列一样，无标记运动捕捉的想法是做同样的事情 – 但没有套装！
这对计算机来说是一个复杂的任务，但随着深度神经网络的出现，这变得更加可行，深度神经网络是现代人工智能的基石。这些网络之所以效果如此好，其中一个原因是它们可以从大量数据中学习，本例中是数百万张在各种环境中手动注释的人物图像。
一旦我们训练了一个神经网络来跟踪视频序列中的身体部位，我们就可以利用它们移动的模式来推断复杂行为的定量表型，例如，检测个体是在跑步还是抓头部 – 以及他们移动身体部位的统计描述。
在神经科学中理解动物和人类行为的主要挑战是什么？
了解行为存在许多挑战，但这些人工智能方法解决的一个关键问题是我们如何定量地测量它。通过捕捉行为的运动，我们可以设计方法自动检测已知行为的发生，例如梳洗或跳跃。然后，我们可以将已知行为的时间或频率与实验变量进行相关，例如个体是否患有疾病，以建立生物学与可观察行为之间的联系。在动物中，这更容易验证，因为我们可以控制动物所处的环境条件，记录它们更长时间，并进行进一步的实验来测量它们大脑和身体的内部状态，以验证它们与行为模式的关联。
一个更难的问题是首先定义行为是什么。例如，如果“快速行走”和“慢跑”都能以相同的速度向前移动，我们在哪里划定界限？（如果你感兴趣，Calhoun等人探讨了更难的例子，例如，“一个人在热空气中出汗。这是一种行为吗？”）一些方法，如关键点MoSeq（Weinreb等人，2023年），已经出现，允许您利用姿势跟踪仅基于数据中的统计模式来定义行为。这些方法有望更加客观，但仍缺乏融合有关什么是行为的明确和已知区别的知识的能力。
无论哪种情况，通过将姿势跟踪作为运动的起始和明确的表示，我们比仅从像素数据中识别“行为”有更好的起点，因为它直接提供了关于身体部位如何移动的信息，而这最终是大脑产生（许多形式的）行为的方式。
SLEAP：利用人工智能进行创新运动跟踪技术
SLEAP如何使用人工智能？
SLEAP是一款开源的多动物姿势跟踪软件，使用深度神经网络，这是现代人工智能的核心算法，以学习如何在图像中自动跟踪姿势。它通过从训练图像集中学习用户示例来实现这一点，用户示例指定了每个身体部位应该位于哪个位置。
SLEAP的一个关键创新是能够使用非常小的训练集（数十到数百张图像）来训练这些神经网络模型，这表明可以在不需要工业实验室资源生成训练集的情况下使用这种形式的人工智能。这使得在动物行为研究中跨多样性数据集使用无标记运动捕捉成为可能。
SLEAP工具的主要创新是什么？
SLEAP是一个框架而不是单一的模型或方法。这是基于一个观察，即有许多具有独特性质的复杂数据集。与其寻找适用于所有情况的算法，SLEAP实现了多种算法，每种算法都有其权衡和适用性。例如，如果画面中有几个主体可见，您可能需要使用一种算法来推理检测到的身体部位应该如何关联形成不同的姿势，而对于单个主体的数据，仅需检测每个身体部位的位置即可知道它们属于哪个个体。
我们在使SLEAP易于使用和易于访问方面投入了大量的工作，无论是通过简化设置还是通过无需技术背景即可使用。因此，我们已经看到各种人群使用SLEAP，从高中生在研究和科学展项目中使用，到没有AI背景的专业生物研究科学家使用。
为了实现这一目标，我们结合了工业级软件工程实践和诸如TensorFlow、attrs和PySide2等通用开源和科学计算软件。
您能提供SLEAP工具在动物行为研究中的应用示例吗？
SLEAP已经在许多动物研究中被用来提取感兴趣行为的定量指标。
- 在Mills等人（2023）的研究中，SLEAP被用来表征小鼠的社会行为，以研究神经回路如何确定感觉刺激应该被解释为“好”或“坏”。
- 在Mabuchi等人（2023）的研究中，SLEAP被用来量化求偶行为，以了解果蝇如何使用视觉信息在社交环境中引导其运动。
- 在Legan等人（2022）的研究中，SLEAP被用来研究纸黄蜂在激烈冲突后如何转入更“警惕”的状态。
- 在Leonardis等人（2022）的研究中，SLEAP被用来测量大鼠与“机器鼠”之间的互动，在研究社交互动基础的同时。
- 在Gutierrez-Castellanos等人（2023）的研究中，SLEAP被用来量化雌性小鼠在生殖周期激素影响下的“拒绝”行为，以研究受其影响的神经回路。
这些只是一些最近的例子，以突出SLEAP在各种应用领域、科学问题和物种上的多样性。
SLEAP工具如何对疾病预测和气候缓解工作做出贡献？
自加入Salk以来，我实验室的一个重点领域是如何将运动捕捉数据转化为对生物学的洞察。
对于疾病预测，我们与几个合作伙伴合作，开发了能够自动提取可能预测疾病发生和进展的表型的分析流程。例如，在一项测量与肌萎缩性侧索硬化症（ALS）相关的行为变化的试点研究中，ALS是一种导致运动协调能力丧失并最终导致死亡的神经退行性疾病，我们发现我们可以以完全自动化的方式检测到该疾病在未经训练的老鼠在其标准家庭笼环境中的明显定量标志物。我们现在正在努力建立与该疾病及其他疾病（包括胰腺癌和阿尔茨海默病）不同阶段相关的所有行为的完整描述。
我们一直专注于萨克独特的跨学科环境所可能带来的另一个应用领域，即应对气候变化的植物生物学。萨克是“利用植物倡议”的发起地，这是一个多团队合作的努力，旨在通过培育根系更深、更庞大的作物，提高碳封存能力，将二氧化碳转化为植物物质储存在土壤中，从而减缓气候变化的影响。虽然对植物根系生长的生物学机制已有很多了解，但需要更多自动化和可靠的方法来定量表征根系结构。我们将SLEAP应用于这些数据，并正在努力开发工具，提取有意义的特征，如分支角度和根系深度，以用于表征具有增强碳封存能力的植物。
展望未来…
您如何设想将来人工智能在诊断癌症和肌萎缩侧索硬化症方面的应用？
随着我们对身体语言微妙或统计定义的变化与疾病之间关系的理解越来越深入，我们希望将与SLEAP中使用的相同类型的人工智能应用于检测人类癌症和肌萎缩侧索硬化症等疾病。在将其作为可靠的诊断工具使用之前，这将需要进行重要的临床验证，但鉴于录制视频的便捷和低成本，我们希望有一天能够从智能手机上记录的视频中提取出疾病的行为特征。如果操作正确，这将极大减轻我们的医疗系统负担，并允许更早地筛查和预防较早阶段易于治疗的疾病。