研究人员正在深入研究深度学习。
伍兹霍尔海洋研究所（WHOI）自主机器人和感知实验室（WARPLab）与麻省理工学院正在开发一种用于研究珊瑚礁及其生态系统的机器人。
WARPLab自主水下车辆（AUV）是世界上最大的私人海洋研究机构为扭转珊瑚礁衰退趋势而做出的努力，该车辆由NVIDIA Jetson Orin NX模块驱动。
根据WHOI Reef Solutions Initiative的数据，全球25%的珊瑚礁在过去三十年中消失，其余的大部分珊瑚礁正走向灭绝。
这款被称为CUREE（Curious Underwater Robot for Ecosystem Exploration）的AUV与潜水员一起收集视觉、音频和其他环境数据，以帮助了解人类对珊瑚礁及其周围海洋生物的影响。该机器人运行NVIDIA Jetson集成的边缘AI技术，用于构建珊瑚礁的三维模型，并追踪生物和植物生命。它还可以自主导航和收集数据。
伍兹霍尔海洋研究所是最早于1986年探索“泰坦尼克号”的潜艇首开发出CUREE机器人，以便扩大数据收集范围并帮助缓解策略。该海洋科研机构还在研究使用模拟和数字孪生技术来更好地复制珊瑚礁环境，并探索像NVIDIA Omniverse这样的解决方案——NVIDIA Omniverse是一种用于构建和连接3D工具和应用的开发平台。
NVIDIA正在Omniverse中创建地球的数字孪生，为预测气候变化开发世界上最强大的AI超级计算机，称为Earth-2。
水下人工智能：DeepSeeColor模型
任何试过浮潜的人都知道，在水下看不如在陆地上清晰。水会在远距离上衰减太阳下的可见光光谱，更多地抑制一些颜色。同时，水中的颗粒会造成一种称为背散射的朦胧视图。
WARPLab团队最近在海底视觉校正方面发表了一篇研究论文，该论文有助于缓解这些问题并支持CUREE的工作。该论文描述了一个名为DeepSeeColor的模型，它使用两个卷积神经网络序列来在水下实时减少背散射并修正颜色，这些网络运行在NVIDIA Jetson Orin NX上。
“由于图像进入时会使用DeepSeeColor进行颜色校正，因此NVIDIA GPU在我们的大部分工作中都参与其中。然后我们可以对鱼类进行检测，并将其传输给船上的科学家，”麻省理工学院的机器人博士生和WARPLab的AI开发人员Stewart Jamieson说道。
眼睛和耳朵：鱼类和珊瑚礁检测
CUREE配备了四个面向前方的摄像头、四个用于水下音频捕获的水听器、深度传感器和惯性测量单元传感器。由于GPS在水下无法工作，因此只用于在水面上初始化机器人的起始位置。
CUREE利用摄像头和水听器的组合以及在Jetson Orin NX上运行的AI模型，能够收集数据以生成珊瑚礁和水下地形的3D模型。
为了使用水听器进行音频数据收集，CUREE需要关闭马达进行漂浮，以避免对音频造成干扰。
“它可以使用不同动物产生的声音建立珊瑚礁的声景地图，”领导WARPLab的WHOI的副科学家Yogesh Girdhar说道。“我们目前（在后期处理中）检测到与生物活动热点相关联的喧闹声音所在的位置，”他补充道，这里指的是所有海洋生物的声音。
该团队一直在训练音频和视频输入的检测模型以跟踪生物。但是，特定生物的大噪音干扰对于检测清晰音频样本来说是个问题。
“问题在于水下，猛击虾的声音很大，”Girdhar说道。在陆地上，如何将声音与背景噪音分离开这个经典难题被称为鸡尾酒会问题。“如果我们能找到一种算法来消除猛击虾声音的影响，那就太好了，但目前我们还没有好的解决方案，”Girdhar说道。
尽管现有的水下数据集很少，但先驱性的鱼类检测和跟踪正在进行得很顺利，麻省理工学院与海洋研究所联合项目的博士候选人Levi Cai说。他说，他们正在采用半监督方法来解决海洋动物跟踪问题。跟踪是通过在开源数据集中训练的鱼类检测神经网络检测到的目标进行初始化的，这些目标是用CUREE收集的图像进行的迁移学习进行微调。
“我们手动驾驶车辆，直到看到我们想要追踪的动物，然后我们点击它，让半监督跟踪器接管，”Cai说道。
Jetson Orin能效驱动CUREE
对于像CUREE这样的小型自主水下机器人，能效至关重要。数据收集的计算需求消耗了大约25%的可用能源资源，而驱动机器人则占据了剩余的部分。
Girdhar说，CUREE通常可以在一个充电周期内运行长达两个小时，具体取决于礁岩任务和观测需求。Girdhar在美国维尔京群岛的圣约翰进行潜水任务。
为了提高能效，团队正在研究利用人工智能来管理传感器，以便在观测时计算资源自动保持活跃，在非使用状态时进入休眠。
“我们的机器人很小，所以在GPU计算上消耗的能源实际上有影响——有了Jetson Orin NX，我们的电源问题解决了，系统变得更加健壮，”Girdhar说道。
利用Isaac Sim进行改进探索
WARPLab团队正在尝试使用NVIDIA Isaac Sim，这是一个基于Omniverse的可扩展机器人仿真应用程序和合成数据生成工具，以加快CUREE的自主性和观测的开发。
目标是在Isaac Sim中进行简单的模拟，以获取要模拟的核心问题的基本要素，然后在真实海底环境中进行训练，Yogesh说。
“在珊瑚礁环境中，我们不能依赖声纳——我们需要非常靠近，”他说。“我们的目标是观察不同的生态系统和正在发生的过程。”
了解生态系统并创建缓解策略
WARPLab团队打算让CUREE平台对其他人开放，以了解人类对海底环境的影响，并帮助制定缓解策略。
研究人员计划从收集到的数据中学习出现的模式。Jamieson说：“CUREE提供了一个几乎完全自主的数据收集科学家，可以向人类研究人员传达发现。相比之下，如果任务必须手动完成，一整天都要盯着屏幕，科学家能得到更多的收获。”
Girdhar说，珊瑚礁等生态系统可以用网络模型来建模，不同的节点对应不同类型的物种和栖息地类型。他说，在其中，有各种不同的相互作用发生，研究人员希望通过了解这个网络来了解各种动物之间及其栖息地之间的关系。
希望通过使用CUREE自主水下机器人收集足够的数据，可以全面了解生态系统，了解其在时间上的变化以及港口、农药流入、碳排放和潜水旅游的影响，Girdar说。
了解有关NVIDIA Jetson Orin NX，Omniverse和Earth-2的更多信息。
图片来源：奥斯汀格林, 伍兹霍尔海洋研究所