Press "Enter" to skip to content

谷歌研究人员在JAX上推出了一个用于在球面上进行深度学习的开源库

深度学习是机器学习的一个子集,可以自动从输入中学习复杂的表示。它的应用广泛应用于图像和语音识别、自然语言处理、物体检测和医学影像诊断等众多领域;金融领域的算法交易和欺诈检测;使用卷积神经网络进行实时决策的自动驾驶车辆;以及个性化内容的推荐系统。

卷积神经网络(CNN)和视觉变换器(ViT)是计算机视觉领域的深度学习模型的两个例子,可以通过假设平面(平坦)区域来分析信号。例如,数字照片被呈现为平面表面上的像素网格。然而,这种数据类型仅代表科学应用中遇到的各种数据的一小部分。

然而,使用平面方法处理球面信号可以改善一些问题。首先,存在采样问题,即无法在球面上定义均匀的网格,这对于平面CNN和ViT是必要的,而且可能造成严重的扭曲。其次,球面上的旋转经常会混淆信号和局部模式。为了确保模型准确学习特征,我们需要对3D旋转具有等变性。因此,模型参数的使用更加有效,可以使用更少的数据进行训练。

从直观上讲,球面CNN应该对分子属性预测和气候预测问题有益处。分子的内在属性对3D结构(原子位置)的旋转不变,因此旋转等变表示将为编码这种对称性提供一种自然的方式。

因此,研究人员基于JAX开发了一个面向球面的深度学习开源库。它在分子属性预测和天气预测的基准测试中优于现有技术结果,这些测试通常由变压器和图神经网络处理。

研究人员指出,这些模型能够解决采样和旋转稳健性的问题。这是通过利用球面卷积和互相关运算来实现的。球面CNN在医学研究和气候分析这两个关键领域中具有潜在的应用前景,有望推动社会的变革性进展。

球面CNN在应对预测化学性质和理解气候状态等挑战方面具有理论上的优势。利用旋转等变表示特别适用于捕捉分子结构的固有对称性,其中属性对于3D旋转(原子位置)是不变的。

由于大气数据自然地以球面显示,球面CNN非常适合这个任务。它们还可以有效地管理该类数据中的重复模式的各个位置和方向。

研究人员表示,他们的模型在一些天气预测基准测试上超过或与基于传统CNN的神经天气模型相匹配。该模型可以提前六小时预测多个大气变量的数值,并在测试环境中展示了相关结果。随后,模型在训练期间可进一步评估高达五天的预测并进行三天的预测。

此外,该模型在各种天气预测场景中表现出色,证明了球面CNN作为神经天气模型的有效性,这是一项突破性的成就。该研究概述了扩展球面CNN的最佳策略,并提供了实际数据来支持其在特定应用中的适用性。

Leave a Reply

Your email address will not be published. Required fields are marked *