Press "Enter" to skip to content

来自ITU丹麦的研究人员介绍了神经发育计划:弥合生物生长与人工神经网络之间的差距

人类的大脑是一个非常复杂的器官,常常被认为是已知宇宙中最复杂和精密的系统之一。大脑具有层次分明的组织结构,较低级的感觉处理区域将信息发送至较高层次的认知和决策区域。这种层次结构可以实现知识的整合和复杂行为的展现。大脑以并行的方式处理信息,不同的区域和网络同时处理感知、认知和运动控制的各个方面。这种并行处理有助于其高效性和适应性。

我们能否在深度学习中应用这种层次结构和并行处理的技术?答案是肯定的,这个研究领域被称为神经网络。哥本哈根大学的研究人员提出了一种图神经网络类型的编码方法,其中策略网络的增长由每个神经元内运行的另一个网络控制。他们称之为神经发育程序(NDP)。

一些生物过程涉及将紧凑的基因型映射到更大的表型。受此启发,研究人员构建了间接编码方法。在间接编码中,解决方案的描述被压缩。这样可以重复使用信息,最终的解决方案将比描述本身包含更多的组成部分。然而,这些编码(特别是间接编码系列)必须得到发展。

NDP架构包括一个多层感知机(MLP)和一个图形元胞自动机(GNCA)。在发展阶段的每一次消息传递步骤之后,它会更新节点嵌入。一般来说,元胞自动机是由一组处于多种状态之一的单元格组成的数学模型。这些自动机根据一组规则在离散的时间步骤上演变,这些规则决定了细胞状态如何随时间变化。

在NDP中,相同的模型应用于每一个节点。因此,它的参数数量与其所在图的大小是恒定的。这使NDP具有优势,它可以适用于任意大小或架构的神经网络。NDP神经网络还可以使用任何黑盒优化算法进行训练,以满足任何目标函数。这将使神经网络能够解决强化学习和分类任务,并展示拓扑特性。

研究人员还尝试通过比较在不同增长步骤上训练和测试模型的可微分NDP来评估其性能。他们观察到,对于大多数任务来说,网络的性能在达到一定增长步骤后会下降。观察到这一现象的原因是网络的新模式变得更大。您需要一种自动方法来知道何时停止增加步骤。他们表示,这种自动化将是NDP的一个重要补充。在未来,他们还希望为NDP引入基于活动的和奖励调节的增长和适应技术。

Leave a Reply

Your email address will not be published. Required fields are marked *