并行计算、内存、硬件加速和控制流是新编译器所解决的一些功能。
我最近开始了一个以人工智能为重点的教育新闻通讯，已经有超过160,000订阅者。TheSequence是一个无废话（意味着没有炒作，没有新闻等）以机器学习为导向的通讯，只需5分钟阅读。目标是让您了解机器学习项目、研究论文和概念的最新情况。请通过以下订阅链接来试一试：
TheSequence | Jesus Rodriguez | Substack
机器学习、人工智能和数据发展的最佳来源…
thesequence.substack.com
在生成式人工智能时代，编译器正在经历复兴。在AI的背景下，编译器负责将神经网络架构转化为特定硬件拓扑中的可执行代码。这两个领域：模型和硬件架构，都在创新方面有爆炸性增长，这使得AI编译器经常过时。
AI编译中的挑战众多，涉及硬件加速、计算和内存效率等方面。微软研究一直处于AI编译器研究的前沿，并最近推出了四款先进的AI编译器，分别针对深度神经网络（DNNs）领域中的特定挑战。列表包括以下编译器：
· Rammer：用于并行计算
· Roller：用于计算
· Welder：用于内存
· Grinder：用于控制流程和硬件加速
让我们深入了解每一个。
Rammer：开创并行硬件利用
深度神经网络（DNNs）已成为各种智能任务的关键，涵盖图像分类到自然语言处理。为了发挥它们的能力，采用了包括CPU、GPU和专用DNN加速器在内的大量计算设备。影响DNN计算效率的关键因素是调度，即在硬件上规定计算任务的顺序的过程。传统的AI编译器通常将DNN计算表示为一个数据流图，其中节点代表DNN操作符，独立地安排在加速器上运行。然而，这种方法引入了显著的调度开销，且未充分利用硬件资源。
进入Rammer，一个将调度空间视为二维平面的DNN编译器。在这里，计算任务类似于具有各种形状和大小的砖块。Rammer的任务是将这些砖块紧密地排列在二维平面上，就像构建无缝墙壁一样。为了优化硬件利用率和执行速度，不能留下任何间隙。Rammer在这个空间域内有效地作为压实机，将DNN程序砖块高效地放置在加速器的不同计算单元上，从而减轻运行时调度开销。此外，Rammer还引入了计算任务和硬件加速器的新型硬件无关抽象，扩大了调度空间并实现了更高效的调度。
Roller：提高计算效率
拥有并行计算单元和复杂存储器层次结构的加速器需要一种系统的数据传输方法。数据必须通过存储器层次结构逐层上升，在每一步中被分割为较小的砖块，然后达到顶层处理器进行计算。挑战在于将内存空间划分并填充大型砖块以优化内存利用率和效率。当前的方法采用了机器学习进行砖块划分策略，需要在加速器上评估多次搜索步骤。这个冗长的过程可能需要数天或数周来编译一个完整的AI模型。
Roller在保持最佳计算效率的同时加快编译速度。在其核心，Roller体现了一个类似于压路机操作的独特概念。这个创新系统将高维张量数据平稳地存储到二维内存结构中，就像熟练地铺设地板一样。它通过精确地根据具体的内存属性来确定理想的瓷砖大小来完成这个过程。同时，Roller还智能地封装张量的形状，以与底层加速器的硬件细节相协调。这种战略对齐通过限制形状选项的范围，显著简化了编译过程，最终实现高效的结果。
Welder：优化内存访问
随着深度神经网络模型对现代硬件加速器中更高保真度数据和更快计算核心的需求不断增加，内存带宽瓶颈已经出现。为了解决这个问题，深度学习编译器Welder全面优化了端到端DNN模型的内存访问效率。该过程涉及多个阶段，输入数据被分割成在不同操作符和内存层之间传输的块。Welder将这个过程转化为一个高效的装配线，将不同的操作符和数据块焊接在一起，减少了在较低级内存层的内存访问流量。
Grinder：掌握控制流执行
在AI计算中，复杂的控制逻辑有时伴随着数据块的移动。当前的AI编译器主要关注数据流执行效率，忽略了对控制流的高效支持。Grinder通过将控制流和数据流无缝集成在一起来弥补这一差距，实现在加速器上的高效执行。它通过一种新颖的抽象uTask统一了AI模型的表示，并利用启发式策略来优化跨硬件并行级别的控制流执行。Grinder将控制流高效地移动到设备内核中，从而优化了控制流边界上的性能。
总之，微软研究的AI编译器四重奏——Rammer、Roller、Welder和Grinder——为增强DNN工作负载优化、内存访问效率和控制流在硬件加速器上的执行铺平了道路，标志着AI编译器技术的重大飞跃。