Tag: Systems

由Amir Yazdanbakhsh（研究科学家）和Vijay Janapa Reddi（访问研究员）发布，Google Research 计算机体系结构研究在开发模拟器和工具以评估和塑造计算机系统设计方面有着悠久的历史。例如，SimpleScalar模拟器在上世纪90年代末引入，使研究人员能够探索各种微架构思想。计算机体系结构模拟器和工具，如gem5、DRAMSys等，起到了推动计算机体系结构研究的重要作用。从那时起，这些共享资源和基础设施使工业界和学术界受益，并使研究人员能够系统地建立在彼此的工作基础上，从而在该领域取得重大进展。 尽管如此，计算机体系结构研究正在不断发展，工业界和学术界正转向机器学习（ML）优化以满足严格的领域特定要求，如计算机体系结构的机器学习，TinyML加速的机器学习，DNN加速器数据通路优化，内存控制器，功耗，安全性和隐私。尽管先前的工作已经证明了在设计优化中使用机器学习的好处，但缺乏强有力的可重复性基准会妨碍对不同方法进行公正和客观的比较，并对它们的部署提出了几个挑战。为了确保稳定进展，理解并共同解决这些挑战是必要的。 为了缓解这些挑战，在“ArchGym: An Open-Source Gymnasium for Machine Learning Assisted Architecture Design”（已被ISCA 2023接受）中，我们引入了ArchGym，其中包括各种计算机体系结构模拟器和机器学习算法。通过ArchGym的支持，我们的结果表明，借助足够数量的样本，任何多样化的机器学习算法都能够找到每个目标问题的最佳架构设计参数集；没有一个解决方案必然比另一个更好。这些结果进一步表明，选择给定机器学习算法的最佳超参数对于找到最佳架构设计至关重要，但选择它们并不简单。我们发布了跨多个计算机体系结构模拟和机器学习算法的代码和数据集。 机器学习辅助体系结构研究中的挑战 机器学习辅助体系结构研究面临以下几个挑战： 对于特定的机器学习辅助计算机体系结构问题（例如，为DRAM控制器找到最优解），没有系统的方法来确定最佳的机器学习算法或超参数（例如，学习率、热身步数等）。从随机游走到强化学习（RL），有更广泛的机器学习和启发式方法可用于设计空间探索（DSE）。尽管这些方法在选择基线的基础上显示出明显的性能改进，但不清楚这些改进是由于选择了哪种优化算法或超参数。因此，为了确保可重复性并促进广泛采用机器学习辅助的体系结构DSE，有必要制定系统的基准测试方法。 虽然计算机体系结构模拟器一直是体系结构创新的支柱，但在体系结构探索中需要解决准确性、速度和成本之间的权衡。性能估算的准确性和速度在不同的模拟器之间差异很大，这取决于底层建模细节（例如，循环精确 vs ML-based 代理模型）。虽然分析或基于机器学习的代理模型因丢弃了低级细节而灵活，但它们通常会产生较高的预测误差。此外，由于商业许可限制，从模拟器收集的运行次数可能会受到严格限制。总体而言，这些约束对性能与样本效率之间的权衡产生了明显影响，影响了选择用于体系结构探索的优化算法。如何系统地比较在这些约束下各种机器学习算法的有效性是一个具有挑战性的问题。…