<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/10/Screenshot-2023-10-13-at-6.09.27-PM-1024×629.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/10/Screenshot-2023-10-13-at-6.09.27-PM-150×150.png”/><p>在深度学习领域，开发有效的深度神经网络 (DNN) 模型，兼具高性能和最小延迟，以适应各种设备，仍然是一个挑战。现有的方法涉及基于硬件的神经架构搜索 (NAS)，来自动化特定硬件设置下的模型设计，包括预定义的搜索空间和搜索算法。然而，这种方法往往忽视了对搜索空间本身的优化。</p><p>作为针对此问题的回应，一支研究团队引入了一种称为“SpaceEvo”的新方法，用于自动创建适用于特定硬件平台上高效INT8推理的专用搜索空间。SpaceEvo的独特之处在于其能够自动执行此设计过程，从而实现基于硬件的、量化友好的NAS搜索空间。</p><p>SpaceEvo的轻量级设计使其实用，只需25个GPU小时即可创建专为特定硬件的解决方案，具有成本效益。这种专用搜索空间，具有优先选择的硬件运算符和配置，可以探索具有低INT8延迟的更高效模型，始终优于现有的替代方法。</p><p>研究人员对两个广泛使用的设备进行了INT8量化延迟因素的深入分析，发现运算符类型和配置的选择显著影响INT8延迟。SpaceEvo将这些发现纳入考虑，创建了一个多样化的准确度高且INT8延迟友好的体系结构人口，在搜索空间内进行进化搜索算法、Q-T分数作为度量标准、重新设计的搜索算法和块级搜索空间量化方案等方面作出了贡献。</p><p>两阶段的NAS过程确保候选模型能够在不进行单独微调或量化的情况下达到可比较的量化准确性。对真实世界的边缘设备和ImageNet进行的广泛实验表明，SpaceEvo始终优于手动设计的搜索空间，在INT8量化准确性和延迟的权衡方面树立了新的基准。</p><p>总之，SpaceEvo代表了为不同的真实世界边缘设备提供高效深度学习模型的追求中的重要进展。其自动设计的量化友好搜索空间具有增强边缘计算解决方案可持续性的潜力。研究人员计划将这些方法应用于变压器等各种模型架构，进一步扩大其在深度学习模型设计和高效部署中的作用。</p>