Press "Enter" to skip to content

四海吧 Posts

“一个用于机器学习辅助计算机体系结构设计的开源训练场”

由Amir Yazdanbakhsh(研究科学家)和Vijay Janapa Reddi(访问研究员)发布,Google Research 计算机体系结构研究在开发模拟器和工具以评估和塑造计算机系统设计方面有着悠久的历史。例如,SimpleScalar模拟器在上世纪90年代末引入,使研究人员能够探索各种微架构思想。计算机体系结构模拟器和工具,如gem5、DRAMSys等,起到了推动计算机体系结构研究的重要作用。从那时起,这些共享资源和基础设施使工业界和学术界受益,并使研究人员能够系统地建立在彼此的工作基础上,从而在该领域取得重大进展。 尽管如此,计算机体系结构研究正在不断发展,工业界和学术界正转向机器学习(ML)优化以满足严格的领域特定要求,如计算机体系结构的机器学习,TinyML加速的机器学习,DNN加速器数据通路优化,内存控制器,功耗,安全性和隐私。尽管先前的工作已经证明了在设计优化中使用机器学习的好处,但缺乏强有力的可重复性基准会妨碍对不同方法进行公正和客观的比较,并对它们的部署提出了几个挑战。为了确保稳定进展,理解并共同解决这些挑战是必要的。 为了缓解这些挑战,在“ArchGym: An Open-Source Gymnasium for Machine Learning Assisted Architecture Design”(已被ISCA 2023接受)中,我们引入了ArchGym,其中包括各种计算机体系结构模拟器和机器学习算法。通过ArchGym的支持,我们的结果表明,借助足够数量的样本,任何多样化的机器学习算法都能够找到每个目标问题的最佳架构设计参数集;没有一个解决方案必然比另一个更好。这些结果进一步表明,选择给定机器学习算法的最佳超参数对于找到最佳架构设计至关重要,但选择它们并不简单。我们发布了跨多个计算机体系结构模拟和机器学习算法的代码和数据集。 机器学习辅助体系结构研究中的挑战 机器学习辅助体系结构研究面临以下几个挑战: 对于特定的机器学习辅助计算机体系结构问题(例如,为DRAM控制器找到最优解),没有系统的方法来确定最佳的机器学习算法或超参数(例如,学习率、热身步数等)。从随机游走到强化学习(RL),有更广泛的机器学习和启发式方法可用于设计空间探索(DSE)。尽管这些方法在选择基线的基础上显示出明显的性能改进,但不清楚这些改进是由于选择了哪种优化算法或超参数。因此,为了确保可重复性并促进广泛采用机器学习辅助的体系结构DSE,有必要制定系统的基准测试方法。 虽然计算机体系结构模拟器一直是体系结构创新的支柱,但在体系结构探索中需要解决准确性、速度和成本之间的权衡。性能估算的准确性和速度在不同的模拟器之间差异很大,这取决于底层建模细节(例如,循环精确 vs ML-based 代理模型)。虽然分析或基于机器学习的代理模型因丢弃了低级细节而灵活,但它们通常会产生较高的预测误差。此外,由于商业许可限制,从模拟器收集的运行次数可能会受到严格限制。总体而言,这些约束对性能与样本效率之间的权衡产生了明显影响,影响了选择用于体系结构探索的优化算法。如何系统地比较在这些约束下各种机器学习算法的有效性是一个具有挑战性的问题。…

Leave a Comment

AI推动的生产力:生成式AI开启了跨行业效率的新时代

2022年11月22日是一个具有里程碑意义的时刻,虽然大部分是虚拟的,但它震动了全球几乎每个行业的基础。 在那天,OpenAI发布了ChatGPT,这是迄今为止最先进的人工智能聊天机器人。这引发了对生成式人工智能应用的需求,这些应用帮助企业更高效地工作,从为消费者提供问题的答案,到加速研究人员在寻求科学突破时的工作,以及更多其他方面。 之前只是尝试过人工智能的企业现在正急于采用和部署最新的应用。生成式人工智能——算法创造新的文本、图像、声音、动画、3D模型甚至计算机代码的能力——正在以超光速发展,改变人们工作和娱乐的方式。 通过使用大型语言模型(LLMs)处理查询,这项技术可以大大减少人们用于搜索和整理信息等手动任务的时间。 利益巨大。据普华永道估计,到2030年,人工智能可能为全球经济贡献超过15万亿美元。而人工智能的采用影响可能超过互联网、移动宽带和智能手机的发明——总和超过。 推动生成式人工智能的引擎是加速计算。它使用GPU、DPU和网络以及CPU,加速应用程序在科学、分析、工程以及消费者和企业用例中的应用。 从药物发现、金融服务、零售和电信到能源、高等教育和公共部门的早期采用者,正在将加速计算与生成式人工智能结合起来,改变业务运营、服务提供和生产力。 点击查看信息图表:生成下一波人工智能转型 药物发现的生成式人工智能 今天,放射科医生使用人工智能来检测医学影像中的异常,医生使用它来扫描电子健康记录以发现患者洞察,研究人员使用它来加速新药的发现。 传统的药物发现是一个资源密集型的过程,可能需要合成5000多种化合物,平均成功率仅为10%。大多数新药候选品要花费十多年的时间才能上市。 研究人员现在使用生成式人工智能模型读取蛋白质的氨基酸序列,并能够在几秒钟内准确预测目标蛋白的结构,而不是几周或几个月。 使用NVIDIA BioNeMo模型,全球生物技术领导者Amgen将为分子筛选和优化定制模型的时间从三个月缩短到几周。这种可训练的基础模型使科学家能够为研究特定疾病创建变体,使他们能够开发针对罕见疾病的靶向治疗。 无论是预测蛋白质结构还是在大型真实世界和合成数据集上安全训练算法,生成式人工智能和加速计算正在开辟研究的新领域,有助于减轻疾病的传播、实现个性化医疗治疗和提高患者的生存率。 金融服务的生成式人工智能 根据最近的一项NVIDIA调查,金融服务行业中的顶级人工智能应用案例是客户服务和深度分析,其中自然语言处理和LLMs用于更好地回答客户的问题并发现投资见解。另一个常见的应用是推荐系统,它们提供个性化的银行体验、优化营销和投资指导。 先进的人工智能应用有助于帮助该行业更好地预防欺诈,并改变银行的方方面面,从投资组合规划和风险管理到合规和自动化。 80%的业务相关信息是以非结构化格式——主要是文本——存在的,这使其成为生成式人工智能的首选。彭博新闻每天发布与金融和投资社区相关的5000篇报道。这些报道代表了一大批非结构化的市场数据,可以用于进行及时的投资决策。 NVIDIA、德意志银行、彭博社和其他机构正在创建基于领域特定和专有数据的LLMs,用于支持金融应用。 财务变形器,或称“FinFormers”,可以学习上下文并理解非结构化金融数据的含义。它们可以驱动问答聊天机器人,概述和翻译金融文本,提供反对方风险的早期预警,快速检索数据并识别数据质量问题。 这些生成式人工智能工具依赖于能够将专有数据集成到模型训练和微调中的框架,集成数据策划以防止偏见,并使用安全措施保持与金融相关的对话。 预计金融科技初创企业和大型国际银行将扩大他们对LLMs和生成式人工智能的应用,开发复杂的虚拟助手为内部和外部利益相关者提供服务,创建超个性化的客户内容,自动化文档摘要以减少手动工作,并分析公共和私人数据的TB级数据以生成投资见解。 零售业的生成式人工智能 随着60%的购物旅程从线上开始,消费者比以往任何时候都更加联网和知识丰富,人工智能已成为帮助零售商满足不断变化的期望并与日益激烈的竞争区分开来的重要工具。…

Leave a Comment

微软和苏黎世联邦理工学院的研究人员推出了LightGlue

在计算机视觉领域中,图像之间的匹配对于相机跟踪和3D制图等应用起着至关重要的作用但是这些方法存在一定的局限性,这就是一个名为LightGlue的新型深度神经网络发挥作用的地方LightGlue是ETH Zurich之间合作研究努力的结果…

Leave a Comment