Press "Enter" to skip to content

谷歌在ICML 2023

由谷歌的程序经理Cat Armato发布

谷歌的各个团队在机器学习(ML)领域积极开展研究,涉及理论和应用等方面。我们构建ML系统来解决语言、音乐、视觉处理、算法开发等领域的深度科学和工程挑战。我们通过开源工具和数据集、发表论文以及积极参与会议,致力于与更广泛的ML研究社区建立更协作的生态系统。

谷歌很自豪成为第40届国际机器学习大会(ICML 2023)的钻石赞助商,这是一场世界一流的年度会议,本周在夏威夷檀香山举行。作为ML研究的领导者,谷歌在今年的会议上有超过120篇被接受的论文,并积极参与多个研讨会和教程。谷歌还自豪地成为拉丁裔AI和机器学习女性研讨会的白金赞助商。我们期待与更广泛的ML研究社区分享我们广泛的ML研究,并扩大我们的合作伙伴关系。

已注册ICML 2023吗?我们希望您能访问谷歌展位,了解解决该领域最有趣挑战的激动人心的工作、创造力和乐趣。请访问@GoogleAI的Twitter账号,了解谷歌展位的活动(例如演示和问答环节)。请查看Google DeepMind的博客,了解他们在ICML 2023的技术参与。

请继续阅读以下内容,了解谷歌在ICML 2023的研究成果(谷歌相关机构以粗体显示)。

委员会和组织委员会

委员会成员包括:Corinna CortesHugo Larochelle。教程主席包括:Hanie Sedghi

谷歌研究展位活动

演讲者:Bryan PerozziAnton TsitsulinBrandon Mayer。题目:谷歌的无监督图嵌入(论文,EXPO研讨会)。时间:7月25日星期二上午10:30 HST

演讲者:Zheng Xu。题目:使用差分隐私的Gboard语言模型的联邦学习(论文1,论文2,博客文章)。时间:7月25日星期二下午3:30 HST

演讲者:Thomas Kipf。题目:自监督场景理解(论文1,论文2)。时间:7月26日星期三上午10:30 HST

演讲者:Johannes von OswaldMax Vladymyrov。题目:通过梯度下降进行上下文学习的变压器(论文)。时间:7月26日星期三下午3:30 HST

被接受的论文

将视觉变压器扩展到220亿参数(请参阅博客文章):Mostafa DehghaniJosip DjolongaBasil MustafaPiotr PadlewskiJonathan HeekJustin GilmerAndreas SteinerMathilde CaronRobert GeirhosIbrahim AlabdulmohsinRodolphe JenattonLucas BeyerMichael TschannenAnurag ArnabXiao WangCarlos RiquelmeMatthias MindererJoan Puigcerver, Utku EvciManoj KumarSjoerd van SteenkisteGamaleldin F. ElsayedAravindh MahendranFisher YuAvital OliverFantine HuotJasmijn BastingsMark Patrick CollierAlexey GritsenkoVighnesh BirodkarCristina VasconcelosYi TayThomas MensinkAlexander KolesnikovFilip PavetićDustin TranThomas KipfMario LučićXiaohua ZhaiDaniel KeysersJeremiah HarmsenNeil Houlsby

通过推理,从变压器中实现快速推理 Yaniv LeviathanMatan KalmanYossi Matias

最佳策略优化方法 Christoph Dann,Chen-Yu Wei,Julian Zimmert

机器学习中的流入、流出和互惠关系 Mukund SundararajanWalid Krichene

变压器通过梯度下降学习上下文 Johannes von OswaldEyvind NiklassonEttore Randazzo,João Sacramento,Alexander MordvintsevAndrey ZhmoginovMax Vladymyrov

算术采样:用于大型语言模型的并行多样解码 Luke VilnisYury Zemlyanskiy,Patrick Murray*,Alexandre Passos*,Sumit Sanghai

具有可证明逼近保证的差分隐私层次聚类(请参阅博客文章) Jacob Imola*,Alessandro EpastoMohammad MahdianVincent Cohen-AddadVahab Mirrokni

用于私有机器学习的多时期矩阵分解机制 Christopher A. Choquette-ChooH. Brendan McMahanKeith RushAbhradeep Thakurta

无论模型选择如何,随机分类噪声并不能打败所有的凸潜力增强器 Yishay MansourRichard Nock,Robert Williamson

Simplex随机特征 Isaac Reid,Krzysztof Choromanski,Valerii Likhosherstov,Adrian Weller

Pix2Struct:屏幕截图解析作为视觉语言理解的预训练 Kenton LeeMandar Joshi,Iulia Turc,Hexiang Hu,Fangyu Liu,Julian EisenschlosUrvashi KhandelwalPeter ShawMing-Wei ChangKristina Toutanova

Mu2SLAM:多任务、多语言的语音和语言模型 Yong ChengYu ZhangMelvin JohnsonWolfgang MachereyAnkur Bapna

用单个样本进行稳健的预算配平 Santiago Balseiro,Rachitesh Kumar*,Vahab MirrokniBalasubramanian SivanDi Wang

关于基于检索的模型的统计角度 Soumya BasuAnkit Singh Rawat,Manzil Zaheer

近似最优张量分解的核心形状 Mehrdad Ghadiri,Matthew FahrbachGang FuVahab Mirrokni

使用批处理进行高效的可列表解码回归 Abhimanyu Das,Ayush Jain*,Weihao KongRajat Sen

使用少样本学习高效训练语言模型 Sashank J. ReddiSobhan MiryoosefiStefani KarpShankar KrishnanSatyen KaleSeungyeon KimSanjiv Kumar

在Matroids上完全动态的次模最大化 Paul Duetting,Federico Fusco,Silvio LattanziAshkan Norouzi-FardMorteza Zadimoghaddam

GFlowNet-EM用于学习组合潜变量模型 Edward J Hu,Nikolay Malkin,Moksh Jain,Katie Everett,Alexandros Graikos,Yoshua Bengio

改进的在线学习算法用于CTR预测在广告拍卖中 Zhe FengChristopher Liaw,Zixin Zhou

大型语言模型难以学习长尾知识 Nikhil Kandpal,Haikang Deng,Adam RobertsEric Wallace,Colin Raffel

多通道自动出价与预算和ROI约束 Yuan Deng,Negin Golrezaei,Patrick Jaillet,Jason Cheuk Nam Liang,Vahab Mirrokni

多层神经网络作为可训练的希尔伯特空间阶梯 Zhengdao Chen

关于用户级私有凸优化 Badih GhaziPritish KamathRavi KumarRaghu MekaPasin ManurangsiChiyuan Zhang

PAC泛化通过不变表示 Advait U Parulekar,Karthikeyan Shanmugam,Sanjay Shakkottai

正则化和方差加权回归在线性MDPs中实现极小最优性:理论和实践 Toshinori Kitamura,Tadashi Kozuno,Yunhao Tang,Nino Vieillard,Michal Valko,Wenhao Yang,Jincheng Mei,Pierre Menard,Mohammad Gheshlaghi Azar,Remi Munos,Olivier PietquinMatthieu Geist,Csaba Szepesvari,Wataru Kumagai,Yutaka Matsuo

通过最小违规排列加速Bellman Ford Silvio Lattanzi,Ola Svensson,Sergei Vassilvitskii

学习算法的统计不可区别性 Alkis Kalavasis,Amin KarbasiShay Moran,Grigoris Velegkas

带有基于槽的模型的测试时间自适应 Mihir Prabhudesai,Anirudh Goyal,Sujoy PaulSjoerd van SteenkisteMehdi S. M. SajjadiGaurav AggarwalThomas Kipf,Deepak Pathak,Katerina Fragkiadaki>

用于直方图估计的贡献边界算法在用户级隐私下 Yuhan Liu*,Ananda Theertha SureshWennan ZhuPeter KairouzMarco Gruteser

带有提示和查询的强化在线线性优化 Aditya Bhaskara,Ashok Cutkosky,Ravi KumarManish Purohit

CLUTR:通过无监督任务表示学习的课程学习 Abdus Salam Azad,Izzeddin Gur,Jasper Emhoff,Nathaniel Alexis,Aleksandra Faust,Pieter Abbeel,Ion Stoica

CSP:自我监督对比空间预训练用于地理空间-视觉表示 Gengchen Mai,Ni Lao,Yutong He,Jiaming Song,Stefano Ermon

基于Ewald的长程消息传递用于分子图 Arthur Kosmala,Johannes Gasteiger,Nicholas Gao,Stephan Günnemann

用于二进制矩阵分解的快速(1+ε)近似算法 Ameya Velingker,Maximilian Vötsch,David Woodruff,Samson Zhou

带有用户级差分隐私的联邦线性上下文强化学习 Ruiquan Huang,Huanyu Zhang,Luca Melis,Milan Shen,Meisam Hejazinia,Jing Yang

探究模型学习在探索和传递中的作用 Jacob C Walker, Eszter Vértes, Yazhe Li, Gabriel Dulac-Arnold, Ankesh Anand, Theophane Weber, Jessica B Hamrick

标签差分隐私和私有训练数据发布 Robert Busa-Fekete, Andres Munoz, Umar Syed, Sergei Vassilvitskii

终身语言预训练与分布专业化专家 Wuyang Chen*, Yanqi Zhou, Nan Du, Yanping Huang, James Laudon, Zhifeng Chen, Claire Cui

低秩奖励的多用户强化学习 Dheeraj Mysore Nagaraj, Suhas S Kowshik, Naman Agarwal, Praneeth Netrapalli, Prateek Jain

多视图遮挡世界模型用于视觉机器人操作 Younggyo Seo, Junsu Kim, Stephen James, Kimin Lee, Jinwoo Shin, Pieter Abbeel

PaLM-E: 一种具身多模态语言模型 (参见博客文章) Danny Driess, Fei Xia, Mehdi S. M. Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter,Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, Wenlong Huang, Yevgen Chebotar, Pierre Sermanet, Daniel Duckworth, Sergey Levine, Vincent Vanhoucke, Karol Hausman, Marc Toussaint, Klaus Greff, Andy Zeng, Igor Mordatch, Pete Florence

使用自适应压缩的私有联邦学习 Enayat Ullah*, Christopher A. Choquette-Choo, Peter Kairouz, Sewoong Oh

用于线性函数逼近的对抗MDP的细致后悔 Yan Dai, Haipeng Luo, Chen-Yu Wei, Julian Zimmert

使用恒定内存扩展到ImageNet-1K的数据集蒸馏 Justin Cui, Ruoche Wan, Si Si, Cho-Jui Hsieh

具有高概率对未知参数、无界梯度和仿射方差的AdaGrad步长的SGD Amit Attia, Tomer Koren

对于值估计的分位数时序差异学习的统计优势 Mark Rowland, Yunhao Tang, Clare Lyle, Rémi Munos, Marc G. Bellemare, Will Dabney

透过图像特征的位置信息模式的面具 Chieh Hubert Lin, Hung-Yu Tseng, Hsin-Ying Lee, Maneesh Kumar Singh, Ming-Hsuan Yang

具有最佳速率的用户级私有随机凸优化 Raef Bassily, Ziteng Sun

一种简单的零样本提示加权技术以改善文本-图像模型中的提示集成 James Urquhart Allingham*, Jie Ren, Michael W Dusenberry, Xiuye Gu, Yin Cui, Dustin Tran, Jeremiah Zhe Liu, Balaji Lakshminarayanan

大型语言模型能否推理程序不变量? Kexin Pei, David Bieber, Kensen Shi, Charles Sutton, Pengcheng Yin

在持续观察下的并行洗牌差分隐私 Jay TenenbaumHaim KaplanYishay MansourUri Stemmer

恒定问题:差分隐私持续观察的细粒度误差边界 Hendrik Fichtenberger,Monika Henzinger,Jalaj Upadhyay

交叉熵损失函数:理论分析与应用 Anqi Mao,Mehryar Mohri,Yutao Zhong

使用在线函数逼近的对抗性上下文MDP的高效率最优遗憾 Orin Levy,Alon Cohen,Asaf Cassel,Yishay Mansour

流式子模最大化中的公平性在Matroid约束下 Marwa El Halabi,Federico Fusco,Ashkan Norouzi-FardJakab Tardos,Jakub Tarnawski

The Flan Collection:为有效指导调整设计数据和方法(见博客文章)Shayne Longpre,Le HouTu VuAlbert WebsonHyung Won ChungYi TayDenny ZhouQuoc V LeBarret ZophJason WeiAdam Roberts

通过双层优化进行网络控制的图形强化学习 Daniele Gammelli,James Harrison,Kaidi Yang,Marco Pavone,Filipe Rodrigues,Francisco C. Pereira

用于多个分位数发布的学习增强型私有算法 Mikhail Khodak*,Kareem AminTravis DickSergei Vassilvitskii

LegendreTron:起义正确的多类损失学习 Kevin H Lam,Christian Walder,Spiridon Penev,Richard Nock

衡量编程语言分布的影响 Gabriel Orlanski*,Kefan XiaoXavier GarciaJeffrey HuiJoshua HowlandJonathan MalmaudJacob AustinRishabh Singh,Michele Catasta*

分布偏斜下的多任务差分隐私 Walid KrichenePrateek JainShuang SongMukund SundararajanAbhradeep ThakurtaLi Zhang

Muse:通过遮蔽生成变压器进行文本到图像生成 Huiwen ChangHan ZhangJarred BarberAJ MaschinotJosé LezamaLu JiangMing-Hsuan YangKevin MurphyWilliam T. FreemanMichael RubinsteinYuanzhen LiDilip Krishnan

循环客户端参与的联邦平均收敛 Yae Jee Cho,Pranay Sharma,Gauri Joshi,Zheng XuSatyen KaleTong Zhang

通过在线到非凸转换实现最优随机非平滑非凸优化 Ashok Cutkosky,Harsh Mehta,Francesco Orabona

通过有针对性的增强实现域外鲁棒性 Irena Gao,Shiori Sagawa,Pang Wei Koh,Tatsunori Hashimoto,Percy Liang

多项式时间和私有学习无界高斯混合模型 Jamil Arbas,Hassan Ashtiani,Christopher Liaw

预计算内存还是即时编码?检索增强的混合方法充分利用计算资源 Michiel de Jong,Yury ZemlyanskiyNicholas FitzGeraldJoshua AinslieSumit SanghaiFei ShaWilliam W. Cohen

可迭代生成的可扩展自适应计算 Allan Jabri*,David J. FleetTing Chen

缩放球形CNNs Carlos Esteves,Jean-Jacques Slotine,Ameesh Makadia

STEP:从头开始学习N:M结构稀疏掩模 Yucheng Lu,Shivani AgrawalSuvinay SubramanianOleg Rybakov,Christopher De Sa,Amir Yazdanbakhsh

分层对抗鲁棒性与拒绝 Jiefeng Chen,Jayaram Raghuram,Jihye Choi,Xi Wu,Yingyu Liang,Somesh Jha

何时特权信息可以解释标签噪声?Guillermo Ortiz-Jimenez*,Mark CollierAnant NawalgariaAlexander D’AmourJesse BerentRodolphe JenattonEffrosyni Kokiopoulou

具有弹性输入序列的自适应计算 Fuzhao Xue*,Valerii LikhosherstovAnurag ArnabNeil HoulsbyMostafa Dehghani,Yang You

神经网络记忆是否可以被定位?Pratyush Maini,Michael C. MozerHanie Sedghi,Zachary C. Lipton,J. Zico Kolter,Chiyuan Zhang

可控性感知的无监督技能发现 Seohong Park,Kimin Lee,Youngwoon Lee,Pieter Abbeel

使用双步幅多尺度图神经网络高效学习基于网格的物理模拟 Yadi Cao,Menglei Chai,Minchen Li,Chenfanfu Jiang

线性划分下的联邦重型恢复 Adria GasconPeter KairouzZiteng SunAnanda Theertha Suresh

用于基准测试图神经网络的图生成模型 Minji Yoon,Yue Wu,John PalowitchBryan Perozzi,Russ Salakhutdinov

对于成对误排名损失替代函数的H-一致性界限 Anqi Mao,Mehryar Mohri,Yutao Zhong

具有线性函数逼近的高效在线强化学习的改进遗憾 Uri Sherman,Tomer KorenYishay Mansour

不变槽关注:基于槽为中心的参考框架进行对象发现 Ondrej Biza*,Sjoerd van SteenkisteMehdi S. M. SajjadiGamaleldin Fathy ElsayedAravindh MahendranThomas Kipf

从强盗反馈中进行多任务离线学习 Joey Hong,Branislav Kveton,Manzil Zaheer,Sumeet Katariya,Mohammad Ghavamzadeh

无遗憾学习的最优性和收敛性在一般和马尔可夫博弈中 Liad Erez,Tal Lancewicki,Uri Sherman,Tomer KorenYishay Mansour

使用多个奖励使强化学习更高效 Christoph DannYishay MansourMehryar Mohri

具有历史相关的动态上下文的强化学习 Guy Tennenholtz,Nadav Merlis,Lior ShaniMartin MladenovCraig Boutlier

物理动态系统扩散模型中的用户定义事件采样和不确定性量化 Marc Anton Finzi*,Anudhyan Boral,Andrew Gordon Wilson,Fei ShaLeonardo Zepeda-Nunez

离散键值瓶颈 Frederik Träuble,Anirudh Goyal,Nasim Rahaman,Michael Curtis Mozer,Kenji Kawaguchi,Yoshua Bengio,Bernhard Schölkopf

DSGD-CECA:具有通信最优确切共识算法的分散式SGD Lisang Ding,Kexin Jin,Bicheng Ying,Kun Yuan,Wotao Yin

Exphormer:用于图形的稀疏Transformer Hamed Shirzad,Ameya VelingkerBalaji Venkatachalam,Danica J. Sutherland,Ali Kemal Sinop

快速、可微分和稀疏的Top-k:凸分析视角 Michael Eli Sander*,Joan PuigcerverJosip Djolonga,Gabriel Peyré,Mathieu Blondel

改进的随机化试验策略评估 Aditya Mate,Bryan Wilder,Aparna TanejaMilind Tambe

寻求一种适用于无源域自适应的通用方法 Malik Boudiaf*,Tom DentonBart van MerrienboerVincent DumoulinEleni Triantafillou

在分布转移存在的情况下的学习率调度 Matthew FahrbachAdel JavanmardVahab MirrokniPratik Worah

并非所有的语义都是相等的:具有自动温度个性化的对比自监督学习 Zi-Hao Qiu,Quanqi Hu,Zhuoning Yuan,Denny Zhou,Lijun Zhang,Tianbao Yang

解释与预测的关系:因果视角 Amir-Hossein Karimi*,Krikamol Muandet,Simon Kornblith,Bernhard Schölkopf,Been Kim

注意力在提示调整中的作用 Samet Oymak,Ankit Singh Rawat,Mahdi Soltanolkotabi,Christos Thrampoulidis

PLay:使用潜在扩散进行参数化条件布局生成 Chin-Yi ChengForrest HuangGang LiYang Li

学习局部线性模型在非线性策略优化中的威力 Daniel Pfrommer,Max Simchowitz,Tyler Westenbroek,Nikolai Matni,Stephen Tu

用于解释图神经网络的相关行走搜索 Ping Xiong,Thomas Schnake,Michael Gastegger,Grégoire Montavon,Klaus Robert Muller,Shinichi Nakajima

大型代码语言模型的存储库级提示生成 Disha Shrivastava,Hugo LarochelleDaniel Tarlow

鲁棒和私密的随机线性赌博机 Vasileios Charisopoulos*,Hossein EsfandiariVahab Mirrokni

简单扩散:用于高分辨率图像的端到端扩散 Emiel HoogeboomJonathan HeekTim Salimans

Tied-Augment:控制表示相似性改进数据增强 Emirhan Kurtulus,Zichao LiYann DauphinEkin D. Cubuk

为什么公共预训练对于私有模型训练是必要的?Arun Ganesh,Mahdi Haghifam*,Milad NasrSewoong OhThomas SteinkeOm ThakkarAbhradeep Guha ThakurtaLun Wang

一步强化学习和评论家正则化在强化学习中的联系Benjamin EysenbachMatthieu GeistSergey Levine,Ruslan Salakhutdinov

在差分隐私优化中超越均匀利普希茨条件Rudrajit Das*Satyen KaleZheng XuTong Zhang,Sujay Sanghavi

高效图形场积分器遇见点云Krzysztof Choromanski,Arijit Sehanobish,Han Lin,Yunfan Zhao,Eli Berger,Tetiana Parshakova,Alvin Pan,David Watkins,Tianyi Zhang,Valerii Likhosherstov,Somnath Basu Roy Chowdhury,Avinava DubeyDeepali JainTamas Sarlos,Snigdha Chaturvedi,Adrian Weller

快如CHITA:神经网络修剪与组合优化Riade Benbaki,Wenyu Chen,Xiang Meng,Hussein HazimehNatalia PonomarevaZhe Zhao,Rahul Mazumder

启动强化学习(详见博客文章)Ikechukwu Uchendu*Ted XiaoYao Lu,Banghua Zhu,Mengyuan Yan,Joséphine Simon,Matthew Bennice,Chuyuan Fu,Cong Ma,Jiantao Jiao,Sergey LevineKarol Hausman

在POMDP中学习是具有后见可观察性的样本高效Jonathan LeeAlekh AgarwalChristoph Dann,Tong Zhang

在展开计算图中使用ES-Single进行低方差梯度估计Paul Vicol

用于预测、表示和控制的遮蔽轨迹模型Philipp Wu,Arjun Majumdar,Kevin Stone,Yixin Lin,Igor Mordatch,Pieter Abbeel,Aravind Rajeswaran

通过特征筛选克服深度网络中的简化偏差Rishabh TiwariPradeep Shenoy

用于福特-富克森算法的预测流Sami Davies,Benjamin Moseley,Sergei VassilvitskiiYuyan Wang

多语言神经机器翻译的缩放定律Patrick FernandesBehrooz GhorbaniXavier GarciaMarkus FreitagOrhan Firat

用于时间序列结构发现的顺序蒙特卡罗学习Feras SaadBrian PattonMatthew Douglas HoffmanRif A. SaurousVikash Mansinghka

随机梯度在赌博机中取得成功Jincheng Mei,Zixin Zhong,Bo DaiAlekh Agarwal,Csaba Szepesvari,Dale Schuurmans

基于子集的实例优化在私有估计中的最优性Travis DickAlex KuleszaZiteng SunAnanda Theertha Suresh

机器翻译中少样本学习的非合理有效性 Xavier Garcia, Yamini Bansal, Colin Cherry, George Foster, Maxim Krikun, Melvin Johnson, Orhan Firat

教程

自监督学习在视觉中的应用:从研究进展到最佳实践 Xinlei Chen, Ishan Misra, Randall Balestriero, Mathilde Caron, Christoph Feichtenhofer, Mark Ibrahim

如何使用差分隐私将机器学习转化为差分隐私的实用教程(请参阅博客文章) Sergei Vassilvitskii, Natalia Ponomareva, Zheng Xu

神经网络泛化理论的最新进展 Tengyu Ma, Alex Damian

EXPO Day研讨会

Graph Neural Networks在Tensorflow中的实用指南 研讨会组织者包括:Bryan Perozzi, Anton Tsitsulin, Brandon Mayer, Jonathan Halcrow

谷歌赞助的相关研讨会

拉丁美洲AI(LAXAI)白金赞助商主题演讲嘉宾:Monica Ribero 面板讨论嘉宾:Yao Qin

机器学习中的女性(WiML)白金赞助商 面板讨论嘉宾:Yao Qin

研讨会

实践中的联邦学习和分析:算法、系统、应用和机会 组织者:Peter Kairouz, Zheng Xu 演讲嘉宾:Brendan McMahan

医疗保健中的可解释机器学习(IMLH) 组织者:Ramin Zabih

数据驱动学习时代的知识和逻辑推理 组织者:Beliz Günel

基于偏好的学习的多个方面(MFPL) 组织者:Robert Busa-Fekete, Mohammad Ghavamzadeh

科学和机器学习模型的协同作用(SynS & ML) 演讲嘉宾:Sercan Arik

沟通代理人中的心智理论 组织者:Pei Zhou

人工智能与人机交互 组织者:Yang Li, Forrest Huang

面向数据的机器学习研究(DMLR) 组织者:Alicia Parrish, Najoung Kim 演讲嘉宾:Peter Mattson

神经压缩:从信息理论到应用 演讲嘉宾:Johannes Ballé 面板讨论嘉宾:George Toderici

神经对话AI研讨会 – 剩下的是什么可以教给聊天机器人? 组织者:Ahmad Beirami

虚假相关性、不变性和稳定性(SCIS) 组织者:Amir Feder


* 在Google工作期间完成的工作

Leave a Reply

Your email address will not be published. Required fields are marked *