本周人工智能动态（Louie撰写）
本周，Zoom的服务条款变更（自3月起）引发了人们对其使用客户视频数据的担忧。Zoom的条款似乎允许该公司在很大程度上自由使用客户数据来训练其机器学习模型，但在此次争议爆发后，Zoom在周一深夜更新了其条款，明确表示“Zoom不会在未经您同意的情况下使用音频、视频或聊天内容来训练我们的人工智能模型。”自ChatGPT推出以来，随着商业化人工智能的日益关注，许多公司的数据所有权、版权和隐私政策一直在变动中。一些公司，如X/Twitter，意识到他们免费或过低地提供了宝贵的数据，并停止访问他们的数据，使得对其使用的抓取或诉讼变得更加困难。其他公司意识到他们没有充分收集或利用他们可以获取的潜在有价值的数据。保护客户隐私和充分利用他们的数据之间始终存在一种微妙的平衡，我们预计这些问题在未来几个月内将仍然是许多首席执行官和管理团队的重要优先事项。- Louie Peters — Towards AI联合创始人兼首席执行官
热门新闻
- AudioCraft：一站式音频建模解决方案
Meta已发布了其AudioCraft模型的代码和权重，包括MusicGen和AudioGen。这些模型根据基于文本的用户输入生成音乐和音频。该发布还包括EnCodec解码器，用于提高音乐质量。
2. NASA和IBM公开发布用于NASA地球观测数据的地理空间人工智能基础模型
NASA和IBM研究合作发布了HLS Geospatial FM，这是一种用于地球观测数据的开源地理空间人工智能模型。该模型在洪水映射、烧伤区识别和预测农作物产量等各种应用中表现出成功。
3. Jupyter中的生成式人工智能
Jupyter AI集成了生成式人工智能技术，并提供了代码生成、错误修复、内容摘要、文件问答和从语言提示创建笔记本等功能。
4. RT-2：新模型将视觉和语言转化为行动
Meta的机器人变形器2（RT-2）是一种将网络规模能力与机器人控制相结合的视觉-语言-行动模型。它能够有效识别视觉和语言模式，推广新技能，并成功利用基于网络的数据学习新技能。
5. OpenAI推出GPTBot并介绍了如何限制访问
OpenAI推出了网络爬虫GPTBot，以改进其人工智能模型。GPTBot将在网络上搜索数据，同时严格过滤任何受付费墙限制的来源、违反OpenAI政策的来源或收集个人可识别信息的来源。
五篇5分钟阅读/视频，助你学习
- 开源LLM的历史：更好的基础模型
通过预训练和模型开发的进展，开源LLM已经发展到可以与专有LLM竞争的水平。早期的挑战通过专注于预训练的重要性和创建更好的基础模型而被克服。最近的趋势包括使用更大的预训练数据集和优化模型以实现快速推理。
2. AI领域中使用的前10个开源LLM
本文介绍了AI领域中使用的前10个开源LLM。这些LLM提供可定制的解决方案、推理能力、多语言支持、自然语言理解、文本生成、问答、聊天机器人接口、多功能性和稳健性。
3. 理解LLaMA-2架构及其对GenAI的巨大影响
Meta关于LLaMA-2的77页论文揭示了令人印象深刻的结果，超越了开源基准，并与GPT3.5竞争。文章解释了Grouper查询注意力、Ghost Attention、In-Context Temperature re-scaling和Temporal Perception等进展。
4. AI研究者Geoffrey Hinton认为AI拥有或将拥有情感
AI研究者Geoffrey Hinton认为，只有通过深度学习才能实现并可能超越类似人类的智能，因为它使机器能够叙述与情感相关的假设性行动。这种观点在专家圈中既有支持者也有批评者。
5. 通过梯度检查点、LoRA和量化在单个GPU上适配您的LLM
本文介绍了三种技术——梯度检查点、LoRA和量化——来帮助在微调语言模型时节省GPU内存并避免内存错误。这些技术涉及在训练过程中最小化层、嵌入新的可训练参数以及降低数据精度。
论文和仓库
- microsoft/azurechatgpt：Azure ChatGPT，用于内部企业使用的私有和安全的ChatGPT
微软推出了Azure ChatGPT，这是一个在Azure上部署ChatGPT实例的私有和安全解决方案。它提供内置的隐私保证、对可访问性的完全控制以及集成内部数据源和插件的能力。为了促进采用，微软还开发了一个解决方案加速器指南。
2. 工具文档使得大型语言模型可以零样本使用
最近的一项研究发现，对于LLM来说，阅读工具文档比仅依靠演示来学习使用新工具更有效。研究人员通过对六个视觉和语言任务的实证研究结果证明了这一点，表明带有工具文档的零样本提示在基准测试中的表现与少样本提示相当。
3. PanGu-Coder2：为代码增强大型语言模型的排名反馈
本文提出了一种名为RRTF（Rank Responses to Align Test & Teacher Feedback）的新颖框架，可以有效高效地提升预训练的大型语言模型的代码生成能力。在这个框架下，我们提出了PanGu-Coder2，在OpenAI HumanEval基准测试上取得了62.20%的一次通过率。
4. XSTest：用于识别大型语言模型中夸张安全行为的测试套件
本文介绍了一种名为XSTest的新型测试套件，以结构化和系统化的方式识别夸张的安全行为。测试结果显示，Meta的Llama2模型显示出过度的安全行为，拒绝了无害但类似不安全的提示或触及敏感话题的提示。
5. 水蛇效应：语言模型计算中的自我修复
语言模型的最新研究发现了水蛇效应，即移除一个注意力层会触发另一个层的补偿。此外，研究人员还发现，即使在没有丢弃的模型训练中，后续的MLP层也会调节最大似然标记。
喜欢这些论文和新闻摘要吗？在您的收件箱中获取每日摘要！
一起学习人工智能社区版块！
每周人工智能播客
在本期“AI是什么”播客中，Louis Bouchard分享了他在蒙特利尔理工学院和Mila攻读人工智能博士学位的经历。在整个节目中，他提供了关于录取流程、博士候选人的日常生活以及您在此过程中开发的技能的见解。他还深入探讨了联邦学习的概念以及人工智能如何革新多发性硬化症的诊断。无论您是否考虑攻读人工智能博士学位，或者只是对人工智能和医学的交叉领域感兴趣，本期节目都适合您。在Spotify或Apple Podcasts上收听。
本周的梗！
由archiesnake分享的梗
Discord上的精选社区帖子
Weaver159推出了一个名为MetisFL的新项目，这是一个联邦学习框架，使开发人员能够在分布式数据集上进行机器学习工作流程的联合，而无需将数据收集到集中位置。该框架的核心部分使用C++编写，并优先考虑可扩展性、速度和韧性。目前，该项目积极鼓励开发人员、研究人员和数据科学家尝试该框架并为代码库做出贡献。在GitHub上查看并支持社区中的同伴。在此主题中分享您的想法或贡献。
本周的AI投票！
加入我们的Discord讨论。
TAI精选部分
本周文章
使用梯度检查点、LoRA和量化将您的LLM适应单个GPU，作者：Jeremy Arancio
微调LLM可能需要很长时间并且很乏味。在训练过程中内存不足既令人沮丧又昂贵。本文将介绍三种技术，您可能已经使用或需要了解，但并不了解它们的工作原理：梯度检查点、低秩适配器和量化。这些技术将帮助您在训练过程中避免内存不足，并节省大量时间。
我们的必读文章
集成学习：从决策树到随机森林，作者：Sandeepkumar Racherla
现代自然语言处理：详细概述，第四部分：最新发展，作者：Abhijit Roy
自监督学习和Transformer？——解析DINO论文，作者：Boris Meinardus
如果您有兴趣在Towards AI上发表作品，请查看我们的指南并注册。如果符合我们的编辑政策和标准，我们将把您的作品发布到我们的网络上。
职位招聘
高级软件工程师，智能合约 @Oasis Protocol Foundation（远程）
高级应用工程师 @Mozilla（远程）
高级/首席支持工程师-欧洲 @ClickHouse（远程）
QA工程师 @ShyftLabs（加拿大多伦多）
高级软件工程师- AI搜索个性化 @Algolia（远程）
高级基础设施工程师 @Angi（远程）
Python数据工程师 @Altoida（英国波士顿）
有兴趣在此分享职位机会吗？请联系sponsors@towardsai.net。
如果您正在准备下一次机器学习面试，请随时查看我们领先的面试准备网站confetti！
