本周AI动态 by Louie
本周AI动态，我们重点关注大型语言模型（LLMs）在西方市场带来的显著收入增长的进一步证据，以及中国新型AI模型的推出。
据报道，OpenAI的年收入已达到10亿美元，相比2022年的2800万美元增长迅速且巨大。所有目光也都集中在Nvidia的H100 GPU芯片上，据报道其年收入已达数百亿美元。LLMs不再局限于小众研究领域，ChatGPT引发了对LLM产品和基础设施的巨大需求变化，从而带来了可观的收入。这股兴趣浪潮也触发了对人工智能领域的大量风险投资。然而，目前尚不清楚这股对AI API和基础设施的投资浪潮将如何迅速转化为具有持久采用的消费品。
中国的科技公司和大学近年来也在AI领域进行了大量投资，并对机器学习做出了重要贡献。然而，与其他国家不同，中国规定公司必须进行安全评估并获得AI模型的批准。这一政策曾经延迟了LLM聊天机器人在中国的公开发布。然而，本周标志着一个重要的发展，中国批准了11家公司的新模型的发布。我们将密切关注这些产品在中国的采用情况，并与来自西方竞争对手的模型进行对比。
虽然中国的AI发展前景看好，但美国政府加大了对向中国供应领先的AI芯片的制裁力度。这引发了对进展可能产生的影响的质疑。目前尚不清楚这些限制将会有多广泛，以及中国的AI项目将如何通过效率较低的芯片、自主设计的芯片或中国芯片制造来弥补，但我们预计这将成为未来训练计算密集型模型面临的越来越大的挑战。
– Louie Peters — Towards AI联合创始人兼首席执行官
感谢以下赞助商支持本期内容：
invideo AI：
使用一款AI工具将任何想法变成视频
想象一下有一个副驾驶帮助你创作视频，这就是invideo AI。
通过文本指令指导AI，即可将你的想法转化为令人惊叹的视觉效果。AI会为你提供一段包括剧本、素材、配音和字幕的视频。
只需简单的文本提示，就可以进行编辑和调整。对于内容创作者、YouTuber和市场营销人员来说，创作变得轻松100倍。
现在就免费试用吧！
最热新闻
- X的隐私政策确认将使用公共数据训练AI模型
X最近更新的隐私政策告知用户，它将收集生物特征数据以及用户的工作和教育历史，以帮助训练AI和机器学习模型。一些报道猜测，埃隆·马斯克可能部分出于其庞大的专有训练数据而收购Twitter，这些数据可用于他的新的AI公司的系统训练。
2. 谷歌全力投入AI云计算
谷歌最近展示了一个扩展的生态系统，包括全球系统集成商和较小的云服务提供商，推广谷歌的产品在全球范围内的广泛应用。尽管谷歌在基础设施即服务/平台即服务竞争中仍然排名第三，但谷歌正在采取长期战略，并大力投资AI作为其云计算未来的关键驱动力。
3. WeatherBench 2：下一代数据驱动天气模型的基准测试
谷歌发布了WeatherBench 2数据集，该数据集在AI天气预报领域引起了关注。机器学习方法已经证明和基于物理的模型一样有效，但具有使用廉价硬件进行更快预测的优势。WeatherBench 2数据集旨在增强天气预报的机器学习研究。
4. Ideogram推出具有出色排版能力的AI图像生成器
Ideogram是一款在生成图像方面表现出色的替代AI工具。它提供了在图像中生成文本的独特功能，有效解决了流行的AI图像生成器面临的常见挑战。
5. AI可能因为填满网络而窒息
专家预测，AI生成的内容很快将主导互联网，但这带来了信息过载和质量下降等风险。一个值得关注的问题是“模型崩溃”，即AI模型过度依赖可预测的词语选择，可能导致其失去产生引人入胜和细致的内容的能力。
五篇5分钟阅读/视频，帮助你持续学习
- 变压器改变了人工智能。接下来会有什么取而代之的技术？
如果说现代人工智能有一份创始文件的话，那就是Google在2017年发表的研究论文《Attention Is All You Need》。本文探讨了变压器的概念，概述了其局限性，并讨论了克服这些缺点的潜在替代方案。文章提出了几种有说服力且逻辑严谨的替代方案。
2. ChatGPT词汇表：41个每个人都应该了解的人工智能术语
随着人工智能发展的速度加快，跟上最新的术语可能有些困难。这个词汇表是为那些刚刚接触人工智能的人提供的资源，也适用于那些需要参考或温习词汇的人。
3. 为您的人工智能项目选择合适的GPU策略
本指南深入讨论了在人工智能项目中租用还是购买GPU的决策。拥有自己的GPU可以提供稳定性，而租用GPU则更具灵活性。自由职业者可能会发现租用对于短期项目更有利，而长期研究人员可能会发现拥有自己的GPU更具成本效益。
4. 解决生成式人工智能中的幻觉的选择
本文讨论了生成模型中的人工智能幻觉问题，并介绍了一种名为Retrieval Augmented Generation（RAG）的解决方案。RAG通过在数据生成过程中检索相关内容，有效地减轻了幻觉问题，使其成为人工智能公司的首选。
5. Vertex AI LLM基于人类反馈的强化学习
该文章提供了一个全面的指南，介绍了如何在Google Cloud上利用Vertex AI实现基于人类反馈的强化学习（RLHF）。
论文和代码仓库
- RLAIF：通过人工智能反馈扩展强化学习
谷歌的最新研究结果表明，通过人工智能反馈的强化学习（RLAIF）可能是强化学习的一个可行替代方案，而不是使用高质量的人类偏好标签（RLHF）。RLAIF利用现成的语言模型对偏好进行标记，并有潜力解决可扩展性限制，提高LLM的效率。
2. YaRN：大型语言模型的高效上下文窗口扩展
本文介绍了YaRN，一种计算效率高的方法，用于扩展这类模型的上下文窗口，相比之前的方法，它需要的令牌数量少10倍，训练步骤少2.5倍。YaRN已成功用于调整LLaMa 2 7B和13B模型的上下文窗口，分别为64k和128k。
3. Qwen-VL：具备多种能力的前沿大型视觉语言模型
阿里云推出Qwen-VL，一个功能强大的视觉语言模型，专为聊天应用设计。Qwen-VL结合图像和文本输入，生成准确的文本和边界框输出，增强图像字幕、问题回答、定位和文本-图像理解等任务。
4. MedAlign：用于遵循电子病历指示的临床生成数据集
MedAlign是一个有价值的数据集，包含983条用于分析电子健康记录（EHR）数据的指示。研究人员利用这个数据集评估了六个通用领域语言模型的性能。他们发现有显著的错误率，其中GPT-4的错误率为35%，MPT-7B-Instruct的错误率为68%。
5. OpenBMB / ChatDev
ChatDev是一个虚拟的软件公司，通过多个智能代理人运作，每个代理人扮演不同的角色，包括首席执行官、首席技术官、程序员、测试员等等。ChatDev内的这些代理人通过参与专门的功能性研讨会来合作，包括设计、编码、测试和文档编写等任务。
喜欢这些论文和新闻摘要吗？在你的收件箱里获得每日摘要！
一起学习人工智能社区版块！
本周的梗图！
梗图分享自neuralink
来自Discord的精选社区帖子
Well.job介绍了多语言语义搜索，提供了与开源或OpenAI一起使用的语义搜索功能。该解决方案适用于任何语言，并提供了一种简单高效的语义搜索相似性的方法，使用FAISS库跨多种语言进行搜索。在GitHub上查看并支持其他社区成员。在此帖子中分享你的问题和反馈。
本周AI调查!
加入Discord的讨论。
TAI精选部分
本周文章
10个关于嵌入的酷炫事情！[第1部分] 作者：Zubia Mansoor
远离经典机器学习（ML），嵌入是大多数深度学习（DL）用例的核心。掌握这个概念可以让您在特征空间中执行灵活的任务，并以不同的方式重新定义ML/DL问题，特别是在计算机视觉和自然语言处理中处理高维数据。
我们必读的文章
你的代码中的进化：理解并从头编写遗传算法-第1部分 作者：Francis Adrian Viernes
强化学习：动态规划和蒙特卡洛-第2部分 作者：Tan Pengshi Alvin
大规模机器学习：模型与数据并行性 作者：Shubham Saboo
Python中的最速下降法和牛顿法：从头开始比较 作者：Nicolo Cosimo Albanese
如果您有兴趣在Towards AI上发表文章，请查看我们的指南并注册。如果符合我们的编辑政策和标准，我们将会在我们的网络上发布您的作品。
工作机会
软件工程团队负责人 @Persado（远程）
QA软件测试顾问 — 美国 @ReVisionz（远程）
首席软件工程师 — Vue.JS @Creative Chaos（远程）
数据工程师 @Mercari（远程）
数据研究实习生 @Clarity AI（西班牙马德里）
数据工程师 @Decathlon（新加坡）
软件开发实习生 — 2023/24夏季 @Phocas Software（新西兰克赖斯特彻奇）
有兴趣在此分享工作机会？请联系sponsors@towardsai.net。
如果您正在准备下一次的机器学习面试，请不要犹豫，访问我们领先的面试准备网站confetti！
