本周AI动态
本周我们关注了META在编码模型以及OpenAI在新的微调能力方面的发展。META推出了Code LLaMA，这是一个大型语言模型，能够根据提示生成代码并描述代码。他们发布了三个迭代版本，参数数量各不相同（7B、13B和34B），每个版本都经过了额外的5000亿个与代码相关的标记的训练。这些模型与广泛认可的编程语言（如Python、C++、Java、PHP等）兼容。此外，还有两个专门的模型基于此模型之上。Code LLaMA —— Instruct是Code LLaMA的微调版本，专门用于遵循指令。此外，还有Code LLaMA —— Python，这是专门针对Python编程语言定制的模型。这些模型已经以研究和商业使用许可证的形式提供。此模型的开源发布促进了快速迭代，我们已经看到了在此基础上构建的更多模型，包括WizardCoder，它在性能上表现优异，接近但还没有达到GPT-4的水平。
另一个重要消息是，OpenAI推出了将GPT-3.5 Turbo作为服务进行微调的能力。需要强调的是，使用微调模型进行推理会带来显著的成本增加。OpenAI还推出了ChatGPT Enterprise，为组织提供无限制的使用、增强的速度以及更长的上下文窗口。
我们很高兴看到Code LLaMA的发布，并认为为编码进行微调和优化的模型有着巨大的潜力，无论是作为开发者的辅助工具还是为非开发人员打开软件开发的机会。GPT Turbo的微调发布也令人兴奋，我们预计这将导致一些高质量的编码和微调模型，但我们特别期待今年晚些时候开放微调GPT-4的前景。我们认为，针对编码进行微调的GPT-4具有巨大的潜力。
– Louie Peters — Towards AI联合创始人兼首席执行官
最热门的新闻
- GPT-3.5 Turbo微调发布
OpenAI推出了GPT-3.5 Turbo的微调，这可以提供在特定任务上的增强性能。这个优化版本有可能与基础的GPT-4模型的能力相当甚至超过。初步测试者通过微调过程已经成功地大幅减少了提示长度。训练和使用输入/输出的费用分别为每1000个标记的$0.008、$0.012和$0.016。
2. 推出一种用于编码的先进大型语言模型Code Llama
META发布了Code Llama，这是一种用于编码的先进LLM，可以生成与代码相关的代码和自然语言。它有三个模型和不同的尺寸可供选择，以满足不同的需求。它支持当今使用最广泛的许多流行语言，包括Python、C++、Java、PHP、TypeScript（JavaScript）、C#和Bash。
3. 推出用于语音翻译的基础多模态模型
META开发了一种名为SeamlessM4T的强大基础模型，能够处理100种语言的各种文本和语音任务。它包括自动语音识别、语音到文本翻译、语音到语音翻译、文本到文本翻译和文本到语音翻译，支持多种输入和输出语言。
4. 推出ChatGPT Enterprise
OpenAI推出了ChatGPT Enterprise，提供适用于企业使用的安全和隐私功能。这个版本提供了对GPT-4的无限制访问，更高的速度，用于处理更长输入的扩展上下文窗口（32k），高级数据分析功能，自定义选项和其他功能。
5. 阿里巴巴发布了一款能够“读取”图像的新聊天机器人
阿里巴巴云发布了两个开源的AI模型：Qwen-VL和Qwen-VL-Chat。这些模型使用了该公司的统一千问（Qwen）LLM进行训练。它们可以解释视觉数据，例如图像中的文本，并通过解释标志的图像来响应基于位置的查询，例如提供方向。
五个5分钟的阅读/视频让您持续学习
- 使用AutoGPTQ和Transformers使LLMs更轻
Hugging Face在Transformers中引入了AutoGPTQ集成，实现了2、3、4和8位量化，几乎没有准确性损失。这个集成兼容Nvidia GPU和RoCm驱动的AMD GPU。
2. 教授语言模型进行算法推理
本文探讨了教授LLMs进行算法推理的有效性，重点是克服过拟合和伪相关性等挑战。它提出了一个四步方法，包括将算法制定为技能，同时教授多种技能，教授技能组合和教授技能使用工具。
3. Hugging Face上的Code Llama
Code Llama现在可以通过Hugging Face访问，提供使用7B和13B模型执行代码填充的能力。它以与Llama 2相同的宽松社区许可证提供，并可用于商业用途。
4. 用于机器人技能合成的语言到奖励
由LLMs推动的语言到奖励系统使机器人能够直接从语言中学习。这些系统将自然语言指令转化为指定奖励的代码，根据机器人的动作计算奖励，并通过强化学习促进学习。
5. 什么是MetaGPT？LLM代理协同解决复杂任务
MetaGPT是增强AI代理之间协作的一种新方法。这段视频揭示了MetaGPT创新设计的内部工作原理，深入探讨了SOP（标准操作规程）的作用，并探索了多个AI代理如何无缝协作。
论文和存储库
- 增强自我训练（ReST）用于语言建模
本文提出了一种简单的算法，用于将LLMs与人类偏好对齐，受到了批量强化学习的启示。DeepMind开发的增强自我训练（ReST）是RLHF的更经济的替代方案。它采用了两步过程，Grow和Improve，以增强训练数据集并对LLM进行微调。
2. 长上下文LLMs的Giraffe
Giraffe是从LLaMA和LLaMA2派生出的一系列模型，包括上下文窗口大小为4k、16k和32k个标记的变体。这些模型在LLaMA和LLaMA2的基础上进行了微调，并通过位置编码修改的实验来扩展上下文窗口。
3. HuggingFace LLM排行榜上的新LLM Platypus
Platypus是HuggingFace的Open LLM排行榜上的最新LLM，利用Open-Platypus数据集在STEM和逻辑方面表现出色。它通过使用LoRA模块和PEFT库来有效地解决训练中的偏见。然而，它在英语以外的语言方面的挑战归因于其底层模型LLaMa-2。
4. 思维图：用大型语言模型解决复杂问题
思维图（GoT）代表了一种增强大型语言模型（LLMs）提示能力的框架，超越了类似思维链或思维树（ToT）的范式。与其他方法相比，GoT展示了更好的性能，在排序质量（62%）上有所提升，同时降低了成本（31%）。
5. QuIP：具有保证的大型语言模型的2位量化
本文介绍了一种新的方法，即具有不连贯处理的量化（QuIP），通过自适应舍入实现了对语言模型模型的2位量化。它是第一种伴随理论分析的算法，展示了它对其他量化方法（如OPTQ）的潜在影响。
喜欢这些论文和新闻摘要吗？每天在您的收件箱中获得回顾！
一起学习AI社区版块！
本周的梗图！
由neon8052分享的梗图
来自Discord的精选社区帖子
DrDub发起了一个名为“Tell-and-Show”的卓越项目，旨在进行社区自主机器学习的实验。该项目构建了专属于您的推荐配置文件。它还提供了可供其他自由软件项目采用的工具和模型，以增强这些推荐配置文件的效用。在这里查看并支持社区成员！您可以通过分享您对关键项目的个人偏好或加入志愿者来帮助这个项目。在此线程中分享您的问题和反馈。
本周AI调查！
加入Discord上的讨论。
TAI精选部分
本周文章
通过Zoumana Keita提供《高效为大型语言模型提供服务的框架》
部署大型语言模型无疑是最具挑战性的任务之一，不是因为部署团队不称职，而仅仅是由于这些类型模型的复杂性。这就是vLLM库派上用场的地方，它是由加州大学伯克利分校根据Apache许可证开发的开源库。vLLM背后的理念是使大型语言模型的服务和推理对行业和小型研究团队都能负担得起。
我们的必读文章
通过Stephen Bonifacio提供《建立对LLMs的概念直觉，例如ChatGPT — 第1部分- 神经网络，Transformer，预训练和微调》
通过谭鹏石Alvin提供《用于图像增强的生成对抗网络（GANs）》
通过Youssef Hosni提供《从14/8到20/8的一周重要计算机视觉》
如果您想在Towards AI上发布，请查看我们的指南并注册。如果符合我们的编辑政策和标准，我们将会将您的作品发布到我们的网络上。
职位提供
等待名单：导师 — 数据工程职业培训 @Springboard（兼职/远程）
中级软件工程师@Datacom（远程）
首席软件开发人员@TherapyNotes.com（远程）
软件工程师@Sonovate（远程）
领先机器学习工程师，推荐算法@Multi Media LLC（远程）
高级软件工程师，操作部署@GitHub（远程）
软件工程师 — 实习生@Bayut | dubizzle（迪拜，阿联酋）
有兴趣在这里分享工作机会吗？请联系sponsors@towardsai.net。
如果您正在准备下一次机器学习面试，请务必访问我们领先的面试准备网站confetti！
