本周AI大事记——Louie的AI周报
本周，我们见证了LLaVA v1.5的推出，这是一个新的开源多模态模型，作为一个具备多模态能力的候选者，与GPT-4竞争。通过使用一个简单的投影矩阵将预训练的CLIP ViT-L/14视觉编码器与Vicuna LLM连接起来，获得了一个可以处理图像和文本的强大模型。该模型分为两个阶段进行训练：首先，基于CC3M的子集更新投影矩阵以实现更好的对齐，然后针对两个特定用例（Visual Chat和Science QA）对整个模型进行微调，从而在后者基准测试中获得了最先进的准确性。
该模型发布时附带了一个免费试用的演示，在多个使用案例中引起了一些关注，主要是因为它出色的多模态能力。用户分享了他们在多种用例中的体验，包括基于食物图像提供食谱、解决验证码、生成UI代码以及识别物体和动物。该模型在所有提到的任务上表现良好，是GPT-4的一个有效竞争对手。
我们很高兴在多模态领域看到一个开源模型的出现，并期待这能带来许多新应用的实验。我们现在正在等待GPT-4视觉模型和备受瞩目的Google Gemini模型的更广泛推出，以了解它们的比较结果和可能的应用领域！
– Louie Peters — Towards AI 创始人兼首席执行官
我们的关于训练和微调用于生产的LLMs的免费认证课程现在上线！
我们很高兴与Activeloop和Intel Disruptor Initiative合作，发布了Towards AI的第二门关于训练和微调用于生产的LLMs的免费认证课程。在这门课程中，您将学习培训、微调这些模型以及将它们无缝集成到AI产品中的复杂性。本课程将指导您构建一个先进高效的AI堆栈，为准备LLMs进行生产。它还涵盖了专有模型与开源模型的比较、各种LLM训练方法论以及生产部署策略等重要主题。我们还涉及到高级微调技术，如LoRA、QLoRA、SFT以及使用Cohere训练自定义模型。在Cohere和Lambda的支持下，合格参与者将获得计算资源的优惠，以便能够自行运行示例！包括大约60个课程教程、10个深度实践项目和九个配套视频的教程现在已经在课程页面上上线了。
最新热点新闻
1. Meta悄然发布了Llama 2 Long AI，它在某些任务上胜过了GPT-3.5 Turbo和Claude 2
Meta发布了Llama 2 Long，这是Llama 2的增强版本，通过对更长的训练序列进行持续预训练，以及对Rotary Positional Embedding（RoPE）进行微小更改，Llama 2 Long现在能够处理更长的信息序列，并在其模型知识库中包括更少相关信息。
微软计划于下个月推出首款AI芯片。代号”Athena”的芯片可能使微软减少对NVIDIA设计的GPU在数据中心中进行AI加速的依赖。
鉴于全球处理器供应不足用于训练AI模型，OpenAI正在考虑开发自己的AI芯片来支持ChatGPT。这一举措可能有助于减少ChatGPT目前每天高达70万美元的运营成本。OpenAI的决定可能与其合作伙伴微软有所不同，后者也在开发自己的AI芯片。
4. Stable LM 3B简介：为智能设备带来可持续、高性能的语言模型
Stability AI推出了Stable LM 3B，这是一个专为智能设备设计的高性能语言模型。该模型具有30亿个参数，超越了目前最先进的30亿个模型，并降低了运营成本和功耗。该模型使得更广泛范围的智能设备、个人电脑和边缘计算应用成为可能。
Replit将其AI功能免费提供给全部2300万以上的用户。代码补全和代码辅助功能现在默认启用。Replit还训练了一个新模型replit-code-v1.5-3b，以在此大规模推出中支持这些新功能。
五个5分钟阅读/视频，帮助你持续学习
带有注意力风陷标记的窗口注意力是解决Chat-style Large Language Models (LLMs)如Llama、Mistral、MPT、Falcon和GPT-NeoX（Pythia）在记忆限制方面常常遇到的流畅性问题的一个解决方案。该方法有效地管理注意力分数，并防止在窗口注意力期间第一个标记移出窗口时导致流畅性的损失。
2. 使用Hugging Face的PEFT库进行Prompt-Tuning的模型微调
本文探讨了使用Hugging Face的PEFT库进行提示微调的细节和应用，并提供包含两种不同模型示例的笔记本。
本文提供了借助LLM进行客户细分的全面指南。它涵盖了诸如K-means聚类、用于异常值检测的PyOD库、Elbow法和Silhouette可视化等技术，以确定最佳聚类、评估指标，并使用PCA、T-SNE和LLMs提取文本嵌入。
本文重点介绍了自定义预训练大语言模型，比如Meta的Llama和OpenAI的GPT-3.5 Turbo时可能出现的安全问题。虽然现有的安全对齐基础设施可以限制LLMs在推理时的有害行为，但在将微调权限扩展给终端用户时，它们无法覆盖安全风险。
5. 人工智能教父Geoffrey Hinton关于高级人工智能的承诺和风险
Geoffrey Hinton认为，AI系统可能比我们所知道的更聪明，机器有可能接管一切。这是他关于人工智能风险、未来、有感知能力的AI等方面对话的文字记录。
论文与存储库
来自MIT、Meta AI和卡内基梅隆大学的研究人员开发了StreamingLLM框架，该框架使LLMs具备了无限长度的语言建模能力，而无需昂贵的微调。这种高效方法使得像GPT-3和PaLM这样的模型能够处理超过400万个令牌长度的语境，通过利用注意力消减标记，显著提高性能。
这篇论文表明，响应长度的优化是RLHF在这些情景中所报道的改进的一个重要因素。它探讨了在不增加大小的情况下复制这些改进的方法，但效果各异。
3. Meta、INRIA研究人员发现明确寄存器能够消除ViT的注意力突发
Meta和INRIA的研究人员发现了一种解决视觉变换器（ViTs）注意力突发的新方法。通过引入专用的“寄存器”标记进行临时存储，可以获得更平滑的注意力地图，在ViTs中改善下游性能，并提高物体发现能力。
研究人员基于CLIP-ViT-L-336px和MLP投影显著增强了LLaVa多模态LLM。通过整合学术任务导向的VQA数据和响应提示，最终的13B检查点在各项基准上取得了卓越的性能。而且，它只需要120万个公开可用的数据，并且可以在仅一个8-A100节点上在一天内完成全面训练。
最近的一项研究表明，在语言模型中使用暂停标记可以在生成下一个标记之前进行更全面的计算，从而改善了推理任务的性能。该研究发现，在回答问题和推理等任务上获得了显著的得分提高。
喜欢这些论文和新闻摘要吗？在你的收件箱里获取每日摘要！
学习AI Together社区专栏！
每周AI播客
在这一集的“What’s AI”播客中，Louis Bouchard采访了令人惊叹的Auxane Boch。这一次，重点关注AI伦理，探索了有关AI伦理和治理的世界，深入探讨了负责任的AI实践、创新与监管之间的平衡，以及伦理在AI开发和部署中的作用。Auxane分享了公司如何在即将到来的欧盟法规下航行的见解。在YouTube上观看完整集，或在你最喜欢的流媒体平台上收听。
本周梗图！
由rucha8062 分享
Discord社区特色帖子
Dogecoin创建了InfoGPT，这是一个可以从文档中回答问题的聊天机器人。它使用了Langchain，LlamaCPP，Streamlit，ChromaDB和Sentence Transformers构建。它与PDF，TXT，CSV和DOCX文件兼容。在GitHub上查看并支持社区成员！在这个帖子中分享您的反馈和贡献。
本周人工智能投票！
TAI精选部分
本周文章
强化学习：函数逼近和深度Q网络-第4部分 by Tan Pengshi Alvin
本文将探讨两种类型的值函数逼近。第一种是通过随机梯度下降法和线性方程以及时间差异方法的递增方法。本文还讨论了流行的深度Q网络（DQN）。深度Q网络是离线策略Q学习的函数逼近扩展。
我们必读的文章
解决数据泄露：值得信赖的机器学习模型的重要考虑因素 by Mala Deep
您可能了解GANs，但您知道如何训练吗？ by Youssef Hosni
如果您想在Towards AI上发布作品，请查看我们的指南并注册。如果符合我们的编辑政策和标准，我们将在我们的网络上发布您的作品。
职位供应
Prompt Engineer — 061023 @Sirion Pte Ltd (Remote/Canada)
Machine Learning Research Scientist @Neural Magic (Remote)
Machine Learning Engineer @Callsign (London, UK)
Lead Data Scientist (WA) @Tiger Analytics (Seattle, WA, USA)
Staff Machine Learning Engineer @Clari (Remote)
Junior Developer with Python(temp) @Clarity AI (Remote)
Manager, Data Platforms @Angi (Remote)
有兴趣分享职位机会吗？联系sponsors@towardsai.net。
如果你正在为下一次机器学习面试做准备，不要犹豫，去看看我们领先的面试准备网站confetti吧！
