本周AI动态 – Louie
本周我们看到了LLM领域中几个新的竞争者，包括开源和闭源模型。尽管第一个版本的LLaMA模型具备了令人印象深刻的能力，但由于许可限制，其使用仅限于学术场景，这被认为是其缺点之一。现在，Meta最近发布了LLaMA 2，带有商业使用许可证。最新的模型在额外的40%数据上进行了训练，总共达到了2万亿个标记，并且具有两倍的上下文长度，达到了4096个标记。在选择的基准测试中，LLaMA 2超过了MPT和Falcon等模型。该模型将通过Amazon AWS、Microsoft Azure和Huggingface以三种不同的尺寸（7B、13B、70B）向公众提供。
在其他消息中，经过长时间的私人测试，Anthropic现在将Claude 2语言模型公开发布。它是ChatGPT的竞争对手，可通过claude.ai地址访问。据报道，该模型在巴尔考试中获得了76.5%的分数（提高了3.5%），并在GRE中排名在第90个百分位数。此外，该模型现在可通过API访问，使企业和个人可以将其作为应用程序和项目的基础。模型的评估结果显示，它在提供无害响应方面表现出色，改进了两倍。这一成就与Anthropic创始人离开OpenAI时的愿景一致。作为他们持续探索的一部分，他们目前正在调查训练对齐模型的可行性。为此，他们正在进行一项涉及训练“欺骗者”变体的实验。目标是确定模型中特定的欺骗源。
在本周初，埃隆·马斯克宣布成立了xAI，这是一家与OpenAI直接竞争的新公司。xAI的主要目标是开发人工通用智能（AGI），以更深入地了解宇宙的真实本质。该公司已经组建了一支由来自DeepMind、OpenAI、Google和Microsoft等知名机构的才华横溢的团队。目前，关于该公司的具体信息还不明确。然而，我们认为它强大的团队、资金支持和雄心意味着它很可能成为该领域的重要贡献者。
– Louie Peters — Towards AI 联合创始人兼首席执行官
热门新闻
- Anthropic发布Claude 2
Anthropic发布了Claude 2，这是一款先进的AI模型，其在Codex HumanEval和GSM8k等多项评估中超过了Claude 1.3，在编码、数学甚至巴尔考试中得分更高。此外，它在生成无害响应方面的效果也有所提高，可以处理长达100K个标记的输入。
2. 埃隆·马斯克推出AI公司xAI，旨在与OpenAI竞争
埃隆·马斯克的新AI创业公司xAI正在招募来自Google和Microsoft等科技巨头的顶尖工程师，以开发“最大好奇心”的AI。虽然与X公司分开，但xAI将与Twitter和特斯拉等公司密切合作，通过协同努力在AI领域取得突破和创新。
3. Bard的最新更新：增加功能、语言和国家
Bard是一款语言模型，已在全球范围内扩展其可用性，并支持多种语言。新功能包括听取Bard的回答、自定义其输出的语调和风格、固定和重命名过去的对话、将Python代码导出到Replit和Google Colab，并通过Google Lens集成在提示中使用图像。
4. 检测AI程序歧视非母语英语使用者
斯坦福大学的研究人员发现，超过50%的非母语使用者写的文章被标记为AI生成的，强调了需要解决非母语作者在使用AI检测器时面临的歧视问题。这对大学和职业申请以及搜索引擎算法都有影响，可能会损害学术生涯和心理健康。
5. Shutterstock扩大与OpenAI的合作，构建生成AI工具
Shutterstock宣布计划扩大与OpenAI的现有合作，为该创业公司提供AI模型的训练数据。作为回报，Shutterstock将获得对OpenAI最新技术和新的编辑功能的“优先访问”。此外，Shutterstock正在与顶级AI公司合作，通过对艺术家在训练AI方面的贡献进行补偿，努力成为生成AI领域的领军者。
五个每次只需5分钟的阅读/视频，让您持续学习
- 使用Amazon SageMaker上的QLoRA训练LLMs
本指南介绍了如何在Amazon SageMaker上使用QLoRA对大型语言模型进行微调。它强调了使用Hugging Face Transformers、Accelerate和PEFT库等工具来将预训练的语言模型适应到不同应用而无需微调所有参数的优势。它还强调了QLoRA的优点。
2.内容营销中LLMs和NLP的终极指南
NLP在内容营销中扮演着关键角色，它可以自动化内容生成，优化内容以适应搜索引擎，衡量情感，分割受众，驱动聊天机器人和虚拟助手，进行社交媒体监听，并帮助内容策划。本文概述了如何有效利用NLP来扩展内容营销。
3.开发者的提示工程和LLMs指南
本文分享了GitHub在LLMs方面的努力，以帮助开发者充分利用这项技术。它提供了LLMs运作的高级概述，并提供了构建LLMs应用程序的指导。它使用GitHub Copilot代码补全作为一个基于LLMs的应用程序的主要示例。
4.人工智能能够发明吗？
本文探讨了将专利授予人工智能系统的最新问题，引发了对将知识产权授予非人实体的法律和伦理问题的研究。
5.如何使用人工智能来完成任务：一个主观指南
越来越强大的人工智能系统以加速的速度发布。本文是对当前人工智能现状的导引，它是一篇基于作者经验的观点文章，并着重于为各种任务选择合适的工具。
论文和代码库
- Instruction Mining: 针对大型语言模型的高质量指令数据选择
本文提出了Instruct Mining，一种评估指令跟踪数据质量的线性规则。通过与使用未经筛选数据的模型相比，该方法在效果上提升了42.5%，强调了数据质量对于对LLMs进行有效指导的微调的重要性。选择过程使用了自然语言指标，如自然性、连贯性和可理解性。
2.多模态生成预训练
本文介绍了Emu，一种基于Transformer的多模态基础模型，能够在多模态环境中无缝地生成图像和文本。它可以处理各种类型的数据输入，包括图像、文本和视频，并在图像字幕生成、视觉问答和文本到图像生成等任务中超过其他大型多模态模型。
3.成为自我指导：引入早停止准则进行最小化指令调整
本文介绍了指令跟踪分数（IFS），一种检测语言模型遵循指令能力的度量指标。它有助于区分基础模型和指令模型，从而防止不必要的微调，以避免改变模型的语义。此外，研究人员观察到当IFS达到平稳状态时会发生显著的语义转变，突显了指令跟踪与模型语义之间的关系。
4.通过长步骤实现可证明更快的梯度下降
该工作通过使用计算机辅助分析技术，建立了梯度下降的可证明更快收敛速度。优化方法的收敛速度代表了在该特定优化方法的指导下模型能够多快地识别出最优解的数学极限。通过偶尔采取更大步骤可以提高循环学习率。
5. GPT4RoI：在感兴趣区域上微调大型语言模型
GPT4RoI是一种创新模型，通过融合感兴趣区域，增强了视觉语言任务。这种融合使得视觉特征和语言嵌入之间能够精确对齐，从而使用户能够通过语言和空间指令与模型进行交互。
喜欢这些论文和新闻摘要吗？在您的收件箱中获取每日摘要！
一起学习人工智能社区栏目！
每周人工智能播客
在本周的“什么是AI”播客中，Louis Bouchard采访了DeepMind的前研究工程师Aleksa Gordić，他已经开始了自己的创业之旅。他们探讨了他职业生涯的各个方面，讨论了他目前的优先事项，他在DeepMind的工作，他中途退出研究生课程，以及在没有正式学位的情况下获得机器学习软件工程师职位。Aleksa分享了他的经验，并为对人工智能感兴趣的任何人提供了有价值的见解。他强调了实践经验、参与竞赛和自学的重要性。此外，他讨论了像DeepMind这样的公司内各种角色，并强调了个人动力和强大项目组合的价值。要更深入地了解Aleksa的经历并探索人工智能世界，请在YouTube、Spotify或Apple Podcasts上收听。
本周的梗图！
梗图分享者：dimkiriakos
Discord 社区精选帖子
Operand 推出了一款开源 Python 库，用于代理集成，旨在补充现有的库，如 HF 代理 API 和 LangChain。该库作为一个框架，用于连接代理、软件系统和人类用户。它通过定义操作、回调和访问策略来实现连接、监控、控制和与代理交互。在 GitHub 上查看并支持社区成员。在此帖子中分享您对该项目的想法。
本周的 AI 投票！
在 Discord 上参与讨论。
TAI 精选部分
本周的文章
由 Youssef Hosni 撰写的《3/7 至 9/7 期间的顶级计算机视觉论文》
本文全面介绍了2023年7月第一周发表的最重要的论文，重点关注计算机视觉领域的最新研究和进展。无论您是研究人员、从业者还是爱好者，本文旨在为计算机视觉领域的最新技术和工具提供有价值的见解。
我们的必读文章
《ChatGPT Code Interpreter 现已向所有 Plus 用户开放》 by Gencay I.
《别再忽视 Julia！现在学习它，未来感谢年轻的自己》 by Bex T.
《马尔可夫链归因建模》 by Snehal Nair
如果您有兴趣在 Towards AI 上发布作品，请查看我们的指南并注册。如果符合我们的编辑政策和标准，我们将在我们的网络上发布您的作品。
职位招聘
Computronics Solutions（保加利亚索非亚）软件开发团队负责人
CoverGo（远程）初级软件质量保证工程师（手动）
Toku（智利圣地亚哥）软件工程师
UBench（比利时特尔纳乌特）Java 开发人员
Compass Education（澳大利亚霍桑）软件工程师（Java）
TherapyNotes.com（远程）高级软件开发人员
Servus Credit Union（远程）软件开发人员
有意在此发布职位机会？请联系 sponsors@towardsai.net。
如果您正在准备下一次机器学习面试，请不要犹豫，访问我们领先的面试准备网站 confetti！
