Press "Enter" to skip to content

106 search results for "9. 结束"

如何在不依赖OpenAI或LM Studio的情况下使用AutoGen?

介绍 你准备好了吗,要在没有依赖OpenAI和LM Studio的情况下创建你的AI团队了吗?不再需要花大钱或下载应用程序。从设置llama-cpp-python到使用autogen框架探索本地LLM的强大功能。准备好在不依赖OpenAI API的情况下发挥Autogen的全部潜力了吗。 学习目标 在我们深入了解细节之前,让我们概述本文的关键学习目标: 学习如何评估和比较不同的AI库和工具。 探索llama-cpp-python作为OpenAI API的替代方案。 将所获知识应用于两个真实世界的用例:构建算法导师团队和自动化财务图表生成。 通过集成的IPython探索AutoGen改进的用户体验,实时执行代码并看到结果。 本文是数据科学博客马拉松的一部分。 认识你的工具:Llama-cpp-python,AutoGen和本地LLMs 但是你可能会问,这个技术工具包有什么特别之处?Llama-cpp-python是你在本地运行LLMs的入口,包括像LLaMA这样的大牌。就像你的电脑上有AI超级明星,而且支持不同的BLAS后端,速度超乎想象! AutoGen AutoGen是一个统一的多代理对话框架,作为使用基础模型的高级抽象。它结合了能力强大、可定制和可对话的代理,通过自动对话集成LLMs、工具和人类参与者。它使代理能够自主沟通和协作,有效地简化复杂任务并自动化工作流程。 如果你渴望深入了解AutoGen的能力,并探索它如何促进战略性的AI团队建设,不妨看看我们专门的博客:“借助AutoGen轻松实现战略性AI团队建设。”这个综合资源提供了见解、用例和更详细的介绍,展示了AutoGen如何改变你的AI开发方式。 库/工具 一些库/工具提供了一个Web服务器,旨在替代OpenAI API。 除了上述选项,还有其他选择,但最佳选择取决于你的偏好和需求。 Llama-cpp-python Llama-cpp-python是llama.cpp库的Python绑定。它通过ctypes接口提供对C API的低级访问,提供了高级Python API用于文本补全、类似OpenAI的API和LangChain兼容性。它支持多个BLAS后端以加快处理速度,也支持硬件加速。…

Leave a Comment

“Meta AI推出Seamless:一个公开可用的AI系统,实时解锁富有表现力的跨语言沟通”

自动语音翻译的新功能和改进使我们能够完成更多任务,涵盖更多语言,并且能够处理更多输入格式。然而,相较于人际交流,目前大规模自动语音翻译系统缺少使机器中介沟通自然的关键能力。 Meta AI的一项新研究提出了一系列模型,可以实现从头到尾的表达和多语言翻译。研究人员首先提出了SeamlessM4T v2,这是SeamlessM4T模型的升级版本,它是多模态的,支持几乎所有语言。这个改进的模型使用了更近期版本的UnitY2框架,其训练使用了资源较少的语言数据。通过扩展SeamlessAlign,将自动对齐了76种语言的数据,总计114,800小时。最近的两个模型,即SeamlessExpressive和SeamlessStreaming,基于SeamlessM4T v2。使用SeamlessExpressive,用户可以在保留所有语调和风格的同时进行翻译。 Meta的研究保留了用户声音的风格,同时解决了韵律(prosody)的一些尚未充分研究的特征,例如说话速度和停顿,这些特征在以前的表达性语音研究尝试中被忽视了。关于SeamlessStreaming,该提议模型不需要等待源话语完全结束才能生成延迟较低的目标翻译,而是使用了效率高的单调多头注意力(EMMA)技术。利用SeamlessStreaming,可以同时完成多种源语言和目标语言的语音转文本翻译。 团队根据一组新的和更新的现有自动度量标准来评估这些模型的韵律、延迟和稳定性。为进行人工评估,他们修改了现有的协议,以衡量对于意思保留、真实性和表达力最重要的品质。他们对性别偏见进行了全面评估,这是已知的第一个为多模态机器翻译进行红队评估的努力,也是第一个已知的检测和缓解毒性添加的系统,并使用不可听见的本地水印技术来缓解深度伪造的影响,以确保他们的模型能够负责任且安全地使用。 Seamless是第一个公开可用的能够实现表达性跨语言实时交流的系统。它结合了SeamlessExpressive和SeamlessStreaming,汇集了各个重要组成部分。总体而言,Seamless为我们提供了转变通用语音翻译器从科幻理念变为现实所需的基础技术的关键洞察。 研究人员强调,模型的准确性可能会因性别、种族或口音而有所不同,尽管我们在各种公平性角度上对我们的凭据进行了彻底测试,并在可行的情况下加入了安全保障。进一步的研究应该继续努力提高语言覆盖范围,并缩小低资源语言和高资源语言之间的性能差距,以实现通用语音翻译器。

Leave a Comment

介绍OWLv2:谷歌在零样本目标检测方面的突破

介绍 2023年即将结束,对计算机视觉界而言,令人兴奋的消息是,谷歌最近在零样本目标检测领域取得了重大进展,并发布了OWLv2。这款尖端模型现在已经在🤗 Transformers中可用,并代表着迄今为止最强大的零样本目标检测系统之一。它基于去年推出的OWL-ViT v1模型打下了坚实的基础。 在本文中,我们将介绍该模型的行为和架构,并展示如何进行推理的实践方法。让我们开始吧。 学习目标 了解计算机视觉中零样本目标检测的概念。 了解谷歌OWLv2模型背后的技术和自我训练方法。 使用OWLv2的实际方法。 本文作为Data Science Blogathon的一部分发表。 OWLv2背后的技术 OWLv2的强大能力归功于其新颖的自我训练方法。该模型在一个包含超过10亿个示例的Web规模数据集上进行了训练。为了实现这一点,作者利用了OWL-ViT v1的强大功能,使用它生成伪标签,然后用这些伪标签来训练OWLv2。 此外,该模型还在检测数据上进行了微调,从而提高了其前身OWL-ViT v1的性能。自我训练为开放世界定位提供了Web规模的训练,与目标分类和语言建模领域的趋势相呼应。 OWLv2架构 尽管OWLv2的架构与OWL-ViT相似,但其目标检测头部有一个显著的补充。现在它包括一个目标性分类器,用于预测预测框中包含物体的可能性。目标性得分提供了洞察力,并可用于独立于文本查询对预测进行排序或筛选。 零样本目标检测 零样本学习是一个新的术语,自从GenAI的趋势以来变得流行起来。它通常在大型语言模型(LLM)的微调中见到。它涉及使用一些数据对基础模型进行微调,使其扩展到新的类别。零样本目标检测是计算机视觉领域的一个改变者。它的核心是使模型能够在图像中检测物体,而无需手工注释边界框。这不仅加快了处理速度,还减少了手工注释的需求,使其对人类更具吸引力和乐趣。 如何使用OWLv2? OWLv2遵循与OWL-ViT类似的方法,但使用了更新的图像处理器Owlv2ImageProcessor。此外,该模型依赖于CLIPTokenizer对文本进行编码。Owlv2Processor是一个方便的工具,结合了Owlv2ImageProcessor和CLIPTokenizer,简化了文本编码过程。以下是使用Owlv2Processor和Owlv2ForObjectDetection进行对象检测的示例。 在此处找到完整的代码:https://github.com/inuwamobarak/OWLv2 步骤1:设置环境…

Leave a Comment

使用Amazon SageMaker改善Llama 2模型的吞吐性能

我们正处在机器学习(ML)广泛应用的令人兴奋的转折点上,我们相信大多数客户体验和应用将通过生成式人工智能得到重新创造生成式人工智能能够创造新的内容和想法,包括对话、故事、图像、视频和音乐与大多数人工智能一样,生成式人工智能是由机器学习模型驱动的,这些模型非常庞大[…]

Leave a Comment

“现金流入:‘PAYDAY 3’ 在GeForce NOW上直播”

是时候让团队重新聚在一起了 – PAYDAY 3本周在GeForce NOW上直播。 本周将有11款游戏加入云游戏库,包括《派对动物》。 完美的抢劫 未出现在图片中的:一个戴着绒毛兔子面具的团队成员。他待在家里。 PAYDAY 3是备受期待的续作,是世界上最受欢迎的合作射击游戏之一。走出退休生活,再次踏入犯罪的生活,化身为PAYDAY团队的一员 – 无论他们走到哪里,都引起同行的嫉妒和执法部门的噩梦。故事设定在团队在华盛顿特区恐怖统治结束几年后,游戏重新组合了这个团队,以应对激发他们提前退休的威胁。 升级到GeForce NOW终极会员,以最高画质完成每一次抢劫。终极会员可以在支持高达4K、每秒120帧的Gameplay的GeForce RTX 4080设备上进行流媒体播放,为您提供无缝的游戏体验,如果使用其他设备进行流媒体播放,简直就是犯罪。 游戏开始 与朋友一起在几乎任何设备上玩乐。 GFN Thursday总是有更多的动作。以下是本周GeForce NOW图书馆的全部新游戏: HumanitZ(Steam上的新游戏,9月18日发布) 派对动物(Steam上的新游戏,9月20日发布) PAYDAY 3(Steam、Epic…

Leave a Comment

Can't find what you're looking for? Try refining your search: