四海吧 Posts

为了展示您今天使用Elixir和机器学习已经可以实现的功能，我们使用Livebook构建了一个基于Whisper的聊天应用，并将其部署到Hugging Face Spaces。只需15分钟，就可以完成所有操作，快来看看吧： 在这个聊天应用中，用户只能通过发送音频消息来进行沟通，然后Whisper机器学习模型会自动将其转换为文本。 这个应用展示了Livebook和Elixir中的机器学习生态系统的一些有趣功能： 与Hugging Face模型的集成 多人机器学习应用 并发机器学习模型服务（加分项：您还可以轻松地将模型服务分布在集群上） 如果您还不了解Livebook，它是一个用于编写交互式代码笔记本的开源工具，是Elixir用于数值计算、数据科学和机器学习的不断增长的工具集合的一部分。 Hugging Face和Elixir Elixir社区在其机器学习领域中利用了Hugging Face平台和其开源项目。以下是一些例子。 Hugging Face的第一个积极影响在Bumblebee库中得以体现，该库将Hugging Face的预训练神经网络模型引入了Elixir社区，并受到了Hugging Face Transformers的启发。除了灵感外，Bumblebee还使用Hugging Face Hub来下载其模型的参数。 另一个例子是tokenizers库，它是Hugging Face Tokenizers的Elixir绑定。 最后但并非最不重要的是，Livebook可以作为Hugging…

WWDC’23（苹果全球开发者大会）上周举行。很多新闻都集中在主题演讲中的Vision Pro发布上，但其中还有更多内容。与往年一样，WWDC周提供了超过200个技术会议，深入介绍了苹果操作系统和框架即将推出的特性。今年，我们特别关注Core ML中关于压缩和优化技术的改进。这些改进使得运行Stable Diffusion等模型更快、内存使用更少！作为一个例子，考虑以下我去年12月在iPhone 13上进行的测试，与目前使用6位调色板化速度相比： iPhone上的Stable Diffusion，去年12月和现在使用6位调色板化 目录 新的Core ML优化 使用量化和优化的Stable Diffusion模型 转换和优化自定义模型 使用少于6位 结论 新的Core ML优化 Core ML是一个成熟的框架，可以在设备上高效地运行机器学习模型，充分利用苹果设备的计算硬件：CPU、GPU和专门用于机器学习任务的神经引擎。设备上的执行正经历着一个非常有趣的时期，这是由于Stable Diffusion和带有聊天界面的大型语言模型的流行所引起的。许多人出于各种原因（包括便利性、隐私和API成本节约）希望在自己的硬件上运行这些模型。自然而然地，许多开发人员正在探索在设备上高效运行这些模型的方法，并创建新的应用和用例。对于社区来说，对实现这一目标做出贡献的Core ML改进是一个重大的消息！ Core ML优化改进包括两个不同（但相辅相成）的软件包： Core ML框架本身。这是在苹果硬件上运行ML模型的引擎，是操作系统的一部分。模型必须以框架支持的特殊格式导出，这个格式也被称为“Core…

在6月12日，Hugging Face向美国商务部NTIA的AI责任政策信息请求提交了回应。在我们的回应中，我们强调了文档和透明度规范在推动AI责任流程中的作用，以及依靠技术的众多利益相关者的全面专业知识、观点和技能来应对这项技术前所未有的增长所带来的问题。 Hugging Face的使命是“民主化良好的机器学习”。我们理解这个上下文中的“民主化”一词是指使机器学习系统不仅更容易开发和部署，而且更容易让众多利益相关者理解、审查和批评。为此，我们致力于通过教育工作、文档化、社区指南和负责任的开放方式来促进透明度和包容性，同时开发了无代码和低代码工具，以便让各种技术背景的人们能够分析机器学习数据集和模型。我们相信，这有助于所有感兴趣的人更好地理解机器学习系统的局限性，以及如何安全地利用这些系统最好地服务用户和受这些系统影响的人们。这些方法已经证明在促进问责方面非常有用，尤其是在我们帮助组织的更大型的跨学科研究项目中，包括BigScience（请参阅我们关于该项目社会利益的博客系列）和最近的BigCode项目（其治理在此处有更详细的描述）。 具体而言，我们对问责机制提出以下建议： 问责机制应当关注机器学习开发过程的所有阶段。完全依赖人工智能系统的社会影响取决于在开发的每个阶段所做的选择，这些选择是不可能完全预测的，而只关注部署阶段的评估可能会鼓励表面层次的合规性，无法解决深层次的问题，直到它们造成了重大损害。 问责机制应当将内部要求与外部访问和透明度相结合。内部要求，如良好的文档实践，塑造了更负责任的开发，并清晰地规定了开发人员在实现更安全和可靠的技术方面的责任。对内部流程和开发选择的外部访问仍然是必要的，以验证声明和文档，并赋予技术的众多利益相关者权力，这些利益相关者并不属于其开发链，但能够有意义地塑造其发展并推动他们的利益。 问责机制应当吸引最广泛的贡献者参与，包括直接从事技术开发的开发人员、跨学科研究社区、倡导组织、政策制定者和新闻工作者。理解机器学习技术迅速增长带来的变革性影响是一个超出任何单个实体能力范围的任务，将需要充分利用我们广泛的研究社区及其直接用户和受影响人口的各种技能和专业知识。 我们相信，优先考虑机器学习工件本身的透明度以及对其评估结果的透明度将对实现这些目标至关重要。您可以在此处找到我们更详细的回应，以解决这些问题。

我们非常高兴地宣布Panel和Hugging Face的合作！🎉我们在Hugging Face Spaces中集成了一个Panel模板，以帮助您开始构建Panel应用程序并轻松部署在Hugging Face上。 Panel提供了什么？ Panel是一个开源的Python库，让您可以轻松地使用Python构建强大的工具、仪表盘和复杂的应用程序。它采用了一种电池一体化的理念，让您可以轻松使用PyData生态系统、强大的数据表格等等。高级响应式API和较低级的回调式API确保您可以快速构建探索性应用程序，但如果您构建具有丰富交互性的复杂多页应用程序，也不会受到限制。Panel是HoloViz生态系统的一部分，是您进入数据探索工具连接生态系统的入口。Panel和其他HoloViz工具一样，是一个由NumFocus赞助的项目，并得到了Anaconda和Blackstone的支持。 以下是我们的用户认为Panel的一些重要特点。 Panel对各种绘图库提供广泛的支持，如Matplotlib、Seaborn、Altair、Plotly、Bokeh、PyDeck、Vizzu等等。 所有的交互在Jupyter和独立部署中都可以正常工作。Panel允许将组件从Jupyter笔记本无缝集成到仪表盘中，实现数据探索和共享结果之间的平滑过渡。 Panel赋予用户构建复杂的多页应用程序、高级交互特性、可视化大型数据集和流式实时数据的能力。 与Pyodide和WebAssembly的集成使得Panel应用程序可以在Web浏览器中无缝执行。 准备在Hugging Face上构建Panel应用程序了吗？请查阅我们的Hugging Face部署文档，点击此按钮，开始您的旅程： 🌐 加入我们的社区 Panel社区充满活力和支持，有经验丰富的开发人员和数据科学家热衷于帮助和分享他们的知识。加入我们并与我们联系： Discord Discourse Twitter LinkedIn Github

最近，在发布了Falcon 🦅并将其添加到Open LLM Leaderboard之后，Twitter上引起了一场有趣的讨论，Open LLM Leaderboard是一个比较开放访问的大型语言模型的公共排行榜。 讨论的焦点是排行榜上显示的四个评估之一：用于测量大规模多任务语言理解的基准测试（简称MMLU）。 社区对于排行榜上当前顶尖模型LLaMA的MMLU评估数据与LLaMa论文中的数据明显相差很大感到惊讶。 因此，我们决定深入研究并弄清楚发生了什么以及如何修复🕳🐇。 在我们的探索过程中，我们与LLaMA评估合作的伟大的@javier-m以及Falcon团队的了不起的@slippylolo进行了讨论。话虽如此，下面的所有错误都应归因于我们而不是他们！ 在这段与我们共同的旅程中，您将学到很多关于如何在单个评估中评估模型以及是否相信您在网上和论文中看到的数字的方法。 准备好了吗？系好安全带，我们要起飞了🚀。 什么是Open LLM Leaderboard？ 首先，注意Open LLM Leaderboard实际上只是一个包装器，运行了Eleuther AI LM Evaluation Harness这个开源基准测试库，该库由EleutherAI非盈利人工智能研究实验室创建，该实验室以创建The Pile、训练GPT-J、GPT-Neo-X 20B和Pythia而闻名。这个团队在人工智能领域有着严肃的资质！ 这个包装器在Hugging…

简介：我们需要更好的方法来评估文本到图像模型中的偏见 介绍 文本到图像（TTI）生成如今非常流行，数千个TTI模型正在上传到Hugging Face Hub。每种模态都可能受到不同来源的偏见影响，这引发了一个问题：我们如何发现这些模型中的偏见？在本博文中，我们将分享关于TTI系统中偏见来源的观点，以及解决这些偏见的工具和潜在解决方案，展示我们自己的项目和社区的其他项目。 图像生成中编码的价值观和偏见 偏见与价值观之间存在着非常密切的关系，特别是当它们嵌入到训练和查询给定文本到图像模型中使用的语言或图像中时；这种现象严重影响了我们在生成的图像中看到的结果。尽管在更广泛的人工智能研究领域中已经知道了这种关系，并且正在进行相当大的努力来解决这个问题，但是试图在单个模型中表示给定人群价值观的不断变化的本质的复杂性仍然存在。这对于发现和充分解决它们提出了持久性的伦理挑战。 例如，如果训练数据主要是英文，它们可能传达了相当西方的价值观。结果我们会得到对不同或遥远文化的刻板印象的表达。当我们比较ERNIE ViLG（左）和Stable Diffusion v2.1（右）对于相同提示“北京的一座房子”时，这种现象似乎很明显： 偏见来源 近年来，在自然语言处理（Abid等人，2021年）以及计算机视觉（Buolamwini和Gebru，2018年）领域，对于单模态AI系统中的偏见检测进行了许多重要研究。在人类构建机器学习模型的范畴内，所有机器学习模型（实际上是所有技术）都存在偏见。这可能表现为图像中某些视觉特征的过度或不足表现（例如，所有办公室工作者都系领带），或者文化和地理刻板印象的存在（例如，所有新娘都穿着白色礼服和面纱，而不是更具代表性的世界各地的新娘形象，例如穿着红色纱丽的新娘）。鉴于AI系统正在广泛应用于不同行业和工具（例如Firefly，Shutterstock）的社会技术环境中，它们尤其有可能放大现有的社会偏见和不平等。我们的目标是在下面提供一个非详尽的偏见来源列表： 训练数据中的偏见：受欢迎的多模态数据集，如用于文本到图像的LAION-5B，用于图像字幕的MS-COCO，以及用于视觉问答的VQA v2.0，已被发现包含大量偏见和有害关联（Zhao等人，2017年；Prabhu和Birhane，2021年；Hirota等人，2022年），这些偏见可能渗透到这些数据集上训练的模型中。例如，Hugging Face Stable Bias项目的初步结果显示，图像生成中缺乏多样性，并且延续了对文化和身份群体的常见刻板印象。比较CEO（右）和经理（左）的Dall-E 2生成结果，我们可以看到两者都缺乏多样性： 预训练数据过滤中的偏见：通常在用于训练模型之前对数据集进行某种形式的过滤；这引入了不同的偏见。例如，在Dall-E 2的博文中，作者发现过滤训练数据实际上可能放大偏见——他们假设这可能是由于现有数据集对于以更加性感背景呈现女性的偏见，或者由于他们使用的过滤方法本身的固有偏见。 推理中的偏见：用于指导文本到图像模型（如Stable Diffusion和Dall-E 2）的训练和推理的CLIP模型存在一些广为人知的偏见，例如将被标记为白人、中年和男性的图像视为默认情况。这可能会影响使用它进行提示编码的模型的生成结果，例如将未指定或未明确指定的性别和身份群体解释为白人和男性。 模型潜在空间中的偏见：在探索模型的潜在空间以及引导图像生成沿不同的轴线（如性别）进行生成以使生成结果更具代表性方面已经进行了初步工作（请参见下面的图像）。然而，我们需要更多的工作来更好地理解不同类型的扩散模型潜在空间的结构以及可能影响生成图像中反映的偏见的因素。…

在这篇博客文章中，我将向您展示我如何制作一个名为Doodle Dash的实时ML驱动的网页游戏，该游戏完全在您的浏览器中运行（多亏了Transformers.js）。本教程的目标是向您展示制作自己的ML驱动网页游戏有多容易…正好赶上即将到来的开源AI游戏马拉松（2023年7月9日）。如果您还没有参加游戏马拉松，请加入！ 视频：Doodle Dash演示视频 快速链接 演示： Doodle Dash 源代码： doodle-dash 参加游戏马拉松： 开源AI游戏马拉松 概述 在我们开始之前，让我们先来谈谈我们将要创建的内容。这个游戏的灵感来自于Google的Quick, Draw!游戏，您会得到一个词语，然后神经网络有20秒的时间猜测您正在画的是什么（重复6次）。实际上，我们将使用他们的训练数据来训练我们自己的草图检测模型！您是不是喜欢开源？ 😍 在我们的版本中，您将有一分钟的时间一次性画出尽可能多的物品。如果模型预测出了正确的标签，画布将被清除，然后您将得到一个新的单词。一直做下去，直到计时器结束！由于游戏在浏览器中本地运行，我们完全不必担心服务器延迟。模型能够随着您的绘画实时进行预测，每秒超过60次的预测… 🤯 太厉害了！ 本教程分为3个部分： 训练神经网络 使用Transformers.js在浏览器中运行 游戏设计 1. 训练神经网络…