如何有效地完成3D捕获的缺失部分？这篇来自Google Research和UC Berkeley的研究论文介绍了“NeRFiller”，一种新颖的3D修补方法，解决了由于重建失败或缺乏观察而经常缺失的不完整的3D场景或物体的重建问题。该方法通过参考示例控制修补过程，从而实现精确和可定制的场景修补。NeRFiller是一种3D生成修补方法，可以增强3D捕获中的场景或物体，是改善3D重建的有效解决方案。 该研究探讨了从传统的2D修补到像LaMa这样的大规模修补技术的不同方法，涉及概率和潜在扩散模型，考虑到涉及文本或图像的3D生成方法。强调了对象去除设置的相关性，并对3D修补的各种基准和数据集进行了评估。虽然涉及视频和场景编辑的相关作品，但重点主要是现有3D场景的场景完成。 该研究解决了3D场景补全和修补的挑战，强调了3D感知和多视角一致性方法的重要性。区分了场景补全和对象去除，重点是在3D场景中生成新的内容。讨论了2D生成修补模型在3D一致图像方面的限制。所提出的NeRFiller方法利用了从文本到图像扩散模型中的网格先验现象，以增强修补中的多视角一致性。还讨论了生成3D场景和对象去除方法的相关作品。 NeRFiller是一种利用生成的2D扩散模型作为修补的方法，用于完成3D场景中的缺失区域。它解决了各种修补估计和2D模型中缺乏3D一致性的挑战。NeRFiller引入了用于显著修补结果的整合机制，并鼓励3D特性。它利用迭代的3D场景优化，将网格修补扩展到大型图像集合。对比了Masked NeRF和LaMask等基准，证明了NeRFiller的有效性。评估包括比较、新视图度量、图像质量和几何度量。 NeRFiller在3D场景完成方面表现出色，填补了缺失区域并去除了不需要的遮挡物，在3D一致性和合理性方面表现出色。与对象去除基准相比，NeRFiller在完成缺失区域方面表现优异。评估指标包括NeRF、新视图、MUSIQ图像质量和几何度量，展示了它在生成连贯和逼真的3D场景方面的有效性。 总之，NeRFiller是一款强大的3D修补工具，可以准确完成3D场景中的缺失部分。它填充间隙并去除非理想元素的能力优于对象去除基准。引入联合多视角修补进一步增强其一致性，通过在多个图像上平均噪声预测。通过与最先进的基准进行比较，NeRFiller表现出了完成用户指定的3D场景的有效性。它为根据用户定义的规范修补3D捕获中的缺失区域提供了有价值的框架。
Leave a Comment56 search results for "RFI"
从数据收集到模型部署，开发一个机器学习（ML）模型涉及到关键步骤在通过测试完善算法和确保性能之后，最后一个关键步骤是…
Leave a Comment我们已经成功地将基于扩散模型的 LoRA Hub 推断速度大大提高。这使得我们能够节省计算资源并提供更好的用户体验。 要对给定的模型进行推断，有两个步骤： 预热阶段 – 包括下载模型和设置服务（25秒）。 推断作业本身（10秒）。 通过这些改进，我们能够将预热时间从25秒减少到3秒。我们能够为数百个不同的 LoRA 提供推断服务，只需要不到 5 个 A10G GPU，同时用户请求的响应时间从 35 秒减少到 13 秒。 让我们更详细地讨论如何利用在 Diffusers 库中开发的一些最新功能，以一种动态方式使用单一服务为许多不同的 LoRA 提供服务。…
Leave a Comment到目前为止，在这个神经网络101系列中，我们已经讨论了两种提高神经网络性能的方法：超参数调整和更快的梯度下降优化器你可以查看那些方法…
Leave a Comment简介 有监督学习的目标是构建一个在一组新数据上表现良好的模型。问题在于您可能没有新数据，但您仍然可以通过像训练-测试-验证分割的过程来体验到这一点。 看到模型在数据集上的表现是不是很有趣？是的！专注工作的最好一面就是看到您的努力以一种良好的方式被充分利用，以创建一个高效的机器学习模型并产生有效的结果。 什么是训练-测试-验证分割？ 训练-测试-验证分割在机器学习和数据分析中非常基础，尤其在模型开发过程中。它涉及将数据集分成三个子集：训练集、测试集和验证集。训练-测试分割是一个模型验证过程，可以检查您的模型在新数据集上的表现。 训练-测试-验证分割有助于评估机器学习模型在新的未见数据上的泛化能力。它还可以防止过拟合，即模型在训练数据上表现良好，但无法泛化到新实例。通过使用验证集，实践者可以迭代地调整模型的参数，以在未见数据上获得更好的性能。 数据分割在机器学习中的重要性 数据分割涉及将数据集分成训练、验证和测试子集。数据分割在机器学习中的重要性涵盖以下几个方面： 训练、验证和测试 数据分割将数据集分成三个主要子集：训练集用于训练模型，验证集用于跟踪模型参数并避免过拟合，测试集用于检查模型在新数据上的表现。每个子集都在机器学习模型开发的迭代过程中发挥着独特的作用。 模型开发和调优 在模型开发阶段，训练集对于将算法暴露于数据中的各种模式是必要的。模型从这个子集中学习，调整其参数以最小化错误。验证集在超参数跟踪过程中很重要，有助于优化模型的配置。 过拟合预防 过拟合发生在模型在训练数据上很好地学习到了噪声和无关模式的情况下。验证集充当检查点，可以检测到过拟合的情况。通过评估模型在不同数据集上的性能，您可以调整模型的复杂性、技术或其他超参数，以防止过拟合并增强泛化能力。 性能评估 测试集对于机器学习模型的性能至关重要。在训练和验证后，模型面对测试集，检查真实世界的情况。在测试集上表现良好的模型表明它已成功适应了新的未见数据。这一步骤对于在实际应用中部署模型时获得信心非常重要。 偏差和方差评估 训练-测试-验证分割有助于理解偏差折衷。训练集提供了关于模型偏差的信息，捕捉了内在模式，而验证和测试集有助于评估方差，指示了模型对数据集中波动的敏感性。在偏差和方差之间取得适当的平衡对于实现在不同数据集上良好泛化的模型至关重要。 交叉验证提高稳健性 除了简单的训练-验证-测试分割外，像k折交叉验证这样的技术进一步增强了模型的稳健性。交叉验证涉及将数据集分成k个子集，在k-1个子集上训练模型，并在剩余一个子集上验证。这个过程重复k次，并对结果进行平均。交叉验证更全面地了解模型在数据的不同子集上的性能。 数据分割在模型性能中的重要性 数据分割在模型性能中的重要性包括以下几个方面： 模型泛化能力的评估 模型不仅应该记住训练数据，还应有很好的泛化能力。数据分割可以创建一个测试集，对模型在新数据上的表现进行真实世界的检验。如果没有专门的测试集，当模型过度适应训练数据时，过拟合的风险会增加。数据分割通过评估模型的真实泛化能力来减轻这种风险。 防止过拟合…
Leave a Comment通过这份详细指南，探索Unity中的高级Coroutine用法深入了解yielding技巧、游戏循环整合和实际应用
Leave a Comment在这篇文章中，我们将探索“检索增强生成”（RAG）的策略，这种策略可以让我们向一个大型语言模型提供最新和相关的信息我们将详细讲解理论的基础，然后…
Leave a Comment在 DockerCon 2023 主题演讲中发布了一项开创性的公告，Docker 推出了 Docker AI，这是他们的首款 AI 动力产品，旨在提升开发者的生产力。这个创新工具汇集了全球 Docker 开发者的集体知识，提供针对特定上下文的自动化指导，以简化开发流程。 Docker 进军 AI 领域代表了一次战略性举措，旨在通过为开发者提供定制的辅助工具，帮助他们应对应用程序开发的复杂性。这一发展与 Docker 为开发者提供尖端的 AI/ML 功能、内容和合作伙伴关系的广泛举措相一致，这些举措旨在将 AI/ML 无缝集成到他们的应用程序中。通过增强现有的工具、内容和服务套件，Docker 旨在提高开发者已有工作流程的效率。 团队对 AI 在代码生成中的影响表示了积极的态度，指出它在源代码编写方面具有变革性的影响。然而，Docker…
Leave a Comment在本文中，了解如何使用Dyte视频SDK、DeepAR和Web组件UI工具包构建具有AR滤镜的视频通话应用程序
Leave a Comment介绍 语言模型，简称LLM，已经席卷了自然语言处理领域。它们是强大的人工智能系统，旨在生成类似于人类的文本、理解和响应自然语言输入。本质上，它们旨在模仿人类的语言理解和生成。让我们开始一段旅程，了解微调LLM的复杂性，并探索改变领域的创新PEFT（Prompt Engineering and Fine Tuning）技术。 学习目标： 理解语言模型中微调的概念。 理解PEFT技术及其重要性。 探索有效系数选择的技术。 理解PEFT技术 首先，让我们解读这个缩略词——PEFT代表参数效率微调。但在这个背景下，参数效率意味着什么，为什么它很重要呢？ 在机器学习中，模型实质上是由数以万计的系数或权重构成的复杂数学方程。这些系数决定模型的行为，并使其能够从数据中学习。当我们训练一个机器学习模型时，我们调整这些系数以最小化误差并进行准确的预测。对于可以拥有数十亿参数的LLM来说，在训练期间改变所有参数可能会消耗大量的计算资源和内存。 这就是微调的作用。微调是将已训练好的模型进行微调，以适应特定任务的过程。它假设模型已经具备了对语言的基本理解，并专注于使其在特定领域表现出色。 作为微调的子集，PEFT严肃地考虑了参数效率。与其改变模型的所有系数，PEFT选择其中的一个子集，从而大大减少了计算和内存需求。当训练大型模型（如Falcon 7B）时，这种方法特别有用。 训练、微调和提示工程：主要区别 在深入研究PEFT之前，让我们澄清训练、微调和提示工程之间的区别。这些术语经常被互换使用，但在LLM的背景下具有特定的含义。 训练：当一个模型从头开始创建时，它经历了训练。这涉及调整模型的所有系数或权重，以学习数据中的模式和关系。这就像是将模型教授语言的基础知识。 微调：微调假设模型已经具备了对语言的基本理解（通过训练实现）。它涉及有针对性地进行调整，以使模型适应特定的任务或领域。将其视为对受过良好教育的模型进行细化，以实现特定工作，如回答问题或生成文本。 提示工程：提示工程涉及制作输入提示或问题，引导LLM提供所需的输出。它是根据您的需求定制与模型的交互方式。 PEFT在微调阶段起着重要作用，我们有选择地修改模型的系数，以提高其在特定任务上的性能。 探索LoRA和QLoRA用于系数选择 现在，让我们深入了解PEFT的核心，并了解如何高效选择系数的子集。两种技术，LoRA（低秩采用）和QLoRA（量化+低秩采用），用于实现这一目的。 LoRA（低秩采用）：LoRA是一种技术，它认识到模型中的并非所有系数都同等重要。它利用了一些权重对模型产生的影响比其他权重更大的事实。在LoRA中，通过因式分解将大型权重矩阵分为两个较小的矩阵。因子“R”决定选择了多少个系数。通过选择较小的“R”，我们减少了需要进行调整的系数数量，使微调过程更高效。…
Leave a Comment现在对于大型语言模型存在很多炒作，但这并不意味着传统的机器学习方法现在应该灭绝我怀疑如果你给ChatGPT一个数据集，它会有什么帮助……
Leave a Comment在这篇文章中，我们将探讨为什么实验编排很重要，现有的编排解决方案，如何使用MongoDB构建自己的编排器，以及在某些用例中可能有哪些好处…
Leave a Comment关于AI中“伦理”最重要的一点是它与价值观有关。伦理不告诉你什么是对的或错的，它提供了一个价值观的词汇表，透明度、安全性、公正性，并提供了优先考虑它们的框架。今年夏天，我们能够将我们对AI中的价值观的理解带给欧盟、英国和美国的立法者，帮助塑造AI监管的未来。这就是伦理的闪光之处：在还没有法律制定的情况下帮助开辟前进道路。 符合Hugging Face对开放和问责的核心价值观，我们在这里分享了我们所说和所做的一些内容。其中包括我们CEO克莱姆在美国国会作证和美国参议院AI洞察论坛上的发言；我们对欧盟AI法案的建议；我们对NTIA关于AI问责的意见；以及我们首席伦理科学家梅格在民主党代表团的意见。在许多这些讨论中，经常出现的问题是为什么AI中的开放性是有益的，我们在这里分享了我们对这个问题的回答的一些内容here。 顺应我们的核心价值观民主化，我们也花了很多时间公开演讲，并有幸与记者进行交流，以帮助解释目前AI领域的情况。这包括： 莎夏在AI的能源使用和碳排放方面的评论（The Atlantic，The Guardian，两次，New Scientist，The Weather Network，华尔街日报，两次），以及参与了华尔街日报关于这一主题的发表的一部分；对AI末日风险的看法（Bloomberg，The Times，Futurism，Sky News）；关于生成AI中的偏见的详细信息（Bloomberg，NBC，Vox）；解释边缘化工人如何为AI创建数据（The Globe and Mail，The Atlantic）；强调AI中的性别歧视（VICE）；以及在MIT Technology Review上就AI文本检测、开放模型发布和AI透明度发表见解。 内森就语言模型和开放发佈的最新进展发表评论（WIRED，VentureBeat，Business Insider，Fortune）。 梅格就AI和虚假信息发表评论（CNN，半岛电视台，纽约时报）；关于在AI中公平处理艺术家作品的需要（华盛顿邮报）；生成AI的进展及其与更大利益的关系（华盛顿邮报，VentureBeat）；通过报告解释记者如何更好地塑造AI的发展（CJR）；以及解释AI中的基本统计概念困惑度（Ars Technica）；并强调性别歧视的模式（Fast Company）。 艾琳就理解AI的监管环境发表评论（MIT Technology…
Leave a Comment这个教程提供了一个深入介绍如何使用PyTorch和其高级封装器PyTorch Lightning进行机器学习的教程本文涵盖了从安装到高级话题的关键步骤，提供了一种实践方法来构建和训练神经网络，并强调使用Lightning的好处
Leave a Comment随着机器学习（ML）进入主流并得到广泛采用，基于ML的推理应用程序在解决各种复杂业务问题方面变得越来越常见解决这些复杂业务问题通常需要使用多个ML模型和步骤本文将向您展示如何使用自定义容器构建和托管一个ML应用程序[…]
Leave a Comment在本文中，我们展示了在多云环境中利用AWS最广泛、最深入的人工智能/机器学习能力的众多选项之一我们展示了如何在AWS中构建和训练一个机器学习模型，并在另一个平台上部署该模型我们使用Amazon SageMaker训练模型，将模型工件存储在Amazon Simple Storage Service（Amazon S3）中，并在Azure中部署和运行该模型
Leave a Comment这篇文章是与VirtuSwap的Dima Zadorozhny和Fuad Babaev合作撰写的VirtuSwap是一家初创公司，专注于开发区块链上资产去中心化交换的创新技术VirtuSwap的技术为那些没有直接配对的资产提供更高效的交易方式缺乏直接配对导致间接交易成本高昂，[…]
Leave a Comment这篇文章是与来自Arup的Richard Alexander和Mark Hallows共同撰写的Arup是一个全球的设计师、顾问和专家团队，致力于可持续发展数据是Arup为客户提供服务的基础，通过世界级的数据收集和分析，提供洞察力以产生影响本文介绍的解决方案是为弹性城市的决策过程提供指导
Leave a Comment介绍 想象一个世界，人工智能可以接受音乐家的语音指令，并将其转化为美妙的、旋律优美的吉他声音。这不是科幻小说，而是源自于开源社区“AI之声”的突破性研究。在本文中，我们将探讨在生成式人工智能吉他声音的“文本到声音”领域创建大型语言模型(LLM)的旅程。我们将讨论所面临的挑战以及为实现这个愿景所开发的创新解决方案。 学习目标： 了解在“文本到声音”领域创建大型语言模型的挑战和创新解决方案。 探索在开发基于语音指令生成吉他声音的人工智能模型时面临的主要挑战。 深入了解使用ChatGPT和QLoRA模型等人工智能进展改进生成式人工智能的未来方法。 问题陈述：音乐家的意图识别 问题是使人工智能能够根据音乐家的语音指令生成吉他声音。例如，当音乐家说“给我你明亮的吉他声音”时，生成式人工智能模型应该理解意图并产生明亮的吉他声音。这需要上下文和领域特定的理解，因为像“明亮”这样的词在一般语言中有不同的含义，但在音乐领域代表特定的音色质量。 数据集挑战和解决方案 训练大型语言模型的第一步是拥有与模型的输入和期望输出相匹配的数据集。在确定正确的数据集以训练我们的LLM以理解音乐家的指令并以正确的吉他声音作出回应时，我们遇到了几个问题。以下是我们如何处理这些问题。 挑战1：吉他音乐领域数据集准备 一个重大的挑战是缺乏特定于吉他音乐的可用数据集。为了克服这个问题，团队不得不创建自己的数据集。这个数据集需要包括音乐家之间讨论吉他声音的对话，以提供上下文。他们利用了Reddit的讨论等资源，但发现需要扩大这个数据池。他们采用了数据增强、使用BiLSTM深度学习模型和生成基于上下文的增强数据集等技术。 挑战2：数据注释和创建标记数据集 第二个挑战是对数据进行注释以创建一个带有标签的数据集。像ChatGPT这样的大型语言模型通常在通用数据集上进行训练，需要对特定领域的任务进行微调。例如，“明亮”可以指光线或音乐质量。团队使用了一种名为Doccano的注释工具，教会模型正确的上下文。音乐家为乐器和音色质量给数据打上了标签。由于需要领域专业知识，注释工作具有挑战性，但团队通过应用主动学习方法对数据进行自动标注来部分解决了这个问题。 挑战3：建模作为机器学习任务-命名实体识别(NER)方法 确定正确的建模方法是另一个障碍。它应该被视为识别主题还是实体？团队确定了命名实体识别(NER)方法，因为它使模型能够识别和提取与音乐相关的实体。他们采用了spaCy的自然语言处理流水线，利用了HuggingFace的RoBERTa等转换器模型。这种方法使生成式人工智能能够在音乐领域中识别像“明亮”和“吉他”这样的词的上下文，而不是它们的一般含义。 模型训练的挑战和解决方案 模型训练对于开发有效和准确的人工智能和机器学习模型至关重要。然而，它通常会带来一些挑战。在我们的项目背景下，当我们训练我们的转换器模型时，我们遇到了一些独特的挑战，我们不得不找到创新的解决方案来克服这些挑战。 过拟合和内存问题 在模型训练过程中，我们遇到的主要挑战之一是过拟合。过拟合是指模型过于专注于拟合训练数据，导致在未见或真实世界数据上表现不佳。由于我们的训练数据有限，过拟合是一个真正的问题。为了解决这个问题，我们需要确保我们的模型能够在各种真实世界场景中表现良好。 为了解决这个问题，我们采用了数据增强技术。我们创建了四个不同的测试集：一个用于原始训练数据，另外三个用于在不同上下文中进行测试。在基于内容的测试集中，我们改变了整个句子，而在基于上下文的测试集中保留了音乐领域的实体。使用未见过的数据集进行测试也对验证模型的鲁棒性起到了至关重要的作用。 然而，我们的旅程并不没有遇到与内存相关的障碍。使用流行的自然语言处理库spaCy训练模型会引发内存问题。最初，由于内存限制，我们仅为评估分配了2%的训练数据。将评估集扩大到5%仍然导致内存问题。为了解决这个问题，我们将训练集分成了四部分并分别进行训练，既解决了内存问题又保持了模型的准确性。 模型性能和准确性 我们的目标是确保模型在实际场景中表现良好，并且我们所达到的准确性不仅仅是由于过拟合造成的。由于在广泛的数据上进行了预训练的大型语言模型RoBERTa，训练过程非常快速。spaCy进一步帮助我们找到了适合我们任务的最佳模型。 结果是令人鼓舞的，准确率始终超过95%。我们使用了各种测试集进行了测试，包括基于上下文和基于内容的数据集，结果准确率令人印象深刻。这证实了尽管训练数据有限，模型学习能力快速。…
Leave a Comment这本简明入门指南通过使用Docker来配置Python数据科学环境，步骤包括创建Dockerfile，构建镜像，运行容器，分享和部署镜像，以及推送到Docker Hub
Leave a Comment“Transformer在AI领域产生了重大影响，甚至在整个世界范围内都如此该架构由多个组件组成，但正如原始论文中所命名的那样，‘注意力就是一切…’”
Leave a Comment无论行业如何，数字技术在组织中越来越受欢迎，以实现业务成果、收入增长和可持续发展的改善通过…
Leave a Comment在Apache Spark中解锁最佳I/O性能深入研究分区管理、重分区、合并操作，优化您的ETL流程
Leave a Comment谈到机器学习，我们的目标是找到在未经训练的数据上进行最佳预测的机器学习模型为了实现这一目标，我们使用训练数据来训练我们的机器学习模型，然后观察其在未经训练的数据上的表现
Leave a Comment大型语言模型（LLM）的一个重要方面是这些模型用于学习的参数数量模型拥有的参数越多，它就越能理解单词和短语之间的关系这意味着拥有数十亿参数的模型具备生成各种创造性文本格式和回答开放性问题的能力
Leave a Comment你是否曾在项目之间复制和粘贴过一大段实用代码，导致相同代码的多个版本存储在不同的代码库中？或者，当存储数据的GCP存储桶名称更新后，你是否不得不向数十个项目发起拉取请求？上述情况经常发生…
Leave a Comment数据泄漏无疑是威胁数据科学家的问题，不论资历高低这种现象会影响每个人，即使是有多年经验的专业人士…
Leave a Comment介绍 Docker是一个开源平台，通过容器化简化了构建、发布和运行应用程序的过程。容器允许开发人员将应用程序及其依赖项打包，使其在不同环境中具有可移植性和一致性。这份Docker备忘单提供了重要命令和概念的快速参考指南，以有效地使用Docker。 什么是Docker？ Docker是一个容器化平台，使开发人员能够在隔离的容器中创建、部署和管理应用程序。这些容器封装了应用程序代码、运行时、库和依赖项，确保在各种系统上的一致性和效率。 了解更多：Docker入门完全指南 Docker架构 Docker遵循客户端-服务器架构： Docker客户端：允许用户与Docker守护进程进行交互的命令行工具。 Docker守护进程：负责构建、运行和管理Docker容器的后台服务。 Docker镜像：用于创建容器的只读模板。 Docker容器：运行中的Docker镜像实例。 Docker注册表：用于存储和分发Docker镜像的仓库。 安装Docker 要在您的系统上安装Docker，请按照您的操作系统的适当说明进行操作。以下是Windows和MacOS的安装步骤。 Windows 检查系统要求 Windows 10 64位：Pro、Enterprise或Education版本 BIOS/UEFI中启用硬件虚拟化（Intel VT-x/AMD-V） 下载Docker Desktop 访问Docker官方网站，下载适用于Windows的Docker Desktop安装程序。…
Leave a CommentCan't find what you're looking for? Try refining your search: