Press "Enter" to skip to content

318 search results for "预处理"

用 NeRF 重建室内空间

Marcos Seefelder,软件工程师,以及 Daniel Duckworth,Google Research 的研究软件工程师 在选择场所时,我们经常遇到以下问题:这家餐厅是否适合约会的氛围?是否有好的户外座位?是否有足够的屏幕观看比赛?尽管照片和视频可能部分回答这些问题,但在无法亲自访问的情况下,它们无法取代感觉好像你在那里的体验。 交互式、照片逼真、多维度的沉浸式体验有望弥合这种差距,并重新创造空间的感觉和氛围,使用户能够自然和直观地找到他们需要的信息。为了帮助实现这一目标,Google 地图推出了 Immersive View,它使用机器学习(ML)和计算机视觉的先进技术,将数十亿个街景和航拍图像融合在一起,创建了一个丰富的数字模型。除此之外,它还在上面添加了有用的信息,例如天气、交通和场所的繁忙程度。Immersive View 提供了餐厅、咖啡馆和其他场所的室内视图,让用户可以虚拟地近距离观看,从而帮助他们自信地决定去哪里。 今天我们将描述 Immersive View 中提供这些室内视图的工作。我们基于神经放射场(NeRF),这是一种最先进的方法,用于融合照片以在神经网络中产生逼真的多维重建。我们描述了我们的 NeRF 创作流程,其中包括使用 DSLR 相机对空间进行自定义照片拍摄、图像处理和场景再现。我们利用 Alphabet 在这一领域最近的进展,设计了一种方法,其视觉保真度与之前的最新技术相匹配甚至超越。然后,这些模型被嵌入交互式的 360° 视频中,沿着策划的飞行路径,使它们可以在智能手机上使用。…

Leave a Comment

分类和定位各种形式的性骚扰

介绍 您知道性骚扰普遍性的不可避免事实是由于低报告率吗?如果受害者不报告他们经历的骚扰,那么当局如何指导人们避免受到骚扰,罪犯的行为如何改变?分类和定位各种形式的性骚扰案例研究有助于受害者以匿名方式表达自己的经历,并有助于分类受害者经历的各种类型的性骚扰,以便快速评估分类以进行证言文件的归档,并且这也有助于通过考虑已经提交的论坛的分析来提供安全预防措施。 这些安全预防措施通过提供已在该地区提交的大多数类型的性骚扰的普遍位置和罪犯的行为来为个人提供头绪。从上述预测中,个人将受益匪浅,因为它们提供见解并创造有关事件情况的意识。 学习目标 预测社会上各种骚扰的多标签分类 在数据集上使用自然语言处理技术 迭代传统的机器学习算法 实施卷积神经网络 本博客讨论了应用这些方法来解决与骚扰相关的问题 本文是数据科学博客马拉松的一部分。 业务问题 这里将受害者的故事分成三种性骚扰类型,即我们将其转换为多标签分类,因为受害者可能同时面临一种或多种性骚扰。 业务限制 由于我的案例研究是多标签分类,因此误分类不再是一个严格的对错。包含实际类别子集的预测应该被视为比不包含任何类别的预测更好,即正确预测三个标签中的两个比完全没有预测更好。我们没有任何严格的延迟问题。解释性非常重要,因为它有助于找到为什么将故事分类为一种骚扰类型。 数据集描述 数据收集自safecity在线论坛和WIN World Survey(WWS)市场研究和民意调查调查,用于收集性骚扰流行国家的数据。数据集包含两个特征。特征1-包含受害者的故事(说明),特征2包含事件发生的地理位置(位置)。 我们的类标签是多标签分类,其中包含受害者经历的三种性骚扰类型(评论、注视和触摸)。 性能度量 对于多标签分类,实例的预测是一组标签,因此,我们的预测可以完全正确、部分正确或完全不正确。这使得多标签分类器的评估比单标签分类器的评估更具挑战性。但是,对于部分正确性的评估,我们可以使用以下指标进行评估。 准确率-这里,一个实例的准确率被计算为预测正确标签与标签的总数(预测和实际)的比例。可以通过所有实例的平均值来获得整体准确性。 这些指标可以在各个类标签上计算,然后平均所有类别。这称为宏平均。或者,我们可以在所有实例和所有类标签上全局计算这些指标。这称为微平均。 我们使用宏F1分数和微F1分数作为多标签分类的指标。 汉明损失用作多标签分类的度量,该度量计算不正确预测的标签与标签的总数的比例。…

Leave a Comment

AWS Inferentia2 在 AWS Inferentia1 的基础上进行了升级,其吞吐量提高了4倍,延迟降低了10倍

机器学习(ML)模型的规模——包括大型语言模型(LLMs)和基础模型(FMs)——每年都在迅速增长,这些模型需要更快、更强大的加速器,特别是用于生成式人工智能AWS Inferentia2 从基础设计上就旨在提供更高的性能,同时降低 LLM 和生成式人工智能推断的成本在此[…]

Leave a Comment

使用Amazon SageMaker上的OpenChatkit模型构建自定义聊天机器人应用程序

开源的大型语言模型(LLMs)变得越来越流行,使研究人员、开发人员和组织能够访问这些模型以促进创新和实验这鼓励开源社区的合作,以贡献于LLMs的发展和改进开源LLMs提供了模型架构、训练过程和训练数据的透明度,这使得研究人员能够理解[…]

Leave a Comment

什么是对话式人工智能的关键区别?

介绍 在今天的世界中,您可能已经观察到,即使是孩子们也被Alexa吸引,驱使他们播放自己喜爱的音乐或电视节目。看到这些小人类使用最新技术之一而不知道它的工作原理是令人惊讶的。这就是人工智能的这个子类型的特殊之处——对话型人工智能。对话型人工智能使计算机和软件应用能够像人类一样听取、理解和回应。试试使用Microsoft的Cortana、Apple的Siri和Google的Bard来理解我们的话。或者前往OpenAI的ChatGPT,这是最新的、最轰动人心的对话型人工智能,它知道一切(直到2021年)。 在此之前,让我们先了解一下这些对话型人工智能模型是如何工作的。此外,我们将讨论它们的交流方式以及它们如何理解您的回应。 什么是对话型人工智能? 基本上,对话型人工智能是一种人工智能(AI)技术,模拟人类对话。它使计算机和软件应用程序能够使用口语/书面语言以类似于人类的方式与人类进行协作。这些系统可以以各种形式实现,例如聊天机器人、虚拟助手、语音激活智能设备和客户支持系统。 对话型人工智能如何工作? 对话型人工智能工作流程是一系列不同的过程。一个典型的对话型人工智能的工作方式如下。 交互式用户界面:它具有一个界面,用户可以输入文本。或者,ASR(自动语音识别)系统可以记录用户的语音并将其转换为文本。 自然语言处理:然后使用NLP技术从用户输入中提取意图,并将其转换为结构化数据进行分析。 自然语言理解(NLU):NLU专注于从用户的输入中提取意图和上下文。它涉及分析信息以确定用户的目标或所需操作。 自然语言生成(NLG):使用自然语言生成(NLG)生成响应进行对话。NLG用于推断上述过程并生成与人类对话的响应。 自然语言理解(NLU) 顾名思义,自然语言理解(NLU)是一种利用计算机软件理解用户输入的人工智能分支。它有助于弥合用户语言和系统处理和适当响应的能力之间的差距。 准确和上下文感知的语言理解的重要性 随着人工智能的进步,越来越多的公司在其运营中采用基于AI的技术。客户服务和管理是AI采用日益增加的领域之一。因此,能够准确分析客户情感和语言的AI正面临上升趋势。这减少了需要人类专业人员与客户互动并花费大量人力小时尝试理解他们的需求。 对话型人工智能系统中的NLU技术 NLU是所有对话型人工智能系统的重要组成部分。为了分类意图、提取实体并理解上下文,NLU技术通常与机器学习一起使用。它使用监督学习、命名实体识别和深度学习。 监督学习:通常使用带标签的训练数据进行NLU模型的训练。训练数据包括用户输入及其相应的意图和实体示例。使用这些数据,NLU模型学会识别输入和所需输出之间的模式和关系。 命名实体识别(NER):NER是一种特定的NLU技术,用于识别和分类文本中的命名实体。它提取实体,如名称、日期、组织或预定义类别。 深度学习:各种NLU任务利用循环神经网络(RNN)和变压器捕捉输入数据中更复杂的模式。它有助于有效地理解意图并提取实体。 智能虚拟助手(IVAs) 您是否与Siri、Cortana或Alexa互动过?如果是的话,那么您一定熟悉虚拟助手是什么。即使您没有,您至少也听说过它们。它们是高级对话型人工智能系统,可以模拟人类交互,协助用户完成各种任务并提供个性化的帮助。 虚拟助手在提供人类化互动方面的作用 虚拟助手在当今现实世界中有很多用途。以下是其中一些。 上下文感知:…

Leave a Comment

一位Spice Money高级数据科学家和机器学习工程师的旅程

介绍 认识Tajinder,一位经验丰富的高级数据科学家和ML工程师,在数据科学这个快速发展的领域中脱颖而出。Tajinder对于解开复杂数据集中隐藏的模式的热情推动了有影响力的结果,将原始数据转化为可操作的智能。在本文中,我们探讨Tajinder的鼓舞人心的成功故事。从卑微的开始到有影响力的人物,展示了坚定的执着、技术娴熟和真正的热情,利用数据推动实现现实世界的结果。 在领先的金融科技公司Spice Money中,Tajinder利用他的数据科学专业知识革命了业务的各个方面。他的贡献优化了内部流程,增强了客户体验,带来了收入,并推动了整体业务增长。Tajinder的经历证明了数据科学和机器学习与正确的心态和决心相结合时的巨大潜力。 图片 让我们进行高级数据科学家的面试吧! AV:请介绍一下自己。简单介绍一下你的教育经历吧。它是如何引领你走向现在的角色的? Tajinder:当然!大家好,我叫Tajinder,是一名高级数据科学家和机器学习工程师。我的教育之旅始于计算机科学的学士学位,我在这里建立了编程、算法和软件开发的坚实基础。 我开始我的职业生涯是作为一名DB开发人员,参与各种软件工程和数据工程项目。在这个角色中,我在数据库管理、查询优化以及创建报告和管理信息系统(MIS)方面积累了丰富的经验。在处理这些项目的过程中,我发现了自己对数据科学领域的浓厚兴趣。 受到对数据分析和探索的热情驱使,我决定深入研究数据科学领域。我开始了自学之旅,学习和掌握了统计分析、机器学习算法和数据可视化技术等领域的知识。为了进一步提高我的技能,我还修读了数据科学和机器学习的其他课程和认证。 随着我不断扩展自己的专业知识,我开始将自己的知识和技能应用于实际问题中。通过实践经验,我磨练了自己在数据预处理、特征工程和模型开发方面的技能。同时,我还熟练掌握了Python、R、TensorFlow和scikit-learn等工具和框架。 随着时间的推移,持续学习使我在数据科学领域承担越来越具有挑战性的角色。我参与了各种项目,从预测建模和客户细分到深度学习系统和异常检测。通过这些经验,我深入了解了数据科学流程的端到端,从数据采集和预处理到模型部署和监控。 目前的角色 作为一名高级数据科学家和ML工程师,我将我的计算机科学、软件工程和数据科学的广泛知识结合起来,设计和实施尖端解决方案。我乐于应对复杂的问题,从数据中发掘有价值的见解和知识,并开发可扩展的机器学习系统,为企业带来有意义的影响。 图片 AV:是什么激励你追求数据科学的职业?你是如何开始进入这个领域的? Tajinder:最初,我被作为DB开发人员和参与创建报告和管理信息系统(MIS)的经历吸引到数据科学领域。与数据一起工作引发了我的好奇心,并让我意识到从大型数据集中提取有价值的见解和知识的巨大潜力。我被使用数据驱动方法解决复杂问题和做出明智决策的想法所吸引。 为了开始进入数据科学领域,我采取了积极的方法。我参与自学,探索各种在线资源、教程和涵盖统计学、机器学习和数据可视化等主题的教科书。我还参加了在线课程,并追求了来自知名机构的认证,以系统化我的知识并在这个领域获得坚实的基础。 同时,我通过个人项目和参加Kaggle比赛寻求实际经验。这些平台提供了在实际场景中应用技能的机会。然后,与其他数据爱好者合作,从社区的集体知识和专业知识中学习。通过参与不同的项目,我在数据预处理、特征工程、模型开发和评估方面获得了宝贵的实践经验。 AV:您在进入数据科学领域时面临了哪些挑战?您是如何克服这些挑战的? Tajinder:在进入这个领域时,我遇到了一些挑战,其中一些与您提到的挑战相一致。让我们深入了解我的挑战以及我如何克服它们。 将问题定义为数据科学问题:最初,我很难将现实世界的问题转化为明确定义的数据科学问题。理解使用数据分析和机器学习可以解决哪些方面需要深入了解问题领域,并与领域专家合作。 为了克服这个挑战,我采取了积极主动的方法。我与主题专家、利益相关者以及在问题领域拥有专业知识的同事进行讨论。通过积极倾听和学习他们的见解,我更好地了解了问题背景,并确定了数据驱动解决方案的机会。我还寻求了经验丰富的数据科学家的指导,帮助我有效地制定问题。这种协作方法有助于弥合技术专业知识和领域知识之间的差距,使我能够更有效地识别和解决数据科学问题。 一个主要的挑战是获得概率论和统计学概念的坚实基础。为了克服这个问题,我花了大量的时间进行自学,并在Udemy上注册了课程,加深了我对统计分析和概率论的理解。 另一个障碍是获得实施机器学习解决方案的实际经验。为了解决这个问题,我参加了机器学习黑客马拉松,主要是在Kaggle和MachineHack上。…

Leave a Comment

Pandas AI:利用人工智能的力量来改变数据分析

在今天的数据驱动世界中,从大量信息中提取有价值的洞见的能力在各个行业中至关重要。人工智能(AI)在各个领域中推动了重大进展,包括数据分析。Pandas AI是流行的Python库Pandas的扩展,正在革新我们探索和理解数据的方式。本文探讨了Pandas如何使用AI和ML来塑造数据分析的未来。 通过AI自动化赋能分析师 Pandas AI通过将AI和机器学习算法纳入数据分析任务中,扩展了著名的Pandas库的功能。通过自动化重复和耗时的过程,分析师可以将重心转移到更高层次的分析和决策上,从而提高生产力和效率。 优化数据分析工作流程 数据清理、预处理和特征工程是数据分析流程中至关重要的步骤。Pandas AI通过自动化这些任务来简化它们,节省了大量时间和精力。分析师可以利用AI算法的强大功能来优化他们的工作流程并确保数据质量。 加速探索性数据分析 探索性数据分析(EDA)是发现数据中的洞见和模式的关键阶段。Pandas AI通过自动化数据探索来加速该过程,使分析师能够高效地发现隐藏的关系和异常。通过获得更深入的洞见,分析师可以做出更明智的决策。 智能缺失数据填充和特征工程 缺失数据是数据分析中常见的挑战。Pandas AI利用AI算法根据数据模式和关系智能填充缺失值。此外,它通过识别和生成捕捉数据中复杂交互和非线性的新变量来自动化特征工程。这确保了全面的分析,同时最大限度地减少了数据间隙。 与机器学习的无缝集成 Pandas AI与机器学习库无缝集成,使分析师能够构建预测模型并从数据中提取更深入的洞见。它通过自动化模型选择、超参数调整和评估来简化机器学习工作流程。分析师可以尝试不同的算法,评估它们的性能,并确定适用于他们特定问题的最准确的模型。 道德考虑和负责任的分析 虽然Pandas AI提供了巨大的潜力,但解决潜在的挑战和道德考虑是很重要的。自动化数据分析任务引发了透明度、问责和偏见等问题。分析师必须在解释和验证AI生成的结果时谨慎行事。他们仍然负责基于工具提供的洞见做出关键决策。 我们的看法 Pandas AI通过利用人工智能的力量,正在革新数据分析领域。通过自动化耗时的任务、加速数据探索和简化机器学习工作流程,Pandas AI使分析师能够高效地提取有价值的洞见。然而,负责任地使用AI至关重要,分析师必须确保结果的透明度、验证和解释。随着我们步入越来越数据中心的未来,Pandas AI将在转变数据分析方面发挥关键作用。它还将塑造我们如何利用人工智能做出有影响力的决策。

Leave a Comment

使用GraphStorm快速处理大规模企业图的机器学习:一种新的解决方案

我们很高兴地宣布,GraphStorm 0.1已经正式开源发布它是一个低代码企业级图机器学习(ML)框架,可在数天内构建、训练和部署复杂的企业级图形ML解决方案,而非数月使用GraphStorm,您可以构建直接考虑数十亿之间的关系或交互结构的解决方案

Leave a Comment

使用DeepSpeed加速PyTorch,利用基于Intel Habana Gaudi的DL1 EC2实例训练大型语言模型

训练拥有数十亿个参数的大型语言模型(LLM)可能会具有挑战性除了设计模型架构外,研究人员还需要设置先进的分布式训练技术,如混合精度支持、梯度累积和检查点对于大型模型,训练设置更加具有挑战性,因为在单个…中可用的内存有限

Leave a Comment

Can't find what you're looking for? Try refining your search: