Tag: Technology

来自麻省理工学院和斯坦福大学的研究人员引入了一种新颖的机器学习技术，有潜力在动态环境和快速变化条件下彻底改变机器人（如无人机和自动驾驶车辆）的控制。 这种创新的方法将控制理论原则纳入机器学习过程中，从而可以创建更高效和有效的控制器。研究人员的目标是学习系统动力学内在结构，以设计出更优秀的稳定控制器。 该技术的核心是将控制导向结构整合到模型学习过程中。通过从数据中联合学习系统动力学和这些独特的控制导向结构，研究人员能够生成在真实场景中表现出色的控制器。 与传统的机器学习方法需要单独的步骤来推导或学习控制器不同，这种新方法可以直接从学习到的模型中提取出有效的控制器。此外，由于包含了这些控制导向结构，该技术在少量数据的情况下实现更好的性能，因此在快速变化的环境中特别有价值。 这种方法的灵感来自机器人学家如何利用物理学来推导简化的机器人模型。这些手动推导的模型基于系统的物理特性捕捉了基本的结构关系。然而，在复杂的系统中，手动建模变得不可行，研究人员通常使用机器学习来将模型拟合到数据上。现有方法的挑战在于它们忽视了基于控制的结构，而这对于优化控制器性能至关重要。 麻省理工学院和斯坦福大学团队的技术通过在机器学习过程中引入控制导向结构来解决这个限制。通过这样做，他们可以直接从学习到的动力学模型中提取控制器，有效地将基于物理学的方法与数据驱动的学习相结合。 在测试中，新的控制器紧密地跟随期望的轨迹，并优于各种基准方法。值得注意的是，从学习到的模型中派生的控制器几乎与使用精确系统动力学构建的基准控制器的性能相匹配。 该技术还具有数据效率高的特点，在最少的数据点上取得了出色的性能。相比之下，使用多个学习组件的其他方法在数据集较小时性能迅速下降。 这种数据效率对于机器人或无人机需要快速适应快速变化条件的场景尤其有希望，非常适合实际应用。 研究的一个值得注意的方面是其普适性。该方法可以应用于各种动力系统，包括机器人手臂和在低重力环境中运行的自由飞行航天器。 展望未来，研究人员有兴趣开发更可解释的模型，以便识别动力系统的特定信息。这可能会导致性能更好的控制器，进一步推动非线性反馈控制领域的发展。 该研究的专家们赞扬了将控制导向结构作为学习过程中的归纳偏见的贡献。这种概念创新导致了高效的学习过程，产生了具有有效、稳定和强大控制能力的动态模型。 通过在学习过程中引入控制导向结构，这种技术为更高效和有效的控制器打开了令人兴奋的可能性，使我们离机器人在复杂场景中具有出色的技能和适应性的未来更近了一步。

深度学习在各种应用领域取得了重要的进展。一个重要的贡献因素是越来越大型的数据集和模型的可用性。然而，这一趋势的一个缺点是，训练最先进的模型也变得越来越昂贵，这引起了环境问题，并对一些从业者的可访问性造成了困扰。此外，在部署过程中，直接重用预训练模型可能会导致性能下降，因为面对分布转移。研究人员已经探索了无源域自适应（SFDA）来解决这些挑战。这种技术在没有访问原始训练数据的情况下，将预训练模型适应到新的目标域。本文重点介绍了SFDA问题，并介绍了一种名为NOTELA的新方法，旨在解决音频领域（特别是生物声学）中的分布转移问题。 广泛用于鸟类物种分类的生物声学数据集（XC）包括： 聚焦录音。 在自然条件下针对个体鸟类。 通过全向麦克风获取的声景录音。 它存在独特的挑战，声景录音具有较低的信噪比，同时多只鸟类同时发声，以及环境噪音等显著的干扰因素。此外，声景录音是从不同地理位置收集的，导致标签出现极端转移，因为XC中的物种只有一小部分可能出现在特定区域。此外，源域和目标域都存在类别不平衡问题，并且由于每个录音中存在多个鸟类物种，该问题是一个多标签分类任务。 在这项研究中，Google研究人员首先评估了生物声学数据集上的几种现有SFDA方法，包括熵最小化、伪标注、降噪师生和流形正则化。评估结果显示，虽然这些方法在传统视觉任务中取得了成功，但在生物声学中的表现差异显著。在某些情况下，它们的性能甚至不如没有自适应。这个结果凸显了需要专门的方法来处理生物声学领域的独特挑战。 为了解决这个局限性，研究人员提出了一种名为NOisy student TEacher with Laplacian Adjustment（NOTELA）的新颖方法。这种新方法结合了降噪师生（DTS）方法和流形正则化（MR）技术的原则。NOTELA引入了一种向学生模型添加噪声的机制（受DTS启发），同时在特征空间中强制实施簇假设（类似于MR）。这种组合有助于稳定适应过程，并增强模型在不同领域的泛化能力。该方法将模型的特征空间作为额外的真实信息源，使其能够在具有挑战性的生物声学数据集中取得成功，并实现最先进的性能。 在生物声学领域，NOTELA在源模型之上展现出了显著的改进，并在多个测试目标域中优于其他SFDA方法。它在多标签分类的标准指标——平均精度（mAP）和类别平均精度（cmAP）方面表现出色。它在不同目标域上的显著表现，如S. Nevada（mAP 66.0，cmAP 40.0）、Powdermill（mAP 62.0，cmAP 34.7）和SSW（mAP 67.1，cmAP 42.7），突显了其在处理生物声学数据集的挑战方面的有效性。 在视觉任务的背景下，NOTELA始终展现出强大的性能，优于其他SFDA基线。它在各种视觉数据集上都取得了显著的Top-1准确率结果，包括CIFAR-10（90.5%）和S. Nevada（73.5%）。尽管在ImageNet-Sketch（29.1%）和VisDA-C（43.9%）上的表现略低，但NOTELA在处理生物声学和视觉领域的SFDA问题方面的整体有效性和稳定性是显而易见的。 https://arxiv.org/abs/2302.06658 上图显示了六个声景数据集上多标签分类测试平均精度（mAP）的演变。它将NOTELA和Dropout…

机器学习无处不在，得益于其最近的发展和新发布。随着人工智能和机器学习日益普及和对生产级机器学习模型的需求增加，发现机器学习问题并为其构建解决方案非常重要。设计模式是缩小机器学习相关问题解决方案范围的最佳方法。模式的概念有助于定义问题并找到深入的解决方案，这些解决方案可以在类似问题上重复使用任意次数。 设计模式将知识编码为全球从业者可遵循的指令。在机器学习生命周期的不同阶段使用不同的机器学习设计模式。其中一些模式用于问题框架、评估可行性或解决机器学习模型的开发或部署阶段。最近，一位名为Eugene Yan的Twitter用户在其推文中讨论了机器学习系统中的设计模式。他在推文中列出了其中的一些。 级联：级联将复杂问题分解为较简单的问题，然后使用后续模型来解决更困难或更具体的问题。所分享的例子是关于Stack Exchange，这是一个在线社区平台，他们使用级联防御来对抗垃圾邮件。它由多个层次的保护组成，用于检测和防止垃圾邮件被发布到他们的平台上，其中每个层次都专注于垃圾邮件检测的不同方面。第一道防线是当有人发布速度过快以致于不可能是人类操作时（HTTP 429错误），第二道是如果有人通过正则表达式和规则被捕获（启发式算法），第三道则是基于阴影测试的极其准确（机器学习）。级联以系统化和分层的方式工作，因此是一种有效的方法。在此处查看资源。 重构 – 重构涉及重新定义原始问题，以使其更容易解决。推文中给出的例子是关于阿里巴巴，一个大型电子商务平台，他们重新定义了连续推荐的范式，帮助预测用户可能与之互动的下一个物品。在此处查看资源。 人在回路中 – 这涉及从用户、注释服务或领域专家那里收集标签或注释，以提高机器学习模型的性能。推文中提到的示例是Stack Exchange和LinkedIn，用户可以标记垃圾邮件。这允许用户对垃圾内容提供反馈，这些反馈可以用于训练机器学习模型以更好地检测垃圾邮件并过滤出冒犯性消息。在此处查看资源。 数据增强 – 它涉及创建训练数据的合成变化，以增加大小和多样性，以提高机器学习模型的泛化能力并减少过拟合的风险。其中提到了DoorDash这个食品配送平台的例子，数据增强被用于解决准确分类和标记新菜单项的挑战，这些菜单项的训练数据有限或没有可用的数据。在此处查看资源。 数据飞轮 – 这是一个正反馈循环，通过收集更多数据来改善机器学习模型，从而吸引更多用户和数据。其中分享了特斯拉的例子，它从其汽车中收集数据，例如传感器数据、性能指标和使用模式。这些数据用于识别和标记有助于改善用于自动驾驶等任务的模型的错误。在此处查看资源。 业务规则：这涉及根据领域知识或业务需求添加一些额外的逻辑或约束，以增强或调整机器学习模型的输出。Twitter使用机器学习模型来预测用户参与度，从而调节推文在时间轴中的可见性。它还使用手动调整的权重或规则作为机器学习模型输出的约束，以将知识纳入决策过程中。在此处查看资源。 因此，机器学习系统中的设计模式可以提高模型的性能、可靠性和解释性，并帮助解决该领域的挑战。

深度学习在医疗人工智能方面取得了显著进展。然而，它面临着需要大量带注释的数据进行训练的挑战，这可能是费力且容易受到人类偏见的问题，尤其是在图像分割任务中。莫纳什大学的研究人员意识到人类注释的医学图像的有限性，并提出了一种创新的对抗学习方法来解决这个问题。他们旨在推进医学图像分析，使放射科医生和医疗专家受益。目前依赖于人工手动注释是耗时、主观和容易出错的，强调了需要替代解决方案的需求。 传统上，放射科医生和其他医学专家通过手工注释医学扫描，突出显示感兴趣的特定区域，如肿瘤或其他病变。然而，这种方法依赖于个人的主观解释，耗时且容易出错，特别是在涉及到3D医学模态（例如MRI CT）时，导致患者等待治疗的时间延长。此外，医学图像中的解剖结构（器官或组织）的轮廓需要耗时的手动输入，因为医学图像通常具有低对比度的切片和模糊的区域。 莫纳什大学的研究团队开发了一种“双视图”人工智能系统，以克服传统医学图像注释技术的局限性。这种创新方法涉及两个相互竞争的组件-一个部分模拟放射科医生的专业知识，标记医学图像；而另一个通过将其与人类放射科医生提供的有限注释扫描进行比较，评估AI生成的标签的质量。通过利用带有标签和未标记的数据，提出的AI算法提高了准确性，并在半监督学习中取得了突破性的成果。即使只有有限的注释，AI模型也可以做出明智的决策，验证初步评估，并产生更准确的诊断和治疗决策。这一进展为医学图像分析中广泛的人工注释提供了一个有前景的替代方案。 在他们的新颖的AI算法中，研究人员使用评论网络使AI系统的每个视图能够从其他理论的高置信度预测中学习。通过引入不确定性，AI系统可以有效地衡量其生成标签的质量，提高医学图像分割的准确性。为了共同学习双视图和评论家，研究人员将学习问题制定为最小最大优化，从而实现更健壮和准确的分割。 在实验中，研究人员将他们提出的方法与最先进的基线方法进行了性能比较。评估是定性和定量的，涉及到四个公共数据集，包括多种模态，如计算机断层扫描（CT）和磁共振成像（MRI）。结果表明，所提出的半监督方法在性能上超过了竞争基线，并在与全监督方法相同条件下实现了竞争性能。在三个公开可访问的医学数据集中，仅利用10%的标记数据与最近的最先进方法相比，平均改进了3%。这一结果突显了基于不确定性引导的协同训练框架在生成合理的分割掩膜、促进半自动分割过程以及推进放射科医生和医疗专家的医学图像分析方面的效率。 提出的架构 https://www.nature.com/articles/s42256-023-00682-w 莫纳什大学的研究团队开发的AI系统代表了医学图像分析方面的重大突破。通过使AI模型能够做出明智的决策和验证其评估，它有望揭示更准确的诊断和治疗决策。该团队致力于进一步研究和开发，包括将应用扩展到不同的医学图像并为放射科医生创建专用的端到端产品，展示了他们通过AI技术推进医疗保健的承诺。

有效的机器人操作不仅仅需要盲目遵守预设命令。当明显偏离正常情况时，机器人应该作出反应，并且能够从不完整的指令中推断出重要的上下文信息。部分或自生成的指令需要一种推理能力，这种推理能力需要对环境中的事物（物体、物理、其他代理等）的行为有扎实的理解。这种思考和行动方式是具有身临其境的常识推理的关键组成部分，对于机器人在现实世界中自然工作和交互是至关重要的。 与能够遵循具体的逐步指令的具体化代理相比，身临其境的常识思考领域滞后，因为后者必须学会在没有明确指令的情况下观察和行动。通过整理物品等任务可以研究身临其境的常识思考，其中代理必须识别错误放置的物品，并采取纠正措施将其放回更合适的位置。代理必须在搜索可能的物体位移位置时智能地导航和操作，识别当前场景中物体是否在其自然位置之外，并确定将物体重新定位到正确位置。物体放置的常识推理和智能存在的可取技能在这个挑战中相结合。 TIDEE是由研究团队开发的一个提议的身临其境的代理，它可以在没有指导的情况下清理它以前从未见过的空间。TIDEE是第一种类型，因为它可以扫描场景以查找不在正确位置的物品，找出在场景中放置它们的位置，然后精确地将它们移动到那里。 TIDEE调查了一个家庭周围的环境，找到错放的物品，推断出它们的可能物体上下文，将这些上下文定位在当前场景中，并将物体移回其正确位置。常识先验知识被编码在视觉搜索网络中，该网络指导代理在当前场景中寻找感兴趣的容器，以重新定位物体；ii) 视觉语义检测器可以检测到放错位置的物体；iii) 关联神经图记忆记录了事物和空间关系，为物体重新定位提出了合理的语义容器和表面。研究人员使用AI2THOR模拟环境让TIDEE清理混乱的环境。TIDEE仅通过像素和原始深度输入完成任务，而没有事先见过同一个房间，仅仅使用从不同训练家庭的收集中学到的先验知识。根据对房间布局变化的人工评估，TIDEE的性能优于除去一个或多个常识先验的模型的变体。 TIDEE可以在没有任何指导或先前接触相关地点或物体的情况下整理它从未见过的空间。TIDEE通过环顾四周的区域，识别物品并将它们标记为正常或异常来实现这一点。TIDEE利用其场景图和外部图形存储进行图推理，以推断物体不在原位时的可能容器类别。然后，它使用场景的空间语义地图来引导基于图像的搜索网络，以可能的容器类别的可能位置。 它是如何工作的？ TIDEE通过三个不同的步骤来清理房间。TIDEE首先扫描区域，并在每个时间步骤运行异常检测器，直到发现可疑物体。然后，TIDEE移动到物品所在的位置并抓取它。第二步涉及TIDEE根据场景图和联合外部图形存储推断物品的可能容器。如果TIDEE尚未识别容器，它将使用视觉搜索网络引导其对区域的探索，并建议容器可能被发现的位置。TIDEE在内存中保留先前识别物体的估计3D质心，并使用此信息进行导航和物体跟踪。 使用商用可用的物体检测器收集每个物品的视觉属性。同时，通过为物体之间的3D关系（如“旁边”，“支持”，“上方”等）提供预训练的语言模型预测，生成关系语言特征。 TIDEE包含一个神经图模块，用于在拾起物体后预测可能的物品放置点子。物品放置、从训练场景中学到的可能的上下文连接的内存图以及编码了当前场景中的物体关系配置的场景图相互作用，使模块能够正常工作。 TIDEE采用光学搜索网络，在障碍物地图中预测每个空间点上物体存在的可能性，给定语义障碍物地图和搜索类别。然后，代理程序查看它认为最有可能包含目标的那些区域。 TIDEE有两个缺点，这两个缺点都是未来研究的明显方向：它没有考虑物品的打开和关闭状态，也没有将它们的3D姿势包括在混乱和重组过程的一部分。 有可能随意散落在房间中的东西所导致的混乱可能不代表真实生活中的混乱。 TIDEE直接从像素和原始深度输入完成任务，而无需事先看到相同的房间，仅使用从不同的训练房屋集合中学习到的先验知识。根据对结果房间布局变化的人类评估，TIDEE的性能优于排除一个或多个常识先验的模型的削弱变体。简化的模型版本在可比较的房间重新布局基准测试中远远优于表现最佳的解决方案，使代理程序能够在重新布局之前观察客观状态。

视频目标跟踪（VOT）是计算机视觉研究的基石，因为在无约束的环境中追踪未知目标的意义重大。视频对象分割（VOS）是一种类似于VOT的技术，旨在识别视频中感兴趣的区域，并将其与帧的其他部分隔离开来。目前最好的视频跟踪器/分割器是通过分割掩模或边界框启动，并在大规模手动注释的数据集上进行训练的。大量的标记数据一方面隐藏了庞大的人力，另一方面，半监督的VOS在现有的初始化参数下需要一个唯一的对象掩模基本事实。 “任意分割”方法（SAM）是最近开发的用于图像分割的综合基准。得益于其可适应的提示和实时掩模计算，它可以进行交互使用。当以点、框或语言的形式提供用户友好的建议时，SAM可以返回指定图像区域的满意的分割掩模。然而，由于其缺乏时间一致性，研究人员在SAM立即应用于视频时并不看到令人瞩目的性能。 南方科技大学VIP实验室的研究人员介绍了“Track Anything”项目，为视频目标跟踪和分割创造了强大的工具。 Track Anything模型（TAM）具有直观的界面，可以在一次推理中跟踪和分割视频中的任何对象。 TAM是SAM的扩展，是一个大规模分割模型，集成了最先进的VOS模型XMem。用户可以通过交互初始化SAM（即点击对象）定义目标对象；接下来，XMem根据时间和空间对应关系对下一帧中的对象进行掩模预测。最后，SAM提供了更精确的掩模描述；用户可以在跟踪过程中暂停和纠正，一旦注意到跟踪失败。 TAM在TAM的分析中使用了DAVIS-2016验证集和DAVIS-2017测试开发集。最值得注意的是，研究结果表明TAM在具有挑战性和复杂环境中表现出色。TAM可以处理多对象分离、目标变形、尺寸变化和相机运动等问题，展示了在仅点击初始化和一轮推理下的出色跟踪和分割能力。 提出的Track Anything模型（TAM）为自适应视频跟踪和分割提供了多种选择，包括但不限于以下内容： 快速简便的视频转录： TAM可以将电影中的感兴趣区域分离出来，并允许用户选择他们想要跟踪的项目。这意味着它可以用于视频注释，如跟踪和分割视频对象。 长时间观察一个对象：由于长期跟踪在许多现实世界应用中具有重要意义，研究人员对此越来越关注。TAM的现实世界应用更加先进，因为它们可以适应长视频中频繁的镜头变换。 易于使用的视频编辑器： Track Anything模型允许我们将事物分成不同的类别。TAM的对象分割掩模使我们能够选择性地剪切或重新定位电影中的任何对象。 用于可视化和开发视频相关活动的工具箱：团队还为各种视频操作提供了可视化用户界面，包括VOS、VOT、视频修复等，以便于它们的使用。用户可以在真实场景的素材上测试他们的模型，并通过工具箱实时查看结果。