四海吧 Posts

机器学习无处不在，得益于其最近的发展和新发布。随着人工智能和机器学习日益普及和对生产级机器学习模型的需求增加，发现机器学习问题并为其构建解决方案非常重要。设计模式是缩小机器学习相关问题解决方案范围的最佳方法。模式的概念有助于定义问题并找到深入的解决方案，这些解决方案可以在类似问题上重复使用任意次数。 设计模式将知识编码为全球从业者可遵循的指令。在机器学习生命周期的不同阶段使用不同的机器学习设计模式。其中一些模式用于问题框架、评估可行性或解决机器学习模型的开发或部署阶段。最近，一位名为Eugene Yan的Twitter用户在其推文中讨论了机器学习系统中的设计模式。他在推文中列出了其中的一些。 级联：级联将复杂问题分解为较简单的问题，然后使用后续模型来解决更困难或更具体的问题。所分享的例子是关于Stack Exchange，这是一个在线社区平台，他们使用级联防御来对抗垃圾邮件。它由多个层次的保护组成，用于检测和防止垃圾邮件被发布到他们的平台上，其中每个层次都专注于垃圾邮件检测的不同方面。第一道防线是当有人发布速度过快以致于不可能是人类操作时（HTTP 429错误），第二道是如果有人通过正则表达式和规则被捕获（启发式算法），第三道则是基于阴影测试的极其准确（机器学习）。级联以系统化和分层的方式工作，因此是一种有效的方法。在此处查看资源。 重构 – 重构涉及重新定义原始问题，以使其更容易解决。推文中给出的例子是关于阿里巴巴，一个大型电子商务平台，他们重新定义了连续推荐的范式，帮助预测用户可能与之互动的下一个物品。在此处查看资源。 人在回路中 – 这涉及从用户、注释服务或领域专家那里收集标签或注释，以提高机器学习模型的性能。推文中提到的示例是Stack Exchange和LinkedIn，用户可以标记垃圾邮件。这允许用户对垃圾内容提供反馈，这些反馈可以用于训练机器学习模型以更好地检测垃圾邮件并过滤出冒犯性消息。在此处查看资源。 数据增强 – 它涉及创建训练数据的合成变化，以增加大小和多样性，以提高机器学习模型的泛化能力并减少过拟合的风险。其中提到了DoorDash这个食品配送平台的例子，数据增强被用于解决准确分类和标记新菜单项的挑战，这些菜单项的训练数据有限或没有可用的数据。在此处查看资源。 数据飞轮 – 这是一个正反馈循环，通过收集更多数据来改善机器学习模型，从而吸引更多用户和数据。其中分享了特斯拉的例子，它从其汽车中收集数据，例如传感器数据、性能指标和使用模式。这些数据用于识别和标记有助于改善用于自动驾驶等任务的模型的错误。在此处查看资源。 业务规则：这涉及根据领域知识或业务需求添加一些额外的逻辑或约束，以增强或调整机器学习模型的输出。Twitter使用机器学习模型来预测用户参与度，从而调节推文在时间轴中的可见性。它还使用手动调整的权重或规则作为机器学习模型输出的约束，以将知识纳入决策过程中。在此处查看资源。 因此，机器学习系统中的设计模式可以提高模型的性能、可靠性和解释性，并帮助解决该领域的挑战。

深度学习在医疗人工智能方面取得了显著进展。然而，它面临着需要大量带注释的数据进行训练的挑战，这可能是费力且容易受到人类偏见的问题，尤其是在图像分割任务中。莫纳什大学的研究人员意识到人类注释的医学图像的有限性，并提出了一种创新的对抗学习方法来解决这个问题。他们旨在推进医学图像分析，使放射科医生和医疗专家受益。目前依赖于人工手动注释是耗时、主观和容易出错的，强调了需要替代解决方案的需求。 传统上，放射科医生和其他医学专家通过手工注释医学扫描，突出显示感兴趣的特定区域，如肿瘤或其他病变。然而，这种方法依赖于个人的主观解释，耗时且容易出错，特别是在涉及到3D医学模态（例如MRI CT）时，导致患者等待治疗的时间延长。此外，医学图像中的解剖结构（器官或组织）的轮廓需要耗时的手动输入，因为医学图像通常具有低对比度的切片和模糊的区域。 莫纳什大学的研究团队开发了一种“双视图”人工智能系统，以克服传统医学图像注释技术的局限性。这种创新方法涉及两个相互竞争的组件-一个部分模拟放射科医生的专业知识，标记医学图像；而另一个通过将其与人类放射科医生提供的有限注释扫描进行比较，评估AI生成的标签的质量。通过利用带有标签和未标记的数据，提出的AI算法提高了准确性，并在半监督学习中取得了突破性的成果。即使只有有限的注释，AI模型也可以做出明智的决策，验证初步评估，并产生更准确的诊断和治疗决策。这一进展为医学图像分析中广泛的人工注释提供了一个有前景的替代方案。 在他们的新颖的AI算法中，研究人员使用评论网络使AI系统的每个视图能够从其他理论的高置信度预测中学习。通过引入不确定性，AI系统可以有效地衡量其生成标签的质量，提高医学图像分割的准确性。为了共同学习双视图和评论家，研究人员将学习问题制定为最小最大优化，从而实现更健壮和准确的分割。 在实验中，研究人员将他们提出的方法与最先进的基线方法进行了性能比较。评估是定性和定量的，涉及到四个公共数据集，包括多种模态，如计算机断层扫描（CT）和磁共振成像（MRI）。结果表明，所提出的半监督方法在性能上超过了竞争基线，并在与全监督方法相同条件下实现了竞争性能。在三个公开可访问的医学数据集中，仅利用10%的标记数据与最近的最先进方法相比，平均改进了3%。这一结果突显了基于不确定性引导的协同训练框架在生成合理的分割掩膜、促进半自动分割过程以及推进放射科医生和医疗专家的医学图像分析方面的效率。 提出的架构 https://www.nature.com/articles/s42256-023-00682-w 莫纳什大学的研究团队开发的AI系统代表了医学图像分析方面的重大突破。通过使AI模型能够做出明智的决策和验证其评估，它有望揭示更准确的诊断和治疗决策。该团队致力于进一步研究和开发，包括将应用扩展到不同的医学图像并为放射科医生创建专用的端到端产品，展示了他们通过AI技术推进医疗保健的承诺。

有效的机器人操作不仅仅需要盲目遵守预设命令。当明显偏离正常情况时，机器人应该作出反应，并且能够从不完整的指令中推断出重要的上下文信息。部分或自生成的指令需要一种推理能力，这种推理能力需要对环境中的事物（物体、物理、其他代理等）的行为有扎实的理解。这种思考和行动方式是具有身临其境的常识推理的关键组成部分，对于机器人在现实世界中自然工作和交互是至关重要的。 与能够遵循具体的逐步指令的具体化代理相比，身临其境的常识思考领域滞后，因为后者必须学会在没有明确指令的情况下观察和行动。通过整理物品等任务可以研究身临其境的常识思考，其中代理必须识别错误放置的物品，并采取纠正措施将其放回更合适的位置。代理必须在搜索可能的物体位移位置时智能地导航和操作，识别当前场景中物体是否在其自然位置之外，并确定将物体重新定位到正确位置。物体放置的常识推理和智能存在的可取技能在这个挑战中相结合。 TIDEE是由研究团队开发的一个提议的身临其境的代理，它可以在没有指导的情况下清理它以前从未见过的空间。TIDEE是第一种类型，因为它可以扫描场景以查找不在正确位置的物品，找出在场景中放置它们的位置，然后精确地将它们移动到那里。 TIDEE调查了一个家庭周围的环境，找到错放的物品，推断出它们的可能物体上下文，将这些上下文定位在当前场景中，并将物体移回其正确位置。常识先验知识被编码在视觉搜索网络中，该网络指导代理在当前场景中寻找感兴趣的容器，以重新定位物体；ii) 视觉语义检测器可以检测到放错位置的物体；iii) 关联神经图记忆记录了事物和空间关系，为物体重新定位提出了合理的语义容器和表面。研究人员使用AI2THOR模拟环境让TIDEE清理混乱的环境。TIDEE仅通过像素和原始深度输入完成任务，而没有事先见过同一个房间，仅仅使用从不同训练家庭的收集中学到的先验知识。根据对房间布局变化的人工评估，TIDEE的性能优于除去一个或多个常识先验的模型的变体。 TIDEE可以在没有任何指导或先前接触相关地点或物体的情况下整理它从未见过的空间。TIDEE通过环顾四周的区域，识别物品并将它们标记为正常或异常来实现这一点。TIDEE利用其场景图和外部图形存储进行图推理，以推断物体不在原位时的可能容器类别。然后，它使用场景的空间语义地图来引导基于图像的搜索网络，以可能的容器类别的可能位置。 它是如何工作的？ TIDEE通过三个不同的步骤来清理房间。TIDEE首先扫描区域，并在每个时间步骤运行异常检测器，直到发现可疑物体。然后，TIDEE移动到物品所在的位置并抓取它。第二步涉及TIDEE根据场景图和联合外部图形存储推断物品的可能容器。如果TIDEE尚未识别容器，它将使用视觉搜索网络引导其对区域的探索，并建议容器可能被发现的位置。TIDEE在内存中保留先前识别物体的估计3D质心，并使用此信息进行导航和物体跟踪。 使用商用可用的物体检测器收集每个物品的视觉属性。同时，通过为物体之间的3D关系（如“旁边”，“支持”，“上方”等）提供预训练的语言模型预测，生成关系语言特征。 TIDEE包含一个神经图模块，用于在拾起物体后预测可能的物品放置点子。物品放置、从训练场景中学到的可能的上下文连接的内存图以及编码了当前场景中的物体关系配置的场景图相互作用，使模块能够正常工作。 TIDEE采用光学搜索网络，在障碍物地图中预测每个空间点上物体存在的可能性，给定语义障碍物地图和搜索类别。然后，代理程序查看它认为最有可能包含目标的那些区域。 TIDEE有两个缺点，这两个缺点都是未来研究的明显方向：它没有考虑物品的打开和关闭状态，也没有将它们的3D姿势包括在混乱和重组过程的一部分。 有可能随意散落在房间中的东西所导致的混乱可能不代表真实生活中的混乱。 TIDEE直接从像素和原始深度输入完成任务，而无需事先看到相同的房间，仅使用从不同的训练房屋集合中学习到的先验知识。根据对结果房间布局变化的人类评估，TIDEE的性能优于排除一个或多个常识先验的模型的削弱变体。简化的模型版本在可比较的房间重新布局基准测试中远远优于表现最佳的解决方案，使代理程序能够在重新布局之前观察客观状态。

视频目标跟踪（VOT）是计算机视觉研究的基石，因为在无约束的环境中追踪未知目标的意义重大。视频对象分割（VOS）是一种类似于VOT的技术，旨在识别视频中感兴趣的区域，并将其与帧的其他部分隔离开来。目前最好的视频跟踪器/分割器是通过分割掩模或边界框启动，并在大规模手动注释的数据集上进行训练的。大量的标记数据一方面隐藏了庞大的人力，另一方面，半监督的VOS在现有的初始化参数下需要一个唯一的对象掩模基本事实。 “任意分割”方法（SAM）是最近开发的用于图像分割的综合基准。得益于其可适应的提示和实时掩模计算，它可以进行交互使用。当以点、框或语言的形式提供用户友好的建议时，SAM可以返回指定图像区域的满意的分割掩模。然而，由于其缺乏时间一致性，研究人员在SAM立即应用于视频时并不看到令人瞩目的性能。 南方科技大学VIP实验室的研究人员介绍了“Track Anything”项目，为视频目标跟踪和分割创造了强大的工具。 Track Anything模型（TAM）具有直观的界面，可以在一次推理中跟踪和分割视频中的任何对象。 TAM是SAM的扩展，是一个大规模分割模型，集成了最先进的VOS模型XMem。用户可以通过交互初始化SAM（即点击对象）定义目标对象；接下来，XMem根据时间和空间对应关系对下一帧中的对象进行掩模预测。最后，SAM提供了更精确的掩模描述；用户可以在跟踪过程中暂停和纠正，一旦注意到跟踪失败。 TAM在TAM的分析中使用了DAVIS-2016验证集和DAVIS-2017测试开发集。最值得注意的是，研究结果表明TAM在具有挑战性和复杂环境中表现出色。TAM可以处理多对象分离、目标变形、尺寸变化和相机运动等问题，展示了在仅点击初始化和一轮推理下的出色跟踪和分割能力。 提出的Track Anything模型（TAM）为自适应视频跟踪和分割提供了多种选择，包括但不限于以下内容： 快速简便的视频转录： TAM可以将电影中的感兴趣区域分离出来，并允许用户选择他们想要跟踪的项目。这意味着它可以用于视频注释，如跟踪和分割视频对象。 长时间观察一个对象：由于长期跟踪在许多现实世界应用中具有重要意义，研究人员对此越来越关注。TAM的现实世界应用更加先进，因为它们可以适应长视频中频繁的镜头变换。 易于使用的视频编辑器： Track Anything模型允许我们将事物分成不同的类别。TAM的对象分割掩模使我们能够选择性地剪切或重新定位电影中的任何对象。 用于可视化和开发视频相关活动的工具箱：团队还为各种视频操作提供了可视化用户界面，包括VOS、VOT、视频修复等，以便于它们的使用。用户可以在真实场景的素材上测试他们的模型，并通过工具箱实时查看结果。

导航应用是提供实时导航指引的应用程序。大多数可用的导航应用可以显示到指定位置的最快旅行路线，但这些应用不能告诉我们到目的地的最安全路线。 需要注意的是，最快的路线并不总是能够保证最高的安全水平。鉴于安全的至关重要性，全球范围内正在进行广泛的研究，以改进导航系统并实现对最安全和最高效路线的识别。 UBC的研究人员开发了一种能够导航和建议最安全路线的算法。研究团队开发了一种方法，可以使用实时碰撞风险数据在城市网络中识别最安全的可能路线。此外，这个算法还可以集成到导航应用程序中，如Google地图，使得它可以被每个人使用。 为了促进这项研究，研究团队使用了10架在希腊雅典市操作的无人机，连续多天收集了这些无人机生成的数据。他们收集的数据包括车辆位置、速度和加速度。这些信息对于识别车辆之间的近距离接触以及预测实时车辆碰撞风险非常关键。这项研究旨在开发一种实时路由算法，考虑特定路线上不同点的碰撞风险程度以及暴露在这些条件下的时间。然后将最安全的路线与最快的路线进行比较，并研究安全性和流动性之间的权衡。 这项研究的结果非常有趣。研究表明，最安全的路线相对于最快的路线更安全，安全性提高了22%，但最快的路线只比最安全的路线快11%。在许多情况下，最安全路线算法往往沿着与最快路线相同的路线行驶，在特定点处绕道以避开被识别为危险位置的地方。事实上，最安全的路线在54%的时间里也是最快的路线。研究人员表示，道路使用者在选择方向时应考虑安全性和效率的综合。 这个实验表明最快路线和最安全路线之间存在权衡。此外，这项研究为该领域的各种其他研究领域铺平了道路。未来，可以相对于其他路线来量化一个路线的安全性。 该模型的局限性在于数据仅针对一个城市在有限的时间内进行收集，可能无法准确描述交通环境变化的位置变化。因此，对于更大范围和更长时间的更多可用路线进行测试，并确定和概括安全性和流动性之间的权衡将是有益的。因此，研究人员目前正在将他们的研究范围扩展到其他城市。