Press "Enter" to skip to content

Tag: Staff

医疗景观人工智能模型列表(2023年)

鉴于人工智能(AI)在今年取得的许多进展,AI已成为2023年的一个重要讨论点并不足为奇。现在,几乎在每个领域中都可以找到AI的应用案例,其中之一就是在医疗保健和医学领域的令人兴奋和有用的应用。从药物发现到转录医学文件,甚至协助手术,它正在改变医疗专业人员的生活,还有助于减少错误并提高其效率。本文讨论了2023年几个有可能改变医学界的AI模型。 Med-PaLM 2 Med-PaLM由Google Research设计用于医学领域,能够对医学问题提供高质量的答案。该模型利用了Google的LLM的强大性能,并是其中一个在回答USMLE样式问题时达到人类专家水平的首个模型。在评估时,该模型展示了理解症状、进行复杂推理并选择适当治疗的能力。此外,它在研究中基于MedQA医学考试基准测试中取得了86.5%的准确率。尽管显示出了有前途的能力,研究人员希望进行更严格的评估,以确保该模型可以在关键安全领域部署。 Bioformer Bioformer是BERT的一个紧凑版本,可用于生物医学文本挖掘。虽然BERT在NLP应用中取得了最先进的性能,但通过减少参数可以提高计算效率,对性能的影响很小。Bioformer研究人员采用这种方法开发了一个模型,其模型尺寸比BERT大大减小(减少60%)。该模型是在PubMed摘要和PubMed Central全文文章上训练的,并使用了生物医学词汇表。研究人员发布了两个版本的模型-Bioformer8L和Bioformer16L,在命名实体识别、关系抽取、问题回答和文档分类等参数评估中表现良好,即使参数更少。 MedLM MedLM是由Google开发的一套针对医疗保健用例进行调优的基础模型。MedLM中的两个模型旨在处理复杂任务并扩展到各种任务中。这些模型的主要目的是自动化任务,以节省时间,提高效率并改善患者整体健康状况,Google的研究人员与德勤合作以试行MedLM的能力。MedLM还与其他AI系统集成,如BenchSci的ASCEND,以提高临床研究和开发的质量和速度。 RoseTTAFold RoseTTAFold是一款通过有限信息预测蛋白质结构的深度学习软件。它能够研究蛋白质序列的模式、蛋白质氨基酸的相互作用以及它们的三维结构。该模型使研究人员能够模拟蛋白质和小分子药物彼此之间的相互作用,促进药物发现研究。该模型的研究人员还公开了其代码,以造福整个社区。 AlphaFold AlphaFold是由DeepMind开发的功能强大的AI模型,可以根据蛋白质的氨基酸序列预测其三维结构。DeepMind与EMBL的欧洲生物信息研究所(EMBL-EBI)合作共同发布了一个包含超过2亿个AI生成的蛋白质结构预测结果的数据库,以促进科学研究。在CASP14中,AlphaFold在高准确性的情况下超过了其他模型,产生了令人满意的结果。此外,它具有更好地帮助研究人员理解蛋白质结构和推进生物研究的潜力。 ChatGLM-6B ChatGLM是一个双语模型(中英文),它在中文医疗对话数据库上进行了精细调整。该模型在相对较短的时间内(13小时)进行了精细调整,使其成为非常实惠且适用于医疗目的的LLM。该模型还具有更长的序列长度,因此支持更长的对话和应用程序。该模型使用了监督式精细调整、RLHF等技术进行训练,从而使其能够更好地理解人类指令。因此,该模型具有出色的对话和问答能力。 本文最初发表在MarkTechPost上,文章标题为:医疗领域人工智能模型清单(2023年)。

Leave a Comment

亚马逊研究人员利用深度学习增强用于复杂表格数据分析的神经网络

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-17-at-10.19.56-PM-1024×512.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-17-at-10.19.56-PM-150×150.png”/><p>神经网络,作为现代计算的奇迹,面对包含异质列的表格数据时遇到了重大障碍。这个挑战的实质在于网络无法有效处理表格内的多样化数据结构。为了解决这个问题,该论文探索了创新方法,以增强神经网络在处理这种复杂数据结构时的性能。</p><p>带有行和列的表格数据通常看似简单。然而,当这些列之间在性质和统计特征上有显著差异时,复杂性就出现了。传统神经网络由于对特定类型信息的固有偏向而难以理解和处理这些异质数据集。这种偏见限制了它们对表格数据中的复杂微妙之处的把握和解码能力。网络频谱偏向低频分量而非高频分量,从而进一步加剧了这个挑战。这些异质表格数据内部错综复杂的互联特征对于这些网络的把握和处理构成了一种巨大挑战。</p><p>在这篇<a href=”https://www.xiaozhuai.com/microsoft-introduces-a-new-approach-to-training-language-models-in-ai-research-the-method-mimics.html”>论文</a>中,来自亚马逊的研究人员提出了一种新方法,以克服这个挑战,该方法将表格特征转化为低频表示。这种转变技术旨在减轻神经网络的频谱偏见,使其能够捕捉嵌入在这些异质表格数据中的复杂信息所必需的高频成分。实验中对表格和图像数据集的傅里叶分量进行了严格分析,以提供关于频谱和网络解码能力的见解。所提议的解决方案的一个关键方面是在减少频率以提高网络理解力之间的微妙平衡,以及在改变数据表示时可能丧失重要信息或对优化产生负面影响的潜在风险。</p><p>该论文提供了全面的分析,说明频率减少转换对神经网络解读表格数据的影响。图表和经验数据展示了这些转换如何显著增强网络性能,特别是在解码合成数据中的目标函数方面。探索还扩展到评估常用的数据处理方法及其对频谱和后续网络学习的影响。这种细致的研究揭示了这些方法在不同数据集上的不同影响,强调了所建议的频率减少方法的卓越性能和计算效率。</p><p>论文的关键要点:</p><ul><li>神经网络在理解异质表格数据方面面临的固有挑战,包括偏见和频谱限制。</li><li>所提出的频率减少转换的方法增强了神经网络解码这些数据集内的复杂信息的能力。</li><li>全面的分析和实验验证了所提出方法在增强网络性能和计算效率方面的有效性。</li></ul>

Leave a Comment

斯坦福大学研究人员利用GLOW和IVES进行深度学习,改变了分子对接和配体结合姿势预测的方式

深度学习有潜力通过改进评分函数来增强分子对接。当前的采样协议通常需要先验信息以生成准确的配体结合位姿,这限制了评分函数的准确性。斯坦福大学的研究人员开发的两个新协议,GLOW和IVES,解决了这个挑战,展示了增强位姿采样效果的能力。通过在包括AlphaFold生成的蛋白质结构在内的各种蛋白质结构上进行基准测试,验证了这些方法。 深度学习在分子对接中通常依赖于刚性蛋白质对接数据集,忽视了蛋白质的柔性。虽然柔性对接考虑了蛋白质的柔性,但准确性较低。GLOW和IVES是解决这些局限性的高级采样协议,持续优于基准方法,尤其在动态结合口袋中。这对于提高蛋白质-配体对接中的配体位姿采样至关重要,同时也对于提高基于深度学习的评分函数的准确性至关重要。 分子对接预测在药物发现中至关重要,它可以预测配体在蛋白质结合位点的位置。传统方法在生成准确的配体位姿方面面临挑战。深度学习可以提高准确性,但依赖于有效的位姿采样。GLOW和IVES为挑战性的情景提供了改进的采样协议,提高了准确性。适用于无配体或预测蛋白质结构,包括AlphaFold生成的结构,它们提供了精选的数据集和开源Python代码。 GLOW和IVES是分子对接中的两个配体位姿采样协议。GLOW使用软化的范德华势生成配体位姿,而IVES通过合并多个蛋白质构象来提高准确性。与基准方法的性能比较表明GLOW和IVES的优越性。在交叉对接案例中,通过测试集评估正确位姿的百分比。对于有效的IVES来说,种子位姿质量至关重要,SMINA对接评分和用于选择的评分也很关键。 GLOW和IVES在准确采样配体位姿方面优于基准方法,在具有明显蛋白质构象变化的挑战性情景和AlphaFold基准测试中表现出色。对测试集的评估确认了它们正确采样的姿态的可能性更大。IVES通过生成多个蛋白质构象,在几个构象数上达到了与Schrodinger IFD-MD相媲美的几何深度学习性能。由GLOW和IVES生成的5000个蛋白质-配体对的配体位姿数据集提供了宝贵的资源,有助于开发和评估分子对接中基于深度学习的评分函数。 https://arxiv.org/abs/2312.00191 总之,GLOW和IVES是两种功能强大的位姿采样方法,相比基本技术,特别是在困难情景和AlphaFold基准测试中更加有效。IVES可以生成多个蛋白质构象,这对于几何深度学习非常有优势。此外,GLOW和IVES提供的数据集包含5000个蛋白质-配体对的配体位姿,是分子对接中基于深度学习的评分函数的研究人员的宝贵资源。

Leave a Comment

如何使用Github?逐步指南

在GitHub上注册的六个步骤 步骤 1:注册GitHub账号 访问他们的网站并点击注册按钮。 填写相关信息,包括您的用户名、电子邮件和密码。 完成后,验证您的电子邮件,您将拥有一个免费的GitHub账号,可用于代码存储库和协作。 https://docs.github.com/en/get-started/quickstart/hello-world 步骤 2:在GitHub上创建一个代码库 在GitHub上创建一个代码库 要为您的项目创建GitHub代码库,请按照以下简单的步骤进行: 1. 在任何GitHub页面的右上角点击“+”符号,然后选择“新建代码库”。 2. 在“代码库名称”框中为您的代码库命名。 3. 在“描述”框中添加简短的描述。 4. 选择您的代码库是公开还是私人。 5. 选中“添加README文件”的选项。 6. 点击“创建代码库”按钮。 此代码库可以用于组织和存储文件、与他人进行协作,并在GitHub上展示您的项目。 https://docs.github.com/en/get-started/quickstart/hello-world…

Leave a Comment

NTU研究人员发布尊尚视频:先导性的文本引导潜隐扩散技术,提升视频超分辨率

视频超分辨率旨在将低质量视频提升到高保真度,面临的挑战是解决现实世界场景中常见的多样化且复杂的退化问题。与以前关注合成或特定相机相关退化不同,该复杂性源于多个未知因素,如降采样、噪声、模糊、闪烁和视频压缩。虽然最近的基于CNN的模型在缓解这些问题方面显示出了希望,但由于有限的生成能力,它们在生成逼真纹理方面仍然存在局限性,导致过度平滑。本研究探讨了利用扩散模型来解决这些限制并增强视频超分辨率的方法。 现实世界视频增强的复杂性要求采用超越传统方法的解决方案,以应对多方面的退化问题。尽管基于CNN的模型在缓解多种退化形式方面展示出实力,但它们的局限性在于生成逼真纹理,往往导致过度平滑的输出结果。扩散模型已成为一个希望的象征,在生成高质量图像和视频方面展示出令人印象深刻的能力。然而,将这些模型应用于视频超分辨率仍然是一个艰巨的挑战,原因是扩散采样中存在固有的随机性,导致低级纹理的时间不连续性和闪烁。 为了应对这些挑战,本研究中的NTU研究人员采用了潜在扩散框架内的局部-全局时间一致性策略。在局部层面上,预训练的放大模型通过额外的时间层进行微调,整合了3D卷积和时间注意力层。这种微调显著提高了局部序列的结构稳定性,减少了纹理闪烁等问题。同时,一个新颖的流引导的循环潜在传播模块在全局层面上操作,通过逐帧传播和推断期间的潜在融合,确保了更长视频的整体稳定性。 图1:AI生成和现实世界视频的超分辨率对比。建议的Upscale-A-Video展示了出色的放大性能。通过使用正确的文本提示,它以更多的视觉逼真度和更精细的细节呈现惊人的效果。 本研究探索了创新的方向,通过引入文本提示来指导纹理生成,使模型能够产生更加逼真和高质量的细节。此外,将噪声注入输入可以增强模型对于重度或未知退化的鲁棒性,从而在恢复和生成之间实现控制。较低的噪声水平优先考虑恢复能力,而较高的噪声水平则鼓励更精细的细节生成,实现保真度和质量之间的权衡。 主要贡献在于制定了一种强大的实际视频超分辨率方法,将局部-全局时间策略结合到隐藏扩散框架中。通过整合时间一致性机制和对噪声水平和文本提示的创新控制,模型在基准测试上表现出卓越的视觉逼真度和时间连贯性,展示出了最新技术水平。

Leave a Comment

这篇AI论文通过深度学习探索大脑的蓝图:利用神经科学和snnTorch Python库教程推进神经网络

神经科学和人工智能的交叉点已经取得了非凡的进展,尤其是通过开发一款名为”snnTorch”的开源Python库。这个创新性的代码模拟了受到大脑高效数据处理方法启发的尖峰神经网络,由加州圣克鲁兹大学的团队努力而来。 在过去的四年里,该团队的Python库”snnTorch”取得了显著的发展,拥有超过10万次的下载量。它的应用不仅限于学术界,还广泛用于各种项目,包括NASA的卫星追踪工作和半导体公司的人工智能芯片优化。 IEEE会议的最新出版是对snnTorch编码库的文档化,也是一个为学生和对脑启发式人工智能感兴趣的编程爱好者量身定制的教育资源。这篇论文提供了对神经科学原则和深度学习方法相互融合的坦诚见解。 snnTorch开发团队强调尖峰神经网络的重要性,突出了它们模拟大脑高效信息处理机制的特点。他们的主要目标是将脑部的高效处理能力与人工智能的功能结合起来,从而发挥两个领域的优势。 snnTorch在大流行病期间作为一个激情项目而开始,是由团队对Python编码和优化计算芯片以提高功耗效率的渴望发起的。如今,snnTorch已成为全球许多编程项目中的基本工具,支持卫星追踪到芯片设计等各个领域的项目。 snnTorch的独特之处在于其代码以及与开发相伴的全面教育资源。团队的文档和可交互的编码材料已成为社区中宝贵的资产,为对神经形态工程和尖峰神经网络感兴趣的人提供了一个入门点。 由团队撰写的IEEE论文是snnTorch代码的全面指南。这篇论文以非传统的代码块和有主见的叙述方式,真实地描绘了神经形态计算的未定性。它意在避免学生对编程决策的理论基础不完全理解而感到沮丧。 除了作为教育资源的角色外,该论文还提供了沟通脑启发式学习机制和传统深度学习模型之间鸿沟的视角。研究人员深入探讨了将AI模型与大脑功能对齐的挑战,强调了神经网络中的实时学习和“一起发射、一起连线”这一有趣概念。 此外,团队与加州圣克鲁兹大学的基因组学研究所合作,探索脑器官oid以揭示大脑信息处理的见解。这种合作象征着生物学和计算范式的交汇,有望通过snnTorch对器官oid的仿真能力在理解以脑为灵感的计算中迈出重要一步。 研究人员的工作体现了合作精神,构建了多个领域之间的桥梁,推动脑启发式人工智能走向实际应用。通过繁荣的Discord和Slack频道专门讨论snnTorch,这一倡议继续促进产学合作,甚至影响着寻求精通snnTorch的工作描述。 加州圣克鲁兹大学的团队在脑启发式人工智能方面迈出的开创性步伐预示着一个重塑深度学习、神经科学和计算范式的变革时代。

Leave a Comment

这篇AI论文介绍了一种突破性的方法,利用多视角视频对建模3D场景动态进行建模

NVFi致力于解决理解和预测3D场景在时间上演变的复杂挑战,这对增强现实、游戏和电影制作等应用至关重要。虽然人类轻而易举地理解此类场景的物理学和几何学,但现有的计算模型难以从多视点视频中明确学习这些属性。核心问题在于现有方法(包括神经辐射场及其衍生品)不能根据学习到的物理规律提取和预测未来的运动。 NVFi的雄心是通过纯粹从多视点视频帧中派生出的分解速度场,来填补这一差距,这在以前的框架中尚未研究过。 3D场景的动态性给计算带来了深远的挑战。虽然神经辐射场的最新进展在插值观察时间范围内的视图方面表现出了非凡的能力,但它们无法学习到显式的物理特征,如物体速度。这种限制阻碍了它们准确预测未来运动模式的能力。目前的研究将物理学与神经表示结合起来,在重建场景几何、外观、速度和黏度场方面表现出了希望。然而,这些学习的物理属性通常与特定场景元素交织在一起,或者需要补充的前景分割掩码,限制了它们在场景之间的可转移性。 NVFi的开创性目标是解开和理解整个3D场景内的速度场,进一步扩展训练观察之外的预测能力。 香港理工大学的研究人员引入了一个全面的框架NVFi,包括三个基本组成部分。首先,关键帧动态辐射场促进了对3D空间中每个点的时间相关体积密度和外观的学习。其次,帧间速度场捕获了每个点的时间相关3D速度。最后,由物理知识约束增强的关键帧和帧间元素的联合优化策略组织了训练过程。该框架采用现有的时间相关NeRF架构进行动态辐射场建模时具有灵活性,同时使用相对简单的神经网络(如MLP)进行速度场建模。其核心创新在于第三个组件,联合优化策略和特定的损失函数使得无需额外的物体特定信息或掩码,能够精确学习到分解速度场。 NVFi的创新之处在于它能够纯粹从多视角视频帧中对3D场景的动态进行建模,消除了对特定对象数据或掩码的需求。它精心关注于分解速度场,这是掌控场景运动动力学的关键,它为众多应用提供了关键。在多个数据集上,NVFi展示了它在推断未来帧、语义场景分解和不同场景之间速度传递方面的能力。这些实验验证证实了NVFi在各种实际应用场景中的适应性和优越性能表现。 主要贡献和要点: 引入NVFi,一种新颖的从多视角视频中建模动态3D场景的框架,无需先验对象信息。 设计和实现了一个神经速度场,并结合联合优化策略进行有效的网络训练。 成功展示了NVFi在各种数据集上的能力,展示了在未来帧预测、语义场景分解和场景间速度传递方面的优越性能。

Leave a Comment

彻底改变癌症诊断:深度学习如何准确识别和重新分类合并肝癌,以优化治疗决策

原发性肝癌,包括肝细胞癌(HCC)和肝内胆管癌(ICCA),由于其独特的特点而带来了重大挑战。同时存在肝细胞-胆管癌混合型(cHCC-CCA),具有HCC和ICCA两者特征的患者,给临床诊断和管理带来了复杂度。这种罕见情况使得制定精确的治疗策略变得困难,从而导致不良的患者结果。为了解决这一难题,本研究探讨了人工智能(AI)在将cHCC-CCA肿瘤重新分类为纯HCC或ICCA方面的应用,旨在提供改进的预后评估和分子洞察力。 作为肝癌的一种罕见亚型,cHCC-CCA由于其肝细胞和胆管的形态融合而令病理学家困扰。这种复杂的融合常常使得诊断具有挑战性,导致临床管理存在模糊性。此外,缺乏共识指南进一步复杂化了治疗决策。这种复杂性来自于HCC和ICCA之间的模糊界限,cHCC-CCA的遗传特征类似于这两种类型,引发了关于其分子特征的争议。该研究依赖于充分利用AI作为病理图像分析中的有力工具,以区分和潜在地重新分类cHCC-CCA肿瘤为HCC或ICCA。该研究旨在揭示这种分类是否与临床预后和分子遗传模式相一致,帮助更清晰地理解cHCC-CCA。 来自全球各地的研究人员开展的这项研究采用了一个AI流程,该流程基于自监督特征提取器和基于注意力的聚合模型进行训练。这种AI框架旨在识别纯HCC和ICCA,并在发现组中展示了令人印象深刻的交叉验证接收器操作特征曲线下面积(AUROC)达到0.99,展示出两类之间的强大区分能力。随后对独立TCGA队列的验证进一步证实了模型的功效,实现了0.94的AUROC,标志着高度的泛化能力。值得注意的是,AI模型在强调类似ICCA表型的特征方面表现出很强的侧重,表明其能够识别细微的组织学细节。 AI模型在区分纯HCC和ICCA方面的能力促使我们进一步探索其在临床和分子方面的影响。这种区分为cHCC-CCA患者的精确定位和治疗个性化提供了新的可能性,可能弥合对该疾病治疗效果不佳的差距。此外,对ICCA类似特征的关注提示了模型捕捉到了细微的组织结构,与已知的ICCA的病理特征相吻合。这些发现强调了AI在指导更准确的诊断和cHCC-CCA预后标志上的潜力。 论文的关键要点: 诊断潜力:AI在将cHCC-CCA重新分类为HCC或ICCA的过程中表现出了潜在的诊断突破。 临床意义:AI驱动的分类在指导cHCC-CCA患者个性化治疗策略和预测中具有潜力。 分子洞察力:模型对类似ICCA的特征的关注提示其能够捕捉到微妙的组织结构,揭示了cHCC-CCA与已知肝癌类型之间的分子相似性。

Leave a Comment

‘长尾巴摇晃着狗尾巴:人工智能个性化艺术的意想不到后果’

“`html Meta最近在生成影片领域展现了Emu,这标志着一个转折点,技术和文化以前所未有的方式相互交汇。 Emu不仅是人工智能在创造能力上的进步,更是生成人工智能领域新时代的灯塔,它标志着我们获得信息和娱乐的潜在革命。 我们正处在生成人工智能革命的临界点上,即将改变出版和娱乐领域的基本结构。语言模型以其非凡的综合和表达信息的能力,承诺打造一座全球无与伦比的图书馆,覆盖多种语言下的各种主题。然而,这些生成信息的准确性至关重要,需要保持警惕的事实核查和审查。 将注意力转向娱乐领域,其影响是深远的。Emu所开辟的道路,生成人工智能能够从根本上改变Netflix和Amazon Prime等平台,实现以前无法想象的电影体验个性化。设想一下未来,通过一系列要点来构成电影的叙事,而算法会据此调整剧情。你的英雄命运,无论是胜利还是失败,由你决定。这不仅仅是关于偏好,而是个性化达到了高峰。我们将很快看到我们决定英雄在结局时是否死去。幸福快乐…只有我意愿为之!然而,这种个性化带来了一个重要的警示。将艺术体验根据个人口味调整的能力,有可能限制我们接触多样化的观点,导致一个过于简化和以回声室为特点的世界。 这种倾向于简化,通常被代表为“用5岁儿童的方式解释”,可能有助于初步理解,但有可能侵蚀我们对复杂问题的充分理解的丰富性和深度。爱因斯坦关于使事情尽可能简单但不过分简单的指导在这里特别适用。它强调了在保持清晰度的同时保留复杂主题的细微差别的重要性。 尽管存在潜在的陷阱,这项技术的魅力是无可否认的。它触动了我们对独特性和认可的深刻渴望,这与可定制产品如NikeId的吸引力相似。然而,危险在于让人工智能加强我们的偏见,并使我们远离具有挑战性和多样性的思想。这与创造力的本质相背离,而创造力在于与广泛的知识接触。 在人工智能领域,特别是在强化学习中,我们训练代理人在探索和利用之间取得平衡,这是我们自己的知识之旅的一种策略。然而,在与信息的互动中,我们经常限制自己只接触与我们现有信念相一致的内容。这种悖论强调了我们在应用人工智能时关键性的疏忽。 当我们站在人工智能重塑我们的世界的潜力的边缘时,我们必须考虑如何利用这个强大的工具。真正的危险不在于人工智能本身,而在于我们与之互动的方式。我们必须将人工智能视为一种促进探索和理解的催化剂,营造一个欢迎复杂性、培养智力好奇心的环境。通过这样做,人工智能能够真正成为一种力量,拓宽我们的视野,丰富集体的人类经验。 本文来源:长尾狗摇头摆尾:人工智能个性化艺术的意外后果 – MarkTechPost “`

Leave a Comment

探索AI的新领域:谷歌DeepMind的研究关于通过ReSTEM自我训练推进机器学习超越人类生成的数据

大型语言模型(LLMs)正在通过展示惊人的文本生成能力和执行各种语言任务而改变深度学习。获得高质量的与人类相关的数据是一个重大障碍,即使使用人类收集的数据进行监督微调(SFT)也能进一步提高它们在感兴趣的任务上的性能。这对需要大量资源和专业知识的复杂问题解决任务尤为困难。为了克服这一障碍,模型生成的合成数据在其质量能够得到保证的情况下被认为是一种可扩展且经济实惠的解决方案。 来自Google Deepmind和Mila的研究人员在这项研究中研究了一个更加简单的场景,其中外部的标量反馈信号作为每个生成样本的质量指标,即使LLMs能够自行评估生成的数据。研究团队提出了一种简单而有效的语言模型自训练技术,只涉及两个技能:1) 使用模型创建样本,2) 使用评分机制评估这些样本。这种方法使我们能够研究在模型创建的数据上进行训练。研究团队使用了加强自训练的命名方式,并将这种技术称为ReST𝐃𝑀,以实现统一性和清晰度。研究团队演示了如何将ReST𝐃𝑀视为使用期望最大化进行强化学习。 具体而言,ReST𝐃𝑀在以下方式上在期望和最大化阶段之间切换:1. 生成 (E-step):对于每个输入背景,语言模型产生多个输出样本。然后,研究团队通过使用二进制奖励来筛选这些样本,以收集训练数据集。2. 改进 (M-step):使用前面生成阶段的训练数据集来对原始语言模型进行监督和微调。然后,下一个生成阶段使用调整后的模型。ReST𝐃𝑀及其变体已经证明在许多领域的语言模型中提高了效能,例如机器翻译、语义解析和偏好对齐。 ReST𝐃𝑀主要在以前关于非常小型语言模型(最多7B参数)的研究中使用,对于更大的模型而言,其可扩展性有限。他们的工作旨在通过比较模型创建的合成数据的可扩展性和有效性与人类提供的数据在两个具有挑战性但研究不足的领域中: 代码生成 (APPS) 和具有竞争水平的数学问题解决 (MATH)。他们的研究结果表明,将ReST𝐃𝑀应用于不同规模的PaLM 2模型可以显著改善数学推理和代码生成能力。 令人惊讶的是,通过模型生成的人工数据进行改进的模型在性能上大幅优于以人类提供的数据训练的模型。此外,经过几个ReST𝐃𝑀周期后,改进效果会减弱,表明可能会过度拟合数量有限的训练案例。此外,使用ReST𝐃𝑀进行优化的模型增强了 pass@k 和多数投票能力。最后,这些改进的模型在类似但不同的基准测试中展现出增强的性能,包括Big-Bench Hard任务、编码(HumanEval)和算术问题(GSM8K和Hungarian HS决赛)。最后,还进行了消融研究,以调查训练问题、迭代次数和模型生成解决方案数量对ReST𝐸𝑀微调的影响。

Leave a Comment

迎接EAGLE:基于压缩的快速LLM解码的新机器学习方法

大型语言模型(LLMs)如ChatGPT在自然语言处理领域取得了巨大的革命性进展,展示了他们在各种语言相关任务中的能力。然而,这些模型面临着一个关键问题——自回归解码过程,其中每个标记都需要进行完整的前向通行。这种计算瓶颈在拥有庞大参数集的LLMs中尤为明显,在实时应用中产生了障碍,并给具有受限GPU能力的用户带来了挑战。 来自Vector Institute、滑铁卢大学和北京大学的研究人员介绍了EAGLE(Extrapolation Algorithm for Greater Language-Model Efficiency),以应对LLM解码中固有的挑战。与Medusa和Lookahead等传统方法有所不同,EAGLE采取了一种独特的方法,专注于对第二层顶层上下文特征向量的外推。与前辈们不同,EAGLE努力高效地预测后续特征向量,为文本生成提供了显著加速的突破。 EAGLE方法的核心是部署了一种轻量级插件——FeatExtrapolator。这个插件与原始LLM的冻结嵌入层一起进行训练,根据第二顶层的当前特征序列预测下一个特征。EAGLE的理论基础建立在特征向量随时间的可压缩性上,为加快标记生成铺平了道路。值得注意的是,EAGLE具有出色的性能指标;与普通解码相比,它的速度提高了三倍,比Lookahead快了一倍,并且相对于Medusa加速了1.6倍。最为关键的是,它保持了与普通解码一致性,确保了生成文本分布的保持。 https://sites.google.com/view/eagle-llm EAGLE的能力远不止于加速。它可以在标准GPU上进行训练和测试,使更广泛的用户群体能够使用。它与各种并行技术的无缝集成增加了其应用的灵活性,进一步巩固了它作为高效语言模型解码工具包中宝贵的补充的地位。 考虑到该方法对FeatExtrapolator的依赖,这是一个轻量级但功能强大的工具,与原始LLM的冻结嵌入层合作。这种合作根据第二顶层的当前特征序列预测下一个特征。EAGLE的理论基础根植于特征向量随时间的可压缩性,为更流畅的标记生成过程提供了途径。 https://sites.google.com/view/eagle-llm 传统的解码方法需要对每个标记进行完整的前向通行,而EAGLE的特征级外推提供了一个新的解决方案。研究团队的理论探索最终形成了一种方法,不仅显著加速了文本生成,而且保持了生成文本的分布的完整性——这是维护语言模型输出质量和连贯性的关键因素。 https://sites.google.com/view/eagle-llm 总结起来,EAGLE在解决LLM解码长期存在的低效问题上脱颖而出。通过巧妙地解决自回归生成的核心问题,EAGLE的研究团队提出了一种不仅能大幅加速文本生成,而且能保持分布一致性的方法。在实时自然语言处理需求激增的时代,EAGLE的创新方法使其成为前沿技术的领跑者,填补了尖端技术能力与实际应用之间的鸿沟。

Leave a Comment

这篇AI论文揭示了HiFi4G:照片级人物建模和高效渲染的突破性技术

以体积记录和真实表现4D(时空)人类表演来消除观众和表演者之间的障碍。它提供各种沉浸式的VR / AR体验,如远程呈现和远程教育。一些早期系统使用非刚性配准明确地从录制的镜头中重新创建纹理模型。然而,它们仍然容易受到遮挡和纹理缺陷的影响,从而导致重建输出中的缺口和噪音。最近的神经突破,如NeRF,通过优化基于坐标的多层感知器(MLP),而不是诉诸于显式重建,以实现照片级别的体积渲染。 某些动态NeRF变体旨在通过额外的隐式变形场保持一个规范的特征空间,用于在每帧中重现特征。然而,这样的规范设计对重要的拓扑变化或大规模运动敏感。通过平面因子化或哈希编码,最新的方法消除了变形场,并简洁地描述了4D特征网格。它们极大地加快了交互式程序渲染和训练的速度,但在运行时内存和存储问题上有待解决。最近,3D高斯点(3DGS)回归到了表示静态场景的显式范例。它基于GPU友好的3D高斯基元的光栅化,实现了以前无法实现的实时高质量辐射场渲染。一些正在进行的项目修改3DGS以适应动态设置。 一些集中在捕捉动态高斯的非刚性运动,但在过程中失去渲染质量。其他的失去了原始3DGS的明确和GPU友好的优雅,并且不能处理长期运动,因为它们使用额外的隐式变形场来填补运动信息。在本研究中,上海科技大学、NeuDim、字节跳动和DGene的研究团队介绍了HiFi4G,这是一种完全明确且紧凑的基于高斯的方法,用于从密集视频中重现高保真度的4D人类表演(参见图1)。他们的主要概念是将非刚性跟踪与3D高斯表示相结合,将运动和外观数据分离,以实现紧凑和压缩友好的表示。HiFi4G在当前隐式渲染技术的优化速度、渲染质量和存储开销方面表现出色。 图1展示了我们的高分辨率紧凑高斯点光栅。HiFi4G将经典的非刚性融合技术与多视角人类表演视频的可微光栅化进展相结合,有效生成紧凑的4D资产。 借助明确表示的帮助,他们的结果也可以轻松集成到基于GPU的光栅化流水线中,让用户在佩戴VR头盔时见证高保真度的虚拟现实人类表演。研究团队首先提供了一个由细粒度高斯和粗略变形图组成的双图技术,以自然地将高斯表示与非刚性跟踪连接起来。对于前者,研究团队使用NeuS2在使用嵌入式变形(ED)以关键帧的方式之前为每帧创建几何代理。这种明确的跟踪技术将序列分成若干部分,在每个片段内提供丰富的运动先验。类似于关键体积更新,研究团队通过使用3DGS从先前的片段减去错误的高斯并更新新的高斯来限制当前片段中的高斯数量。 接下来,研究团队构建了一个细粒度的高斯图,以通过从粗略的ED网络中插值每个高斯运动进一步初始化。通过简单地将高斯图与ED图弯曲并转换到屏幕空间,会导致严重的不自然扭曲;而持续优化而没有任何限制则会产生抖动的伪影。为了适当地平衡高斯特征的更新和非刚性运动先验,研究团队建议了一个4D高斯优化方法。研究团队使用时态正则化器确保每个高斯的外观属性的一致性,例如不透明度、缩放系数和球面谐波(SH)。研究团队建议对动态特性(位置和旋转)进行平滑处理,以在相邻高斯之间生成尽可能刚性的移动。 为了惩罚那些展示出小型、非刚性运动的区域上的闪烁瑕疵,这些正则化器添加了自适应加权机制。研究团队在优化后生成了时空紧凑的四维高斯模型。研究团队提出了一种伴随压缩技术,该技术采用了常规的残差校正、量化和熵编码,用于对高斯参数进行处理,以使其HiFi4G对消费者有用。每帧具有显著的压缩比约为25倍,并且仅需要不到2MB的存储空间,使其能够在各种设备上进行沉浸式观测,包括虚拟现实头显设备。 简而言之,他们的主要贡献包括以下几点: • 研究团队引入了一种紧凑的四维高斯模型,将高斯飞溅与非刚性跟踪相连接,用于人体表演渲染。 • 研究团队提供了一种双图结构方法,可以有效地恢复具有空间时间一致性的四维高斯模型,采用不同的正则化设计。 • 研究团队提供了一种互补的压缩方法,可以在多个平台上实现低存储的沉浸式人体表演体验。

Leave a Comment

字节跳动研究人员推出“ImageDream”:一种创新的图像提示和多视图扩散模型,用于三维物体生成

正如谚语所说,“一张图片胜过千言万语”,将图像作为3D制作的第二种方式相对于仅使用文本的系统具有重大优势。图像主要提供了详细、丰富的视觉信息,而语言可能只能部分或无法完全描述。例如,一张图片可以清晰、立即地表达细微的特征,如纹理、颜色和空间连接,但是词语描述可能需要帮助才能完全表示相同的细节级别或使用非常长的解释。因为系统可以直接参考实际的视觉线索,而不是解释各种复杂性和主观性的书面描述,这种视觉特定性有助于产生更准确、更详细的3D模型。 此外,用户可以更简单、直接地通过使用视觉方式来解释其预期结果,特别适用于那些难以用文字表达他们的想象的人。这种多模式方法可以满足更广泛的创意和实际应用需求,将文本的情境深度与视觉数据的丰富性结合起来,提供更可靠、用户友好和高效的3D制作过程。然而,使用照片作为3D物体开发的替代方式也存在一些困难。与文本相比,图像具有更多的元素,如颜色、纹理和空间连接,这使得它们更难以使用单一编码器(例如CLIP)进行正确分析和理解。 此外,物体在光线、形状或自遮挡方面的显著变化可能导致视图合成更精确、一致,从而提供不完整或模糊的3D模型。由于图像处理的复杂性,需要采用先进的、计算密集的技术有效解码视觉信息并确保在多个视角下外观一致。研究人员使用各种扩散模型方法将2D项目图像转化为3D模型,如Zero123和其他最新的努力。图像独立系统的一个缺点是,虽然合成视图看起来很好,但重建的模型有时需要更高的几何正确性和复杂的纹理,特别是关于物体的后向视角。这个问题的主要原因是生成或合成的视角之间存在较大的几何差异。 因此,在重建过程中,非匹配像素被平均在最终的3D模型中,导致纹理模糊和几何圆滑。从本质上讲,图像条件的3D生成是一个在文本条件的生成相比下具有更严格限制的优化问题。由于只有有限数量的3D数据可用,使用精确特征优化3D模型变得更加困难,因为优化过程往往会偏离训练分布。例如,如果训练数据集包含各种风格的马,仅通过文本描述创建一匹马可能会产生详细的模型。然而,当图像指定特定的毛发特征、形状和纹理时,新视角纹理的生成可能很容易偏离训练分布。 为了解决这些问题,字节跳动的研究团队在本研究中提出了ImageDream。研究团队提出了一个多级图像提示控制器,可以轻松地与当前架构整合在一起,同时考虑到不同对象实例之间的规范相机协调。特别是,根据规范相机协调,生成的图像必须呈现物体的居中前视图,并使用默认的相机设置(恒等旋转和零平移)。这使得将输入图像的差异转化为三维更加简单。通过提供分层控制,多级控制器通过将扩散模型从图像输入引导到每个架构块,简化了信息传递过程。 图1:凭借一张照片,创新框架ImageDream可以从任意角度生成高质量的3D模型。与先前的SoTA(如Magic123)相比,它显著提升了3D几何质量。更重要的是,与MVDream相比,它保留了从创建的图像提示中获得的优秀文本图像对齐。下方显示了使用不同技术创建的物品的八个视图,并显示了使用ImageDream生成的模型绘制的匹配法线图。 与仅基于文本条件的模型MVDream相比,ImageDream在从给定图像中生成具有正确几何形状的对象方面表现卓越,如图1所示。这使用户能够利用成熟的图像生成模型来改进图像与文本的对齐。在几何形状和纹理质量方面,ImageDream优于当前最先进的零射单图像3D模型生成器Magic123。ImageDream超越了先前的最先进技术,通过实验部分的全面评估,包括定量评估和用户测试中的定性比较,这一点得到了证明。

Leave a Comment

这篇人工智能论文介绍了MVControl:一种革命性的神经网络架构,改变了可控多视角图像生成和3D内容创作的方式

最近,在2D图片制作方面取得了显著的进展。输入文本提示使生成高保真度图形变得简单。因为需要3D训练数据,所以将文本到图像创建的成功很少转移到文本到3D领域。由于扩散模型和可微分3D表示的良好特性,最近基于分数蒸馏优化(SDS)的方法旨在从预训练的大型文本到图像生成模型中蒸馏3D知识,并取得了令人印象深刻的结果,而不是使用大量3D数据从头开始训练大型文本到3D生成模型。DreamFusion是一项引入了新方法的示范性工作,用于3D资产创建。 在过去的一年中,这些方法论已迅速发展,根据2D到3D蒸馏范式。通过应用多个优化阶段,同时优化扩散和3D表示,制定具有更高精度的分数蒸馏算法,或改进整个流程的细节,已提出了许多研究来提高生成质量。虽然上述方法可以产生细腻的纹理,但由于2D扩散先验不是依赖性的,确保生成的3D内容的视图一致性是困难的。因此,已经做出了一些努力,将多视图信息强制加入预训练的扩散模型中。 然后,将基本模型与控制网络集成,以实现受控的文本到多视图图片生成。同样,研究团队仅训练控制网络,MVDream的权重全部冻结。实验表明,相对于绝对世界坐标系中描述的相机姿态条件图片,相对于条件图片的相对姿态条件更好地控制文本到多视图生成,尽管MVDream是在训练时使用绝对世界坐标系中的相机姿态进行训练的。尽管如此,这与预训练的MVDream网络的描述相违背。此外,只有通过直接采用2D ControlNet的控制网络与基本模型交互时,才能轻松实现视图一致性,因为它的条件机制是为单一图像创建而构建的,需要考虑多视图情况。 为了解决这些问题,浙江大学、西湖大学和同济大学的研究团队基于原始的ControlNet架构创建了一种独特的调节技术,简单而成功地实现了受控的文本到多视图生成。他们联合使用了庞大的2D数据集LAION和3D数据集Objaverse来训练MVControl。在这项研究中,研究团队研究了将边缘图作为条件输入。然而,他们的网络在利用不同类型的输入情况(如深度图、草图图像等)方面是无限制的。一旦训练完成,研究团队可以使用MVControl为受控文本到3D资产生成提供3D先验。具体而言,研究团队使用基于MVControl网络和预训练的Stable-Diffusion模型的混合扩散先验。这是一个由粗到细的生成过程。当在粗阶段拥有良好的几何形状时,研究团队仅优化细化步骤中的贴图。他们的全面测试表明,他们提出的方法可以使用输入条件图像和书面描述生成高保真度、细粒度受控的多视图图像和3D内容。 总结起来,以下是他们的主要贡献。 • 在训练完成网络后,可将其用作混合扩散的组成部分,通过SDS优化实现对文本到3D内容合成的受控。 • 研究团队提出了一种独特的网络设计,以实现细粒度受控的文本到多视图图片生成。 • 他们的方法可以生成高保真度的多视图图像和3D资产,在输入条件图像和文本提示的精细控制下,如 extensive experimental results 所示。 • 除了通过 SDS 优化生成 3D 资产外,他们的 MVControl 网络还可以在 3D…

Leave a Comment

使用机器学习创建多视角光学幻觉:探索零样本方法用于动态图像转换

变换图是当你以不同角度观察或翻转它们时会改变外观的图像。创造这样的视觉错觉通常需要理解并欺骗我们的视觉感知。然而,一种新的方法出现了,提供了一种简单有效的方式来生成这些有吸引力的多角度视觉错觉。 有许多方法可以创建视觉错觉,但大多数依赖于对人类感知图像方式的特定假设。这些假设往往导致复杂的模型,只有在某些情况下才能捕捉到我们视觉体验的本质。密歇根大学的研究人员提出了一种新的解决方案。它不是基于人类的视觉方式建立模型,而是使用了一种文本到图像扩散模型。该模型不对人类的感知做任何假设,只是从数据中学习。 该方法引入了一种新的方式来生成经典的错觉,如当图像翻转或旋转时发生变化的图像。此外,它还涉及到一种称为“视觉变换”的新型错觉,当您重新排列像素时,图像的外观也会改变。这包括翻转、旋转和更复杂的排列,如创建具有多个解决方案的拼图,称为“多态拼图”。这种方法甚至扩展到三个和四个视图,扩大了这些引人注目的视觉变换的范围。 使这种方法起作用的关键是仔细选择视图。应用于图像的变换必须保持噪声的统计特性。这是因为该模型是在随机、独立和同分布的高斯噪声的假设下进行训练的。 该方法利用扩散模型从各个视图去噪,生成多个噪声估计。然后将这些估计组合成一个单一的噪声估计,促进逆向扩散过程中的一步。 该论文提供了支持这些视图有效性的实证证据,展示了所生成的错觉的质量和灵活性。 总之,这种简单而强大的方法为创建引人注目的多角度视觉错觉开辟了新的可能性。通过避免对人类感知的假设,并利用扩散模型的能力,它提供了一种新鲜而易于理解的方法来探索迷人的视觉变换世界。无论是翻转、旋转还是多态拼图,这种方法都为制作引人入胜并挑战我们视觉理解的错觉提供了一种多功能工具。

Leave a Comment

支持向量机(SVM)是什么?

支持向量机(SVM)是一种在机器学习领域中使用的监督学习算法。它主要用于执行分类和回归等任务。该算法可以处理各种任务,例如判断电子邮件是否为垃圾邮件、识别手写字体,甚至在图片中检测人脸。它非常适应性强,能处理大量信息和数据中的复杂关系。 SVM的主要任务是根据特征绘制最佳的分隔线(或平面),以区分不同组的事物。就像在数据集中找到不同类别之间的最佳边界一样。因此,无论是对文本、图像还是其他任何东西进行分类,SVM都是机器学习中的首选工具。 SVM的类型 线性支持向量机 当数据可以通过一条直线轻松分为两组时,线性SVM效果最好。想象一下你的数据就像是纸上的点,你可以画一条直线将它们整齐地分成两个不同的类。也就是说,数据应该是完全线性可分的。 非线性支持向量机 当数据无法通过一条直线分类成两组时,我们就会引入非线性SVM。这种情况下,数据不是线性可分的。在这种情况下,非线性SVM可以派上用场。在现实世界中,数据通常杂乱无章,不遵循简单的规律,这时我们就可以使用非线性SVM及其核技巧。 它是如何工作的? 想象一下,你手上有两组事物,比如绿色和蓝色的点,散落在地板上。SVM的任务是找到一条最佳的直线(或者如果你在三维世界中则是一个平面),将这些点分隔成各自的组。 现在,可能有很多条分隔这些点的直线,对吧?但是SVM会寻找一个特殊的直线——与最接近的绿色点到直线的距离和最接近的蓝色点到直线的距离之间有最大距离的直线。这个距离被称为“间隔”,SVM希望使其尽可能大。 那些在定义直线时起着关键作用的最近的点被称为“支持向量”。SVM专注于这些点,以绘制最佳的直线,使两组之间的空间最大化。 但是,如果你的点没有被一条直线整齐地分开呢?如果它们到处都是?这就是SVM可以使用所谓的“核技巧”将问题提升到一个更高维度空间的地方,这样可以绘制出更复杂的分割曲线或曲面。 用例与应用 1. 垃圾邮件过滤:想象一下,你的电子邮箱里有一堆邮件,其中一些是垃圾邮件,一些则不是。支持向量机(SVM)可以用来创建一个智能过滤器,学会区分垃圾邮件和普通邮件。它会查看邮件的各种特征,比如使用的词语,并绘制一条线来将垃圾邮件与非垃圾邮件分开,保持您的邮箱清洁。 2. 手写识别:如果你希望你的计算机识别不同人的手写。SVM可以做到这一点。通过分析手写字母的特征,比如形状和大小,SVM可以绘制线条或曲线来将一个人的手写与另一个人的手写分开,使其在邮政服务等应用中有用于识别数字。 3. 医学诊断:在医学领域,SVM可以帮助诊断疾病。假设你有关于患者的数据,其中一些患有某种疾病,另一些没有。SVM可以分析各种健康指标,并创建一个边界来区分健康患者和患有该疾病的患者。这可以帮助医生进行更准确的诊断。 4. 图像分类:考虑这样一个场景,你有很多图片,其中一些是猫,一些是狗。SVM可以成为一个英雄,创建一个系统,学会根据颜色、形状或图案等特征区分猫和狗。它绘制一条线(或更复杂的边界)来正确分类新的图片。 5. 股票市场预测:如果你对股票市场感兴趣,SVM可以派上用场。通过分析历史股票数据,考虑交易量和价格变动等各种因素,SVM可以创建一个模型来预测股票的涨跌。 参考资料: https://towardsdatascience.com/support-vector-machine-introduction-to-machine-learning-algorithms-934a444fca47…

Leave a Comment

约翰霍普金斯大学和圣克鲁兹加利福尼亚大学的研究人员揭示了D-iGPT:图像AI学习方面的突破性进展

自然语言处理(NLP)已经进入了一个转型期,引入了大型语言模型(LLMs),例如GPT系列,为各种语言任务设置了新的性能标准。自回归预训练是这一惊人成就的主要因素之一,这种技术教会模型预测序列中最可能的标记。由于这种基本技术,模型能够吸收语法和语义之间的复杂交互,从而为他们理解语言的能力提供卓越的贡献,就像一个人一样。自回归预训练在NLP之外也在计算机视觉方面起到了重要作用。 在计算机视觉中,自回归预训练起初取得了成功,但随后的发展显示出明显的范式转变,更倾向于BERT风格的预训练。特别值得注意的是,从iGPT的首次结果可以看出,自回归和BERT风格的预训练在各种任务上的表现类似。然而,由于在视觉表示学习方面更加有效,后续的研究更偏向于BERT风格的预训练。例如,MAE表明,可扩展的视觉表示学习方法可能就是简单地预测随机屏蔽像素的值。 在这项研究中,约翰斯·霍普金斯大学和加州大学圣克鲁兹分校的研究团队重新审视了iGPT,并质疑自回归预训练是否能够产生高度熟练的视觉学习者,尤其是在广泛应用时。研究团队在其过程中融入了两个重要的改变。首先,研究团队使用BEiT将照片“分词”为语义标记,考虑到图像本身具有噪声和冗余。这个修改将自回归预测的重点从像素转移到语义标记上,从而更加复杂地理解各个图像区域之间的相互作用。其次,研究团队在生成解码器中添加了一个判别解码器,它自回归地预测下一个语义标记。 对于已看到的像素预测语义标记是这个额外组件的责任。此外,值得注意的是,像CLIP这样以判别方式训练的模型最适合该预训练路径的语义视觉标记。研究团队将这种改进方法称为D-iGPT。通过对各种数据集和任务进行广泛测试,证实了他们所提议的D-iGPT的效能。仅使用ImageNet-1K作为相关数据集,他们的基准模型在可达到86.2%的Top-1分类准确率上超越了之前的最先进技术的0.6%。 此外,他们的大规模模型在3600万个公开可用数据集上实现了89.5%的Top-1分类准确率。D-iGPT在公共数据集上达到了先前最先进的训练水平,尽管使用的训练数据更少,模型尺寸更小。研究团队还在相同的预训练和微调数据集上分析了D-iGPT在语义分割上的表现,发现其优于MAE相等的方法。

Leave a Comment

麻省理工学院(MIT)和苏黎世联邦理工学院(ETH Zurich)的研究人员开发了一种机器学习技术,通过动态分离器选择来增强混合整数线性规划(MILP)求解能力

高效地应对复杂的优化问题,从全球包裹路由到电力网管理,一直是一个持久的挑战。传统方法,特别是混合整数线性规划(MILP)求解器,一直是破解复杂问题的首选工具。然而,它们的缺点在于计算强度,往往导致次优解或长时间的求解。为了解决这些限制,麻省理工学院和苏黎世联邦理工学院的研究人员开创了一种数据驱动的机器学习技术,承诺彻底改变我们解决复杂物流挑战的方式。 在物流领域,优化是关键,挑战是令人生畏的。尽管圣诞老人可能有他神奇的雪橇和驯鹿,但联邦快递等公司需要处理迷宫般的节假日包裹路线。公司使用的软件骨干是MILP求解器,它采用分而治之的方法来解决庞大的优化问题。然而,这些问题的复杂性往往导致求解时间长达数小时甚至数天。由于时间限制,公司经常被迫中断求解器的中间过程,接受亚优解。 研究团队确定了导致求解时间延长的一个关键中间步骤,即分隔管理。分隔管理是每个求解器的核心方面,但往往被忽视。分隔管理负责识别理想的分隔算法组合,这是一个具有指数数量潜在解决方案的问题。研究人员认识到这一点,试图用数据驱动的方法重新激活MILP求解器。 现有的MILP求解器采用通用算法和技术来导航广阔的解决方案空间。然而,麻省理工学院和苏黎世联邦理工学院的团队引入了一个过滤机制,以简化分隔搜索空间。他们将庞大的13万个潜在组合减少到了约20个可管理的选项。这个过滤机制依赖于递减边际效益的原理,即最大的效益来自一小组算法。 创新之处在于将机器学习融入MILP求解器框架。研究人员利用一个在问题特定数据集上训练的机器学习模型,从缩小的选项中选择最佳算法组合。与具有预定义配置的传统求解器不同,这种数据驱动的方法允许公司通过利用自己的数据来针对特定问题定制通用的MILP求解器。例如,像联邦快递这样经常解决路由问题的公司可以使用过去的实际数据来优化和增强他们的解决方案。 这个机器学习模型基于上下文情境强化学习的形式。这个迭代学习过程包括选择一个潜在解决方案,获得有关其有效性的反馈,并在随后的迭代中对其进行优化。结果是将MILP求解器的求解时间大幅加快,从30%到令人瞩目的70%,而不影响准确性。 总之,麻省理工学院和苏黎世联邦理工学院之间的合作努力在优化领域取得了重大突破。通过将经典的MILP求解器与机器学习相结合,研究团队为解决复杂的物流挑战开辟了新的途径。加快求解时间并保持准确性为MILP求解器带来了实际优势,使其更适用于实际场景。这项研究对优化领域做出了贡献,并为在解决复杂实际问题中广泛整合机器学习铺平了道路。

Leave a Comment

来自CMU和Meta的新型AI研究介绍了PyNeRF:具有尺度感知和基于网格渲染的神经辐射场的重大飞跃

如何改进神经辐射场(NeRFs)以处理尺度变化并减少场景重建中的锯齿伪影?卡内基梅隆大学和Meta的一篇新研究论文通过提出金字塔神经辐射场(PyNeRF)来解决这个问题。它通过在不同的空间网格分辨率上训练模型头部,从而帮助减少在不同相机距离下重建场景时可能发生的视觉畸变。PyNeRF在不显著影响性能的情况下实现了这些改进,使其成为在加速NeRFs的同时保持高质量场景重建的有效解决方案。 受到NeRF的启发,该研究探索了基于网格的方法(NSVF、Plenoxels、DVGO、TensoRF、K-Planes、Instant-NGP),旨在使用体素网格和张量近似来增强渲染速度和内存效率。PyNeRF在不同尺度上结合了速度优势与质量保证,超越了Instant-NGP、Nerfacto等快速渲染方法,并在渲染质量和训练速度上表现出色。 近期在神经体积渲染方面的进展,特别是NeRFs,为实现逼真的视图合成提供了进展。然而,NeRFs由于其MLP表示和假设而导致速度较慢,容易出现锯齿现象。基于网格的方法如Mip-NeRF加速训练,但缺乏与位置编码的兼容性——PyNeRF受到分治NeRF扩展和经典技术的启发。PyNeRF的金字塔模型沿着光线采样,并采用分区方法来提高渲染质量,同时保持加速的NeRF实现的速度,为高效和高质量的新视图合成提供了一种多功能解决方案。 研究建议修改基于网格的模型,并在不同的空间网格分辨率下训练模型头部以渲染较大的体积样本。使用SUDS作为基础模型,他们逐步在更高的分辨率上进行训练。文中还讨论了各种基于网格加速方法,将学到的特征存储在体素网格或哈希表等结构中。研究人员对其方法进行了与LaplacianPyNeRF和其他插值方法的评估,考察了重用特征网格和使用2D像素区域的影响。其主要贡献是一种多功能的分区方法,可以提高可视保真度,同时在任何现有的网格渲染方法中保持渲染速度。 PyNeRF在合成和真实场景中大大提高了渲染质量,将误差率降低了20-90%,对性能的影响很小。与Mip-NeRF相比,它在训练速度上提高了60倍,并减少了20%的误差。PyNeRF在2小时内达到了SUDS的质量,各项指标优于基准,而SUDS需要4小时。对合成和多尺度Blender数据集的评估结果显示,与快速渲染方法相比,PyNeRF在合成和Multi-scale Blender数据集上展现出卓越的结果。通过对Argoverse 2 Sensor数据集的评估,验证了PyNeRF在众多视频帧中的高质量重建。 总而言之,PyNeRF在快速体积渲染器中改进了抗锯齿特性,展示出在各种数据集上的卓越成果。该方法倡导分享真实场景捕捉,以进一步研究神经体积渲染。然而,它也注意到高质量神经表示的潜在安全和隐私风险。 未来研究可以通过分享更多的真实场景捕捉和探索替代的映射函数来为层次结构分配积分体积。一个有价值的研究方向是在模型训练期间使用语义信息进行隐私过滤。有趣的未来研究方向包括进一步探索架构以提高在快速NeRF方法中可视保真度同时保持渲染速度。潜在的研究领域涉及将金字塔方法应用于其他加速的NeRF实现,并评估其性能。

Leave a Comment

微软研究员提出TaskWeaver:一种用于构建具有LLM驱动的自主代理的代码优先机器学习框架

大型语言模型(LLM)展示了令人印象深刻的自然语言创作和解释能力。这些模型的例子包括GPT、Claude、Palm和Llama。许多应用程序,如聊天机器人、虚拟助手和内容生成系统,广泛使用了这些模型。LLM可以通过提供更直观、更自然的体验,完全改变人与技术的互动方式。代理被定义为能够计划任务、监视环境并采取适当行动响应的自主实体。使用大型语言模型(LLM)或其他AI技术的代理属于此类。 许多框架已经尝试使用LLM进行任务导向型对话,包括Langchain、Semantic Kernel、Transformers Agent、Agents、AutoGen和JARVIS。使用这些框架,用户可以通过用简单的语言提问并获取答案的方式与LLM驱动的机器人进行交流。然而,许多框架存在诸多缺点,限制了它们在数据分析活动和特定领域的情况下的性能。大多数当前框架在处理复杂数据结构(如嵌套列表、字典或数据框)方面,没有原生支持是它们的主要缺点之一。 然而,许多当前框架在处理这些结构时需要帮助,尤其是在不同插件或聊天轮之间共享数据时。在这些情况下,这些框架会将复杂的结构编码为字符串或JSON对象,并将数据存储到磁盘上。这些方法是有效的;然而,特别是在处理大型数据集时,它们可能变得复杂并增加错误率。当前方法无法配置以包括领域知识的能力是另一个缺点。虽然这些框架提供了快速的工程工具和示例,但它们必须提供一种将领域特定信息整合到规划和代码生成过程中的系统化方法。 由于约束的存在,很难根据特定领域需求来控制规划和代码生成过程。许多当前框架面临的另一个问题是它们可能缺乏灵活性,很难适应广泛的用户需求。插件可以处理常见需求,但可能需要帮助来处理临时需求。为每个临时查询编写不同的插件是不可行的。在这些情况下,代理根据用户查询开发独特的代码执行能力变得至关重要。为解决这个问题,需要一种能够平稳地将定制代码执行与插件执行相结合的解决方案。 为了克服这些缺点,微软的研究团队提出了TaskWeaver,这是一个用于创建LLM驱动的自主代理的面向代码的框架。TaskWeaver的独特特性是它能够将用户定义的插件视为可调用的函数,将每个用户请求转换为可执行的代码。TaskWeaver支持复杂的数据结构、灵活的插件使用和动态插件选择,帮助克服其他框架的缺点。它通过利用LLM的编码能力实现复杂逻辑,并通过示例集成领域特定知识。 此外,TaskWeaver为开发人员提供直观的界面,并显著提高了所创建代码的安全执行。研究团队在本文中描述了TaskWeaver的体系结构和实现,并展示了它在不同任务处理方面的出色表现。TaskWeaver为创建具有智能能力的对话代理提供了一个强大而灵活的框架,能够处理具有挑战性的任务并根据特定领域条件进行调整。

Leave a Comment

遇见VideoSwap:一种通过交互式语义点对应来自定义视频主题交换的人工智能框架

最近,视频编辑领域取得了重要的进展,其中以使用人工智能(AI)进行编辑的技术为主导。新的众多技术涌现出来,其中以基于扩散的视频编辑为特别有前景的领域。它利用预训练的文本到图像/视频扩散模型来实现风格改变、背景替换等任务。然而,视频编辑最具挑战性的部分是将来自源视频的运动转移到编辑后的视频中,并在整个过程中确保时间上的一致性。 大多数视频编辑工具注重通过确保时间一致性和运动对齐来保留视频的结构。然而,在处理视频中形状的改变时,该过程变得无效。为了弥补这一差距,本文的作者(新加坡国立大学Show Lab和GenAI,Meta的研究人员)介绍了VideoSwap框架,该框架使用语义点对应来对齐主体的运动轨迹并改变其形状,而不是密集的点对应。 使用密集对应可以更好地保持时间上的一致性,但它限制了在编辑后的视频中主体形状的改变。虽然使用语义点对应是一种灵活的方法,但它在不同的开放世界设置中会有所变化,这使得难以训练一个通用条件模型。研究人员尝试仅使用有限数量的源视频帧来学习语义点控制。他们发现优化源视频帧上的点可以对齐主体的运动轨迹并改变主体的形状。此外,优化的语义点也可以在语义和低层次的更改之间进行传递。这些观察结果为使用语义点对应在视频编辑中提供了依据。 研究人员通过以下方式设计了该框架。他们将运动层集成到图像扩散模型中,以确保时间上的一致性。他们还在源视频中识别语义点并利用它们来传输运动轨迹。该方法仅关注高级语义对齐,从而防止过度学习低级细节,从而增强语义点对齐。此外,VideoSwap还具有用户点互动功能,例如删除或拖动多个语义点对应。 研究人员使用潜在扩散模型实施了该框架,并采用AnimateDiff中的运动层作为基础模型。他们发现,与先前的视频编辑方法相比,VideoSwap在同时对齐源运动轨迹、保留目标概念身份的基础上实现了显著的形状改变。研究人员还利用人工评估者验证了他们的结果,结果明确表明VideoSwap在主体身份、运动对齐和时间一致性等指标上优于其他比较方法。 总之,VideoSwap是一个多功能框架,可用于视频编辑,即使涉及复杂的形状也可以。它在过程中限制了人工干预,并使用语义点对应来实现更好的视频主体替换。该方法还允许在同时改变形状的同时将运动轨迹与源对象对齐,并在多个指标上优于先前的方法,展示了定制视频主体替换的最新成果。

Leave a Comment

这项人工智能研究揭示了大型语言模型中的欺诈机制:深入探索提示工程和神经网络分析

理解大型语言模型(LLMs)并促进它们的诚实行为对于这些模型展示出的增长能力以及被社会广泛采用而言变得越来越重要。研究人员认为,从模型能够欺骗(将其定义为“在追求真相以外的某种结果时,系统性地诱导错误信念”)的潜力中,出现了新的风险,例如可伸缩的虚假信息、操纵、欺诈、选举干扰,或者是对控制失去的猜测风险。研究表明,即使模型的激活具有必要的信息,它们可能需要更多的不对齐才能产生正确结果。 以往的研究区分了真实和诚实,称前者不做虚假声明,而后者不做自己“不相信”的声明。这个区别有助于理解。因此,模型可能会产生误导性的言论,归因于不对齐以不诚实的方式而不是技能不足。自那时以来,一些研究试图通过深入模型的内部状态来找到真实的表示来解决LLM诚实问题。最近的黑盒技术提议也提出了识别和引发大规模语言模型撒谎的方法。值得注意的是,以前的研究表明,通过强迫模型积极考虑某个概念可以改善对内部模型表示的提取。 此外,在遵循上下文的环境中,模型包括一个“关键”中间层,超过这个层次的真实或错误响应在遵循上下文中往往会发散,这种现象称为“过度思考”。受前期研究的启发,研究人员将关注点从错误标记的上下文学习扩大到故意的不诚实上,在这种情况下,他们给予模型明确的撒谎指令。通过使用探索和机械可解释性的方法,康奈尔大学、宾夕法尼亚大学和马里兰大学的研究团队希望确定和理解模型中哪些层和注意头对这种不诚实负责。 以下是他们的贡献: 1. 研究团队证明,根据真/假问题的显著低于机会准确率确定,LLaMA-2-70b-chat可以被训练撒谎。根据研究小组的说法,这可能非常微妙,必须经过仔细和迅速的工程处理。 2. 通过激活修复和探测,研究团队找到了对不诚实行为至关重要的五个模型层的独立证据。 3. 研究团队只对网络中的46个注意头,即所有注意头的0.9%,进行了有效的因果干预,迫使具有欺骗性的模型真实回答。这些干预方法在多个数据集分割和提示上都是稳健的。 总之,研究团队研究了一个简单的撒谎案例,其中他们给出了关于是否说出真相的LLM指令。他们的研究结果表明,大型模型可以展示不诚实的行为,当要求诚实时产生正确答案,如果被迫撒谎则产生错误的答案。这些发现建立在早期研究的基础上,该研究表明激活探测可以在提示时推广到分布之外。然而,研究小组确实发现,这可能需要通过长时间的提示构建来解决问题,例如模型倾向于在序列中更早地输出“False”标记而不是“True”标记。 通过使用前缀注入,研究团队能够始终诱导撒谎。随后,团队比较了不诚实模型和诚实模型的激活,在其中定位了涉及撒谎的层和注意头。通过使用线性探测来调查这种撒谎行为,研究团队发现诚实和撒谎提示的前期至中期层次在模型表示上是相似的,然后急剧分歧,变得反向并行。这可能表明前期层次应该具有与上下文无关的真实表示,符合一系列文献的要求。激活修复是研究团队用来进一步了解特定层次和注意头工作原理的另一工具。研究人员发现,局部干预可以完全解决在撒谎模型和诚实提示模型之间的不匹配问题。 重要的是,仅通过对46个注意头进行干预,就展示了相当程度的跨数据集和跨提示的韧性。研究团队通过使用一个易于获得的数据集并明确要求模型撒谎,着重研究了撒谎行为,与之前主要考察默认情况下诚实的模型的准确性和完整性的工作形成对比。在这个背景下,研究人员对推动不诚实行为的微妙之处和大规模模型参与不诚实行为的方法有了更多了解。为了确保LLMs在现实世界中的道德和安全应用,研究团队希望在这个领域的更多工作能够提出阻止LLM撒谎的新方法。

Leave a Comment

提升数据安全性与协作能力:AWS Clean Rooms引入机器学习和差分隐私功能

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-07-at-2.49.22-AM-1024×573.png” /><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-07-at-2.49.22-AM-150×150.png” /><p>亚马逊网络服务(AWS)推出了安全数据共享服务Clean Rooms的新更新,通过创新的机器学习(ML)和差分隐私功能增强了其功能。这些进步使企业能够安全地协作,利用机器学习模型的能力,并在进行准确的数据分析的同时保护敏感数据隐私。</p><p>Clean Rooms的最新版本引入了一套强大的功能,旨在加强数据隐私和促进安全协作。机器学习支持的添加使用户能够利用ML模型而不暴露原始数据。这一创新功能使得协作数据分析成为可能,而不会危及数据隐私,对于希望获取洞察力而不泄露敏感信息的企业来说,这是一个福音。</p><p>一个重要的新增功能是将差分隐私功能集成到Clean Rooms中。这个新颖的功能将精心校准的错误或“噪音”引入到查询结果中,确保分析准确性同时使个人数据贡献难以理解。通过将隐私视为有限资源,并通过隐私预算组件对其进行处理,这个功能防止了数据泄露,避免了隐私资源的耗尽和潜在违规行为。</p><p>差分隐私是一种在数据共享期间增强隐私保护的技术,它可以揭示统计模式而不泄露具体个人细节的能力。AWS Clean Rooms简化了这项技术的应用,使其易于实施。通过启用差分隐私功能并在协作环境中配置隐私策略,用户可以轻松地使用这种增强隐私保护技术。</p><p>在此更新中的一个开创性功能是Clean Rooms ML,它允许用户在保护敏感数据的同时使用机器学习模型进行预测分析。它的应用涵盖了各个行业,促进了有针对性的营销工作,确定潜在客户,并加速了临床研究,同时不暴露关键信息。</p><p>Clean Rooms ML的实施涉及在组织数据共享协作中训练AWS管理的模型,从而消除了用户构建和部署自己的模型的需求。这种无缝整合的ML功能使用户具备灵活的控制能力,可以调整模型的预测结果,确保分析的适应性和精确性。</p><p>此外,Clean Rooms还引入了一系列隐私控制功能,授权用户管理具有适当权限的Clean Rooms成员执行的查询和输出。这个额外的控制层进一步加强了协作生态系统中的数据安全和隐私保护措施。</p><p>在本质上,改进后的AWS Clean Rooms标志着安全数据协作的范式转变,是在保护敏感信息的同时释放全面数据分析潜力的重要步伐。AWS通过融合最先进的机器学习和差分隐私功能,优先考虑了数据安全,而不会牺牲分析效率,为更安全、更有洞察力的协作未来铺平了道路。</p><p>本文首发于<a href=”https://guoyuhan.love/5g-robots-clean-singapores-rivers.html”>Enhancing Data Security and Collaboration:…

Leave a Comment

来自Datategy和Math&AI研究所的研究人员为大型语言模型的多模态未来提供了一个观点

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-07-at-2.09.42-AM-1024×739.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-07-at-2.09.42-AM-150×150.png”/><p>来自法国的Datategy SAS和土耳其的Math & AI Institute的研究人员提出了一种最近兴起的多模态架构的潜在方向。他们研究的核心思想是,经过深入研究的命名实体识别(NER)形式可以在多模态大型语言模型(LLM)设置中加以利用。</p><p>LLaVA、Kosmos或AnyMAL等多模态架构最近一直受到关注,并已在实践中展示了其能力。这些模型可以对文本以外的模态数据进行标记化处理,例如图片,并使用外部的模态特定编码器将其嵌入到联合语言空间中。这样,架构可以以交错的方式提供一种指导调整多模态数据混合文本的手段。</p><p>这篇<a href=”https://www.xiaozhuai.com/this-ai-paper-introduces-rmt-which-combines-retnet-and-transformer-revolutionizing-computer-vision.html”>论文</a>提出,这种通用的架构偏好未来可以拓展成一个更雄心勃勃的设置,他们称之为“全模态时代”。与NER的概念相关的“实体”可以想象成这些类型架构的模态。</p><p>例如,目前的LLMs在推断完整的代数推理方面存在困难。虽然正在进行研究以开发“友好于数学”的特定模型或使用外部工具,但这个问题的一个特定的前景可能是将定量值定义为这个框架中的一种模态。另一个例子是可以由特定的时态认知模态编码器处理的隐式和显式的日期和时间实体。</p><p>LLMs在地理空间理解方面也面临很大困难,远远不被认为是“具备地理空间意识”的。此外,还需要处理数值全局坐标,其中在语言嵌入空间中应准确反映邻近和相邻的概念。因此,将位置作为特殊的地理空间模态纳入,同时配备特殊设计的编码器和联合训练,也可以为此问题提供解决方案。除了这些例子,可以作为模态纳入的第一个潜在实体包括人、机构等。</p><p>作者们认为,这种方法有望解决参数化/非参数化知识扩展和上下文长度限制的问题,因为复杂性和信息可以分布到多个模态编码器中。这也可能解决通过模态注入更新信息的问题。研究人员仅提供了这种潜在框架的边界,并讨论了开发基于实体驱动的语言模型的前景和挑战。</p>

Leave a Comment

「前40+个创造性AI工具(2023年12月)」

ChatGPT – GPT-4 GPT-4是OpenAI最新的LLM,比之前的版本更有创意、准确和安全。它还具有多模态能力,即能够处理图像、PDF、CSV等格式文件。通过引入代码解释器,GPT-4现在可以运行自己的代码,避免产生幻觉并提供准确的答案。 Bing AI Bing AI由OpenAI的GPT-4模型推动,可以遍历网络提供准确答案。它还具有根据用户提示生成图像的功能。 GitHub Copilot GitHub Copilot是一款分析代码并提供即时反馈和相关代码建议的AI代码补全工具。 DALL-E 2 DALL-E 2是由OpenAI开发的文本到图像生成工具,根据用户的提示创建原创图像。它被设计用于拒绝不恰当的用户请求。 Cohere Generate Cohere Generate利用人工智能的潜力提升业务运营。它为电子邮件、落地页、产品描述和其他各种需求提供个性化内容。 AlphaCode AlphaCode由DeepMind开发,能以竞争水平编写计算机程序。 Adobe Firefly Firefly是一款图像生成和编辑工具,以其基于提示生成准确性而闻名。它包括广泛的图像修改功能,包括内容类型、颜色、音调、光照和构图工具。…

Leave a Comment

阿里巴巴AI开源了包括Qwen-1.8B、Qwen-7B、Qwen-14B和Qwen-72B在内的Qwen系列,还有Qwen-Chat系列

阿里巴巴云计算最新的开源AI模型系列Qwen,将人工智能技术的边界推向了新的高度。阿里巴巴通过发布Qwen-1.8B和Qwen-72B以及专门的聊天和音频模型,进一步扩展了其AI解决方案。阿里巴巴通过这些模型展示了其对开发AI能力的承诺,这些模型在语言和音频处理方面提供了改进的性能和多功能性。 Qwen系列已经得到显著增强,通过发布Qwen-1.8B及其更大的版本Qwen-72B。Qwen系列已包括Qwen-7B和Qwen-14B。Qwen-1.8B基于1.8亿个参数的Transformer模型,预训练语料库超过2.2万亿个令牌。该模型在中文和英文的各种语言任务中胜过许多相同规模甚至更大的模型。该模型还支持8192个令牌的长上下文。 值得注意的是,Qwen-1.8B及其量化变体int4和int8提供了一种经济实惠的部署解决方案。这些特性使其成为各种应用的明智选择,通过大幅降低内存需求。超过150K个标记的广泛词汇进一步提高了其语言能力。 更大规模的模型Qwen-72B训练了3万亿个令牌。该模型在大多数任务中优于GPT-3.5,并在所有测试任务中优于LLaMA2-70B。尽管参数较大,阿里巴巴已经设计了这些模型以实现低成本部署;量化版本仅需大约3GB的最小内存使用。这一突破显著降低了使用以前在云计算上成本高达数百万美元的大规模模型所面临的障碍。 除了Qwen基础模型,阿里巴巴还推出了针对AI支持和对话能力进行优化的Qwen-Chat版本。Qwen-Chat除了生成材料和促进自然对话外,还能执行代码解释和摘要任务。 阿里巴巴的Qwen-Audio在多模态AI中能够处理各种音频输入,并生成文本输出,这代表了一项值得注意的进步。值得注意的是,Qwen-Audio在语音识别和各种音频理解标准上取得了最先进的性能,而无需进行精细调整。 在音频领域,Qwen-Audio作为基础音频语言模型树立了新的基准。它使用多任务学习框架处理多种音频格式。在多个基准测试中取得了令人瞩目的结果,包括在AISHELL-1和VocalSound等任务上的最先进得分。 Qwen-Audio的适应性包括从文本和音频输入操作多个聊天会话的能力,功能从语音编辑工具到音乐欣赏和声音解释等方面。

Leave a Comment

LLM对隐私的担忧:这篇人工智能论文揭示潜在风险和保护措施

尽管ChatGPT打破了一些记录,也引发了关于OpenAI的ChatGPT中使用的个人信息安全性的问题。最近,来自Google DeepMind、华盛顿大学、康奈尔大学、卡内基梅隆大学、加州大学伯克利分校和苏黎世联邦理工学院的研究人员发现了一个可能的问题:通过使用某些指令,可能会诱使ChatGPT泄露敏感用户信息。 在推出两个月内,OpenAI的ChatGPT已经积累了一亿多用户,显示出其日益增长的受欢迎程度。该程序从各种互联网来源中使用了超过3000亿条数据,包括书籍、期刊、网站、帖子和文章。尽管OpenAI已经尽力保护隐私,但常规的帖子和对话会增加一定数量的个人信息,这些信息不应该公开披露。 谷歌研究人员找到了一种欺骗ChatGPT的方法,让它可以访问和透露未经公开的训练数据。他们通过应用指定的关键词提取了超过一万个独特的记忆训练实例。这意味着敌人可能会通过这种方式获取到更多的数据。 研究团队展示了如何通过强迫ChatGPT反复重复一个单词,如“诗”或“公司”,来使模型暴露个人信息。例如,他们可能通过这种方式提取了地址、电话号码和姓名,这可能导致数据泄露。 一些企业已经限制了像ChatGPT这样的大型语言模型的使用,作为对这些担忧的回应。例如,苹果已经禁止其员工使用ChatGPT和其他AI工具。此外,作为预防措施,OpenAI添加了一个功能,允许用户禁用对话历史记录。然而,保留的数据在永久删除之前将保留30天。 谷歌研究人员强调,在为隐私敏感的应用程序部署大型语言模型时,需要额外谨慎。他们的研究结果强调了在开发未来的AI模型和ChatGPT等模型的广泛使用所带来的潜在风险,并对改进安全措施提出了思考。 总之,对ChatGPT中潜在数据漏洞的揭示对用户和开发人员都是一个警示。这种语言模型的广泛使用,与数百万人定期交互,凸显了优先考虑隐私和实施强大保护措施以防止未经授权的数据披露的重要性。

Leave a Comment

如何揭示GPT-4V在机器人视觉语言规划中的力量?见ViLa:一种简单而有效的人工智能方法,利用GPT-4V进行长期目标机器人任务规划

清华大学、上海人工智能实验室和上海启智研究院的研究人员通过引入视觉语言规划(VILA)解决了机器人任务规划中卓越性能的问题。VILA融合了视觉和语言理解,使用GPT-4V编码深奥的语义知识并解决复杂的规划问题,即使在零样本场景中也能做到。这种方法在开放世界的操作任务中具有异常的能力。 该研究探讨了LLM的进展以及对扩展视觉语言模型(VLM)的兴趣,用于视觉问答和机器人等应用。它将预训练模型的应用划分为视觉模型、语言模型和视觉语言模型。重点是利用VLM的视觉基础属性来解决机器人中长期规划中的挑战,通过常识知识来革新高层次的规划。由GPT-4V驱动的VILA在开放世界的操作任务中表现出色,展示了在日常功能中无需额外的训练数据或上下文示例而获得的有效性。 了解场景的任务规划是人类智能的一个关键方面,它依赖于语境理解和适应性。虽然LLM在编码复杂任务规划的语义知识方面表现出色,但它们的局限性在于对机器人的世界接口的需求。为了解决这个问题,机器人VILA是一种整合视觉和语言处理的方法。与先前的基于LLM的方法不同,VILA促使VLM根据视觉提示和高级语言指令生成可行步骤,旨在创建像机器人这样的实体代理,具备人类般的适应性和多样场景中的长期任务规划能力。 VILA是一种将视觉语言模型应用于机器人规划的规划方法。VILA直接将视觉融入推理过程中,利用与视觉领域相关的常识知识。GPT-4V(ision)是用于任务规划的预训练视觉语言模型。在真实机器人和模拟环境中的评估显示,VILA在多样的开放世界操作任务中优于现有的基于LLM的规划器。其独特功能包括空间布局处理、对象属性考虑和多模态目标处理。 VILA在开放世界操作任务中优于现有的基于LLM的规划器。它在空间布局、对象属性和多模态目标方面表现出色。凭借GPT-4V的动力,它可以解决复杂的规划问题,甚至在零样本模式下。VILA显著减少错误,并在需要空间布置、对象属性和常识知识的杰出任务中表现出色。 总而言之,VILA是一种高度创新的机器人规划方法,能够有效地将高级语言指令转化为可操作的步骤。它在整合感知数据和理解视觉世界的常识知识方面优于现有的基于LLM的规划器,特别是在处理复杂的长期任务时。然而,需要注意的是,VILA存在一些限制,如依赖于黑匣子式的VLM和缺乏上下文示例,这表明未来需要对这些挑战进行进一步的改进。

Leave a Comment

人类活动识别中的深度学习:这项AI研究利用树莓派和LSTM引入了自适应方法,以提高地点无关的准确性

Translate this HTML (keep the HTML code in the result) to Chinese: 人体行为识别(HAR)是一项研究领域,专注于开发基于来自各种传感器收集的数据自动识别和分类人类活动的方法和技术。HAR旨在使智能手机、可穿戴设备或智能环境等机器能够实时理解和解读人类活动。 传统上,使用可穿戴传感器和基于摄像头的方法。可穿戴传感器对用户来说不舒适且不方便。基于摄像头的方法需要侵入性安装,引发隐私问题。现有的HAR技术面临位置依赖性、对噪声敏感性以及在各种应用中识别多样化活动时需要更多灵活性等挑战,从智能家居到医疗保健和物联网(IoT)等应用。UTeM采用的方法提供了精确、适应性强且与位置无关的解决方案。 马来西亚梅尔卡大学(UTeM)的研究人员制定了一种人体活动识别(HAR)方法,以应对传统限制。他们引入了一种利用信道状态信息(CSI)和先进深度学习技术的系统。 该系统结合了信道状态信息(CSI)和长短时记忆(LSTM)网络。该系统提取无线通信信道状态的重要指标,实现实时分类和绝对位置无关的感知。LSTM网络通过对活动特征进行顺序学习,简化识别过程并适应不同人和环境中的活动变化。 研究人员强调,首先使用树莓派4和专用固件进行数据收集和预处理,以获取原始信道状态信息(CSI)数据,然后使用MATLAB进行优化,以提高质量和应用。 长短时记忆(LSTM)网络被用于从CSI数据中提取关键特征,从而实现对复杂人类活动的准确识别。他们对LSTM模型和分类流程进行了严格的训练,其中包括用于模式识别的在线阶段和用于增强性能的离线阶段。 该系统引入了使用LSTM算法的信号分割方法,以准确确定人类活动的起点和终点。 研究人员测试了该系统,并发现它在人类活动识别方面达到了令人印象深刻的97%的准确率。它展示了在适应新环境方面的能力,标志着HAR技术的重大进步。 研究人员强调了他们系统的卓越适应性。它可以轻松融入不同的环境,而无需进行大量的重新训练或主要更改。这种灵活性使其成为各个领域的实用解决方案,有效应对各种实际需求。这种方法代表了HAR技术的重大进步,具有在智能家居、医疗保健和物联网等多个行业产生重大影响的潜力。

Leave a Comment

15+ AI 开发工具(2023年12月)

GitHub Copilot GitHub Copilot是一种市场领先的人工智能辅助编码助手。作为一个能使开发人员以更高效的方式生成优质代码的工具,Copilot基于OpenAI的Codex语言模型开发。该模型既训练有自然语言理解能力,又有广泛的公共代码数据库,使其能够提供有见地的建议。从完成整行代码和函数到撰写注释,以及辅助调试和安全检查,Copilot为开发人员提供了宝贵的工具。 Amazon CodeWhisperer Amazon的CodeWhisperer是一个基于机器学习的代码生成器,可在Visual Studio和AWS Cloud9等各种IDE中提供实时编码建议。它基于大规模开源代码数据集进行训练,可以提供代码片段到完整功能的建议,自动化重复任务并提升代码质量,是寻求效率和安全性的开发人员的福音。 Notion AI 在Notion工作区中,AI助手Notion可以帮助完成各种与写作相关的任务,包括创造性、修订和概要。它提高了写电子邮件、工作描述和博客文章等任务的速度和质量。Notion AI是一个能够自动化各种写作任务的AI系统,从博客和列表到头脑风暴和创作写作都可以轻松地重新组织和转换AI生成的内容,使用拖放文本编辑器工具。 Stepsize AI Stepsize AI是一个旨在优化团队生产力的协作工具。作为一个项目历史记录和任务管理者,它与Slack、Jira和GitHub等平台集成,以简化更新并消除沟通不畅。其主要特点包括对活动的统一摘要、即时回答问题和强大的数据隐私控制。 Mintlify Mintlify是一个节省时间的工具,可直接在您喜爱的代码编辑器中自动生成代码文档。只需单击一次,Mintlify Writer就可以为您的函数创建结构良好、上下文感知的描述。非常适合开发人员和团队,在生成复杂函数的精确文档方面表现出色,因其高效和准确性而备受赞誉。 Pieces for Developers Pieces for…

Leave a Comment