Press "Enter" to skip to content

四海吧 Posts

深探:中国最新的语言模型的支配地位

在最新的进展中,DeepSeek LLM在语言模型领域崭露头角,拥有令人印象深刻的670亿个参数。DeepSeek LLM在庞大的英语和中文数据集上经过精心训练,并通过开源其7B/67B基础版和7B/67B聊天版,为研究合作设定了新标准。本文深入探讨了该模型在各个领域的卓越能力,并评估了其在复杂评估中的表现。 卓越的通用能力 DeepSeek LLM 67B基础版已通过在推理、编码、数学和中文理解等关键领域中胜过Llama2 70B基础版证明了其实力。该模型的实力延伸到多个领域,标志着语言模型演进的重要飞跃。 精通编码和数学 DeepSeek LLM 67B聊天版在编码方面表现出色,其HumanEval Pass@1得分为73.78。该模型在数学能力方面也表现卓越,GSM8K 0-shot得分为84.1,Math 0-shot得分为32.6。值得注意的是,它在具有挑战性的匈牙利国家中学考试中获得了惊人的65分,彰显出出色的泛化能力。 中文语言掌握能力 在与GPT-3.5的中文语言能力对比中,DeepSeek LLM 67B聊天版成为中文语言掌握能力的领先者。评估结果凸显了该模型的优势,标志着自然语言处理的重大进展。 评估见解 为了公正评估DeepSeek LLM 67B聊天版,开发者提供了新的问题集,减少了数据污染,并考虑到特定的测试集。匈牙利国家中学考试成为评估该模型数学能力的试金石,揭示了该模型在解决复杂问题方面的实力。 此外,谷歌于2023年11月15日发布的“指令遵循评估数据集”为评估DeepSeek LLM…

Leave a Comment

平衡创新与可持续性:在病理学深度学习中对环境责任的务实方法

“`html 这项研究深入探讨了病理学中存在的一个紧迫问题 – 深度学习所关联的显著二氧化碳当量(CO2eq)排放。这种环境影响可能成为普及医疗应用中深度学习的潜在障碍,迫切需要采取可持续的做法。随着世界日益依赖医疗技术进步,了解和缓解环境后果变得至关重要。 当前深度学习模型架构的发展趋势表现出越来越复杂的特点。来自不同机构的研究人员审查了这一发展及其潜在的环境影响。然而,他们提出了一个有说服力的解决方案,主张在模型选择上进行战略性转变。研究人员建议不要只注重最新和最大的模型,而是优先选择计算要求较低的模型。这种战略方法可以减少能源消耗,并引入模型修剪的概念。该技术可以精确删除不必要的参数,提高计算效率,同时保持最佳的模型性能。 所提出的解决方案包括几个关键策略,以平衡技术创新和环境责任。其中一个关键方面包括减少输入数据,特别是在病理学领域,大型全切片图像(WSIs)是常态。研究人员建议通过专用组织检测深度学习模型自动排除没有组织的区域。此外,该研究强调了在组织内选择最低需求的感兴趣区域(ROIs)的重要性,进一步简化流程并显著减少排放。 选择计算要求较低的模型的重点对于深度学习的环境影响具有深远意义。研究人员认为,较新较大的模型天然优于其前辈的假设在特定任务中可能不成立。他们的先前研究结果表明,较简单的深度学习模型在各种病理学任务中的表现可与更先进的模型相当,甚至更好。值得注意的是,一个相对简单、可训练参数较少的深度学习模型在显著减少CO2eq排放的同时,表现优于一个更深的模型。 此外,该研究引入了模型修剪的概念,作为增强可持续性的另一途径。模型修剪,也称为模型优化或压缩,涉及有策略地删除非必要的参数。研究团队的发现表明,经过修剪的分类模型在保持准确性的同时,产生的CO2eq排放比未经修剪的模型少20-30%。这一发现强调了战略模型开发的重要性,以确保深度学习在环境上的可持续性。 总之,这项研究在病理学中揭示了技术进步和环境责任之间的重要交汇点。所提出的方法为解决深度学习的生态影响提供了务实和环保的方法,同时不影响效率。随着医学界在技术进步中前进,这项研究呼吁进行范式转变,敦促研究人员和产业界在追求创新时优先考虑可持续性。通过采用这种做法,推动医疗技术的发展与减轻环境影响之间的微妙平衡变得可行,确保医疗创新的可持续未来。 “`

Leave a Comment

探索单细胞生物学中的人工智能前沿:对Geneformer和scGPT等零射基础模型的批判性评价

Translate from English to Chinese: 基于基因形态模型在单细胞生物学中的应用近来一直是研究人员讨论的热点话题。像scGPT、GeneCompass和Geneformer这样的模型是该领域的一些有希望的工具。然而,它们的有效性一直是一个令人担忧的问题,特别是在零-shot环境中,尤其是当这个领域涉及到探索性实验和缺乏明确的标签进行微调时。本论文基于此问题,对这些模型的零-shot性能进行了严格评估。 以前,有研究依赖于对特定任务进行微调,但由于该领域的特性以及高计算要求,当应用于单细胞生物学领域时,其局限性变得非常明显。因此,为了应对这一挑战,微软研究人员评估了Geneformer和scGPT基因形态模型在涉及多样数据集和多个任务的多个方面上的零-shot性能,如细胞类型聚类的嵌入表示效用、批效应校正和基于预训练目标的模型输入重构的效果。 选择这两个模型的原因是它们的预训练权重(在评估时的时间点上)是可用的。研究人员使用了五个不同的人类组织数据集进行评估,每个数据集都对单细胞分析提出了独特且相关的挑战。为了比较,研究人员还使用了一个名为scVI的生成模型,该模型在每个数据集上进行了训练。他们使用了以下指标来评估每个任务: 对于评估细胞嵌入,他们使用平均轮廓宽度(ASW)和平均Bio(AvgBIO)评分来计算细胞类型在嵌入空间内的唯一度。 对于批次整合,他们采用一种在0到1之间的变体AWS评分,0表示完全分离批次,1表示完美混合批次。 对于评估scGPT和Geneformer在预训练目标上的性能,分别使用均方差(MSE)和皮尔逊相关性。 在这两个度量标准上,scGPT和Geneformer的表现均不如基准策略。Geneformer在不同数据集上具有很大的方差,尽管scGPT在其中一个数据集上的表现优于基准模型scVI,但在另外两个数据集上表现较差。随后,研究人员评估了预训练数据集对模型性能的影响,主要集中在scGPT(四个变体)上,并发现所有模型变体的中位数得分有所改善。 在评估批次效应时,两个模型均表现不佳,常常落后于scVI等模型,这表明它们对零-shot环境中的批次效应并不完全稳健。在最后一组评估中,研究人员发现scGPT无法重构基因表达,而Geneformer的表现更好。与基准模型相比,他们观察到基准预测胜过所有scGPT变体,而Geneformer在其中一个数据集上的表现优于平均排名。 总之,研究人员对将scGPT和Geneformer应用于单细胞生物学的零-shot能力进行了全面分析,他们的分析突显了这些模型的不佳性能。他们的研究发现,scGPT在所有评估中优于Geneformer模型。最后,研究人员还提供了一些关于未来工作需要关注的见解,尤其是关于预训练任务、预训练数据集与下游分析任务性能之间的关系。

Leave a Comment

成为数据分析领袖与Rajan Sethuraman

在这一期的用数据引领节目中,LatentView Analytics的首席执行官Rajan Sethuraman讨论了他从安永(Accenture)到领导一个快速增长的分析公司的经历。他强调了转型LatentView所面临的挑战,特别强调了生成式人工智能、人才招聘和地理扩张。Rajan与那些打算从事数据分析职业的人分享了见解。 您可以在流行平台上收听这一期的Leading with Data,如Spotify、Google Podcasts和Apple。选择您喜欢的平台,享受深入的内容! 与Rajan Sethuraman的对话中的关键见解 分析公司从执行到战略伙伴的转变对于提供增强客户价值至关重要。 人才招聘应优先考虑技术、数学和商业技能的结合,培养持续学习的文化。 生成式人工智能正在革新分析,为个性化和高效解决方案打开了新的机会。 战略性的地理扩张和有机增长对于分析公司扩大市场份额和提升能力至关重要。 数据分析市场的迅速增长要求公司适应新兴趋势并探索相关机会。 加入我们即将举行的Leading with Data活动,与AI和数据科学领域的领导者进行深入讨论! 现在,让我们来看看Rajan Sethuraman在这个节目中提出的问题以及他的回答! 您是如何开始从事分析和数据科学的旅程的? 在安永(Accenture)工作了二十多年,然后在毕马威(KPMG)工作了一年之后,我于2016年6月加入了LatentView Analytics。LatentView对我非常吸引,它将我在管理咨询方面的背景、广泛的分析经验和后来在人才招聘和预测建模方面的专长相结合。我被LatentView能够通过数据分析解决复杂业务问题的能力所吸引。 从安永到LatentView Analytics的过渡是什么样的? 从安永转到LatentView是一个很大的改变,因为两家公司的规模差异很大。我被在像LatentView这样规模较小、充满活力的公司中发挥影响的潜力所吸引。在LatentView,文化活跃,有着聪明人员在解决具有挑战性的问题。我的角色从首席人力资源官发展到首席执行官,我致力于将LatentView从执行合作伙伴转变为我们客户的战略思想合作伙伴。…

Leave a Comment

首尔国立大学研究人员引入了LucidDreamer:一种突破性的人工智能方法,利用扩散建模在虚拟现实中实现领域无关的3D场景生成

商业混合现实平台的发展和3D图形技术的快速进步使得高质量的3D场景的创建成为计算机视觉中的主要挑战之一。这需要将任何输入的文本、RGB和RGBD图片转换为各种逼真且多样的3D场景的能力。尽管已经尝试使用体素、点云和隐性神经表示等扩散模型直接构建3D对象和场景,但由于基于3D扫描的训练数据的限制,结果显示出有限的多样性和质量。使用预先训练的图像生成扩散模型(例如稳定扩散)生成各种优秀的3D场景是解决问题的一种方法。这样一个庞大的模型通过从大规模训练集中获得的数据驱动知识生成可信的图像,但无法确保生成的图像之间的多视点一致性。 首尔大学的研究团队在本文中提出了一种名为LucidDreamer的流水线,它使用3D高斯喷洒和稳定扩散从多种输入(包括文本、RGB和RGBD)生成各种高质量的3D场景。通过交替重复进行Dreaming和Alignment两个步骤,使用LucidDreamer流水线创建一个单一的大点云。在开始这两个过程之前,原始图像和匹配的深度图创建了一个初始点云。创建几何一致的图像并将其投影到三维空间中是梦境体验的两个方面。在将可见点云区域在新的相机坐标系上投影到新的相机平面之前,研究团队沿着预定义的相机轨迹移动相机。随后,投影的图像被送入基于稳定扩散的修补网络,该网络利用图像创建整个概念。通过将修补的图像和预测的深度图提升到3D空间中,创建了一组新的3D点。然后,通过轻微移动新点在3D空间中的位置,建议的对齐技术将其平滑地与当前点云连接起来。研究团队使用通过重复执行上述过程得到的大型点云作为初始SfM点来优化高斯喷洒。 与先前的表示相比,3D高斯喷洒的连续表示消除了点云中深度差异导致的间隙,使我们能够显示出更逼真的3D场景。图1展示了使用简单的LucidDreamer技术生成的3D生成结果。与当前模型相比,LucidDreamer显示出显著更逼真和令人震撼的结果。在研究团队比较基于ScanNet、NYUDepth和稳定扩散的图片条件下创建的3D场景时,所有数据集都显示出更好的视觉效果。 图1:研究人员创建了LucidDreamer,这是一个基本框架,用于从文本、RGB和RGBD输入类型生成高质量、多视点一致的3D场景。在将RGBD图像映射到第一个点云以生成后,LucidDreamer重复进行两个过程来扩大和保持其世界模型:对齐和梦境。通过优化高斯喷洒表示,完成了3D场景。 他们的模型可以创建各种风格的3D场景,包括逼真、动漫、乐高和室内/室外。他们的概念支持多个领域,并允许同时使用多个输入条件。例如,它根据文本创建一个3D场景并添加图片,将文本和图像条件在一起。这消除了完全从文本中创建预期场景的困难,并消除了大量生成样本的需求。此外,他们的方法允许在创建3D空间时修改输入条件。这些特点通过提供构建各种3D设置的机会来激发创造力。 他们总结了以下贡献。 • 研究团队推出了LucidDreamer,这是一个领域无关的高质量3D场景生成工具,它使用显式3D表示、深度估计和稳定扩散来改进3D场景合成中的领域泛化。 • 他们的Dreaming方法通过生成点云作为每个图片生成的几何指引,利用稳定扩散生成多视角图像。使用他们的对齐技术巧妙地将生成的照片整合在一起,创建一个连贯的3D场景。 • 他们的方法允许用户通过支持多种输入类型(文本、RGB和RGBD)以多种方式生成3D场景,同时允许在生成过程中更换输入。

Leave a Comment

韩国大学的研究人员推出了HierSpeech++:一种具有突破性的人工智能方法,用于高保真度、高效率的文本转语音和语音转换

韩国大学的研究人员开发了一种新的语音合成器,名为HierSpeech++。 这项研究旨在创造出稳健、富有表现力、自然且类似人类的合成语音。 团队的目标是在不依赖文本-语音配对数据集的情况下实现这一目标,并改善现有模型的缺点。 HierSpeech++旨在填补语音合成中的语义和声学表征差距,从而最终改善风格适应性。 到目前为止,基于LLM的零样本语音合成存在一定的局限性。 但是,HierSpeech++已经针对这些限制进行了解决,并改进了鲁棒性和表现力,同时解决了与慢推断速度有关的问题。 通过利用基于文本和韵律提示的自监督语音和F0表示的文本到向量框架,已经证明了HierSpeech++优于基于LLM和扩散的模型的性能。 这些速度、鲁棒性和质量的提升确立了HierSpeech++作为一种功能强大的零样本语音合成器。 HierSpeech++使用分层框架生成语音而无需预先训练。 它采用文本到向量框架来开发基于文本和韵律提示的自监督地址和F0表示。 使用分层变分自编码器和生成的向量、F0和语音提示来产生语音。 该方法还包括高效的语音超分辨率框架。 全面评估使用各种预先训练的模型和实现,采用log-scale Mel错误距离、感知语音质量评估、音高、周期性、有声/无声F1分数、自然度、平均意见分和语音相似性MOS等客观和主观指标。 HierSpeech++在零样本情况下实现了合成语音的优越自然度,提高了鲁棒性、表现力和说话者相似性。 使用自然度平均意见分和语音相似性MOS等主观指标评估了语音的纯真性,并且结果显示HierSpeech++优于真实语音。 进一步将语音超分辨率框架从16 kHz提高到48 kHz,进一步提高了地址的自然度。 实验结果还证明,HierSpeech++中的分层变分自编码器优于基于LLM和扩散的模型,使其成为一种强大的零样本语音合成器。 研究还发现,使用噪声提示的零样本文本到语音合成验证了HierSpeech++在生成未知说话者的语音方面的有效性。 分层合成框架还可以实现多样化的韵律和语音风格转换,使合成语音更加灵活。 总而言之,HierSpeech提供了一种实现零样本语音合成人级质量的高效而强大的框架。 它在语义建模、语音合成、超分辨率和韵律和语音风格转换方面的解耦,提升了合成语音的灵活性。 即使在小规模数据集的情况下,该系统也表现出鲁棒性、表现力、自然度和说话者相似性的改进,并且具有显著更快的推断速度。…

Leave a Comment

见证关系深度学习基准(RelBench):一系列逼真、大规模且多样化的关系数据库机器学习基准数据集

在人工智能(AI)和机器学习(ML)这两个快速发展的领域中,寻找有效的、自动化的和适应性强的方法变得极其重要。AI和ML方法的不断提升已经改变了机器可以完成的事情以及人类如何与机器交互的可能性。 包括深度学习在内的AI领域完全依赖于数据,重要的数据存储在数据仓库中,通过主外键关系链接在多个表中分散存储。使用这样的数据开发ML模型存在许多困难,需要大量的时间和工作,因为现有的ML方法并不适合直接从跨越多个关系表的数据中学习。目前的方法要求将数据通过一种称为特征工程的过程转换成单个表。 为了克服这一挑战,斯坦福大学、Kumo AI、耶鲁大学、马克斯普朗克学院和伊利诺伊大学厄巴纳-香槟分校的研究团队最近提出了关系深度学习。这种端到端的深度表示学习技术可以处理分散在多个表中的数据。该方法已经被开发成一种将关系表作为异构图的基本方法。该图模型中的每个表行代表一个节点,而主外键关系定义了边。 使用消息传递神经网络(MPNNs),可以自动遍历并学习多个表,从而提取利用所有输入数据的表示,并且不需要任何手动特征工程。研究团队还提出了RELBENCH,这是一个包括基准数据集和关系深度学习实现的综合框架。这些数据集涵盖了各个领域,从亚马逊产品目录中的图书评论到像Stack Exchange这样的网站上的对话。 RELBENCH包含三个核心模块,具体如下: 数据模块:RELBENCH的数据模块提供了有效使用关系数据集的框架。其中包括三个重要特性:时间数据划分、任务规范和数据加载。 模型模块:该模块通过将未处理数据转换为图形表示来构建图神经网络(GNNs)的预测模型。使用强大的深度学习库PyTorch Geometric,RELBENCH对几种广泛使用的GNN架构进行了基准测试。该模块允许模型架构的灵活性,对于桥接预测模型和原始关系数据开发之间的差距至关重要。 评估模块:该模块创建了一个统一的评估模型性能的过程。它以系统化的方式评估预测文件,提供了模型的有效性的量化指标。该模块与各种受欢迎的深度学习工具配合使用,因为它被设计为与深度学习框架无关。这种适应性使研究人员和从业者可以使用他们选择的框架,而不会牺牲评估过程。

Leave a Comment

评估大型语言模型的质量和责任

与生成性人工智能相关的风险已经广为人知毒性、偏见、泄漏个人身份信息以及幻觉都会对组织的声誉和客户信任造成负面影响研究表明,不仅偏见和毒性风险会从预训练的基础模型转移到特定任务的生成性人工智能服务中,而且通过为特定任务调整基础模型还会产生如下影响[…]

Leave a Comment

扩展基于亚马逊SageMaker的数百种模型的基础模型推断-第一部分

随着粉底模型(FM)的民主化越来越普遍,并且对AI增强服务的需求不断增加,软件即服务(SaaS)提供商正在寻求使用支持多租户的机器学习(ML)平台,以便为他们组织内部的数据科学家和外部客户提供服务越来越多的公司意识到使用FM来生成[…]的价值

Leave a Comment

ChatGPT的代码解释器:GPT-4高级数据分析用于数据科学家

介绍 ChatGPT是由OpenAI开发的强大语言模型,凭借其理解和对人类输入进行对话回应的能力,席卷了全球。ChatGPT最令人兴奋的特点之一是其能够生成包括Python、Java、JavaScript和C++在内的各种编程语言的代码片段。这个特性使得ChatGPT成为开发人员的热门选择,他们可以通过它快速原型设计或解决问题,而不需要自己编写整个代码库。本文将探讨ChatGPT对数据科学家的高级数据分析代码解释器以及它的工作原理和生成机器学习代码的用途。我们还将讨论使用ChatGPT的一些优点和限制。 学习目标 了解ChatGPT的高级数据分析如何工作以及如何用它生成机器学习代码。 学习如何使用ChatGPT的高级数据分析来为使用Python的数据科学家生成代码片段。 了解ChatGPT的高级数据分析生成机器学习代码的优点和限制。 学习如何使用ChatGPT的高级数据分析设计和实现机器学习模型。 了解如何预处理机器学习数据,包括处理缺失值,编码分类变量,对数据进行归一化和缩放数字特征。 学习如何将数据拆分为训练集和测试集,并使用准确率、精确率、召回率、F1分数、均方误差、绝对误差、R平方值等指标评估机器学习模型的性能。 通过掌握这些学习目标,人们应该了解如何使用ChatGPT的高级数据分析生成机器学习代码并实现各种机器学习算法。他们还应该能够将这些技能应用到现实世界的问题和数据集上,展示他们在使用ChatGPT的高级数据分析处理机器学习任务方面的熟练程度。 本文作为”数据科学博客马拉松”的一部分发表。 ChatGPT的高级数据分析是如何工作的? ChatGPT的高级数据分析基于一种称为Transformer的深度学习模型,该模型经过大量文本数据的训练。Transformer使用自注意机制来理解输入文本的不同部分之间的上下文和关系。当用户输入提示或代码片段时,ChatGPT的模型根据训练数据学到的模式和结构生成响应。 ChatGPT的高级数据分析可以通过利用大量的在线代码来生成代码片段。ChatGPT的模型可以通过分析开源存储库和其他代码源学习各种编程语言的语法、语义和习惯用法。当用户请求生成相关且可行的代码片段时,ChatGPT的模型可以利用这些知识生成代码。 使用ChatGPT生成机器学习代码 机器学习是ChatGPT的高级数据分析最有前景的应用之一。随着深度学习和机器学习应用的兴起,它们越来越成为研究和开发的重要领域。然而,设计和实现这些模型可能复杂且耗时,需要在线性代数、微积分、概率论和计算机科学等方面具备专业知识。 ChatGPT的高级数据分析可以通过生成机器学习代码片段来简化这个过程,用户可以将这些代码片段集成到自己的项目中。例如,用户可以要求ChatGPT生成一个基于提供的以.csv格式输入的加利福尼亚州房价训练数据的线性回归技术的代码片段。ChatGPT的模型可以根据用户的输入生成包含必要导入、数据预处理步骤、模型架构和训练过程的代码片段。 将数据集上传到ChatGPT中的代码解释器,并在下面的提示框中输入。 提示: 使用sklearn对上述数据集执行线性回归,并显示所有步骤的Python代码。数据中的预测变量是median_house_value。 回答: 使用sklearn在“housing.csv”数据集上进行线性回归的步骤,以“median_house_value”作为目标变量,如下所示: 数据探索:加载数据集并快速检查其结构。 数据预处理:处理缺失值,对分类变量进行编码(如果有),并对数值特征进行缩放。 数据拆分:将数据集拆分为训练集和测试集。…

Leave a Comment

这篇AI研究评论探讨了卫星图像和深度学习在衡量基于资产的贫困方面的整合

“`html 来自隆德大学和哈尔姆斯塔德大学的研究人员通过卫星图像和深度机器学习对可解释的AI在贫困估计中进行了回顾。通过透明度、可解释性和领域知识强调,对32篇论文的分析显示,这些关键要素在可解释的机器学习中表现出变异性,无法完全满足对贫困和福利的科学洞察和发现的需求。 这项研究通过分析32篇预测贫困/财富的论文,使用调查数据作为基准真实性,在城市和农村环境中应用它,并涉及深度神经网络,发现这些核心要素的状态存在变异性,不能满足对贫困和福利洞察的科学要求。该回顾凸显了解释性对于开发社区范围内的更广泛传播和接受的重要性。 引言介绍了在识别弱势社区和了解贫困决定因素方面的挑战,指出了信息缺口和家庭调查的局限性。强调深度机器学习和卫星图像在克服这些挑战方面的潜力,并强调在科学过程中的可解释性、透明性、可解释性和领域知识的需求,并评估了使用调查数据、卫星图像和深度神经网络预测贫困/财富中的可解释的机器学习的状态。目标是在开发社区范围内增强更广泛的传播和接受。 通过进行综合文献综述,该研究分析了满足特定标准的32项关于贫困预测、调查数据、卫星图像和深度神经网络的研究。文章讨论了解释深度学习成像模型的属性图的使用,并评估了其可解释性。本回顾旨在概述所审查论文中的可解释性,并评估它们在贫困预测的新知识中的潜在贡献。 对论文的回顾揭示了可解释的机器学习的核心要素(透明度、可解释性和领域知识)的不同状态,无法满足科学要求。可解释性和可解释性较弱,很少有研究人员解释模型或解释预测数据的努力。在特征模型的选择中普遍使用领域知识,但在其他方面使用较少。实验结果突出了一些洞察,如模拟财富指数的局限性和低分辨率卫星图像的影响。其中一篇论文以其强有力的假设和领域知识的积极评价脱颖而出。 在贫困、机器学习和卫星图像领域,可解释的机器学习方法中透明度、可解释性和领域知识的状态各不相同,并未达到科学要求。对于开发社区范围内更广泛传播的可解释性,超出了单纯的可解释性。论文中的透明度参差不齐,有些文件有很好的文档记录,而其他文件则缺乏可复现性。解释性和可解释性方面的不足仍然存在,很少有研究人员解释模型或解释预测数据。虽然在基于特征的模型中普遍使用领域知识进行选择,但在其他建模方面应用较少。在冲击要素中的排序和排名是一个重要的未来研究方向。 “`

Leave a Comment