Press "Enter" to skip to content

3518 search results for "数据"

2024 年值得关注的前 12 位数据科学领袖

在蓬勃发展的数据科学领域,2024年的到来标志着关键时刻,我们将聚焦于一群杰出人物,他们推动创新,塑造着分析学的未来。《2024年十二位数据科学领袖榜单》作为一个指路明灯,庆祝这些人的卓越专业知识、远见领导力以及在该领域的重要贡献。让我们一起探索这些开创性思想家的故事、项目和有前瞻性的观点,他们承诺将塑造数据科学的发展轨迹。这些杰出领导者不仅是先驱者,更是引领我们进入一个无与伦比的创新和发现时代的先锋。 2024年十二位数据科学领袖榜单 随着我们临近2024年,我们将关注一群具有显著专业知识、领导能力和卓越贡献的人士。《2024年十二位数据科学领袖榜单》旨在承认和关注这些人,将他们视为思想领袖、创新者和预计在未来一年取得重大里程碑的影响者。 随着我们深入了解细节,明显地看到这些人的观点、举措和倡议能够改变我们在解决各个行业面临的复杂挑战时的方法和数据利用。无论是在预测分析方面的进展,还是对伦理人工智能实践的倡导,或者是开发尖端算法,这些名单上的人士都有望在2024年影响数据科学领域。 1. 吴恩达 “如今人工智能的主要挑战在于找到合适的业务背景来适应它。我热爱技术,它为我们提供了许多机会。但是最终,技术需要被融入到业务使用案例中。” 吴恩达博士是一位拥有机器学习(ML)和人工智能(AI)专业知识的英裔美籍计算机科学家。在谈到他对AI发展的贡献时,他是DeepLearning.AI的创始人,Landing AI的创始人兼首席执行官,AI Fund的普通合伙人,并且是斯坦福大学计算机科学系的兼职教授。此外,他曾是Google AI旗下Google Brain深度学习人工智能研究团队的创始领导者。他还曾担任百度的首席科学家,指导了一个由1300人组成的人工智能团队,并发展了公司的全球AI战略。 吴恩达先生负责领导斯坦福大学的大规模在线开放课程(MOOC)的发展。他还创办了Coursera,并为超过10万名学生提供机器学习(ML)课程。作为机器学习和在线教育的先驱者,他拥有卡内基梅隆大学、麻省理工学院和加州大学伯克利分校的学位。此外,他在机器学习、机器人学和相关领域发表了200多篇研究论文,并入选了《时代》杂志评选的全球最具影响力人物100人。 网站:https://www.andrewng.org Twitter:@AndrewYNg Facebook:Andrew Ng、Google Scholar。 2. Andrej Karpathy “我们本应让人工智能做所有工作,而我们玩游戏,但我们在做所有工作,而AI在玩游戏!” Andrej Karpathy是一位来自斯坦福大学的斯洛伐克-加拿大双博士学位获得者,在OреոΑӏ负责构建一种JARVIS。他曾担任特斯拉的人工智能和自动驾驶视觉总监。Karpathy对深度神经网络充满热情。他从多伦多开始,修读计算机科学和物理学的双学位,之后前往哥伦比亚深造。在哥伦比亚,他与Michiel van…

Leave a Comment

亚马逊研究人员利用深度学习增强用于复杂表格数据分析的神经网络

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-17-at-10.19.56-PM-1024×512.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-17-at-10.19.56-PM-150×150.png”/><p>神经网络,作为现代计算的奇迹,面对包含异质列的表格数据时遇到了重大障碍。这个挑战的实质在于网络无法有效处理表格内的多样化数据结构。为了解决这个问题,该论文探索了创新方法,以增强神经网络在处理这种复杂数据结构时的性能。</p><p>带有行和列的表格数据通常看似简单。然而,当这些列之间在性质和统计特征上有显著差异时,复杂性就出现了。传统神经网络由于对特定类型信息的固有偏向而难以理解和处理这些异质数据集。这种偏见限制了它们对表格数据中的复杂微妙之处的把握和解码能力。网络频谱偏向低频分量而非高频分量,从而进一步加剧了这个挑战。这些异质表格数据内部错综复杂的互联特征对于这些网络的把握和处理构成了一种巨大挑战。</p><p>在这篇<a href=”https://www.xiaozhuai.com/microsoft-introduces-a-new-approach-to-training-language-models-in-ai-research-the-method-mimics.html”>论文</a>中,来自亚马逊的研究人员提出了一种新方法,以克服这个挑战,该方法将表格特征转化为低频表示。这种转变技术旨在减轻神经网络的频谱偏见,使其能够捕捉嵌入在这些异质表格数据中的复杂信息所必需的高频成分。实验中对表格和图像数据集的傅里叶分量进行了严格分析,以提供关于频谱和网络解码能力的见解。所提议的解决方案的一个关键方面是在减少频率以提高网络理解力之间的微妙平衡,以及在改变数据表示时可能丧失重要信息或对优化产生负面影响的潜在风险。</p><p>该论文提供了全面的分析,说明频率减少转换对神经网络解读表格数据的影响。图表和经验数据展示了这些转换如何显著增强网络性能,特别是在解码合成数据中的目标函数方面。探索还扩展到评估常用的数据处理方法及其对频谱和后续网络学习的影响。这种细致的研究揭示了这些方法在不同数据集上的不同影响,强调了所建议的频率减少方法的卓越性能和计算效率。</p><p>论文的关键要点:</p><ul><li>神经网络在理解异质表格数据方面面临的固有挑战,包括偏见和频谱限制。</li><li>所提出的频率减少转换的方法增强了神经网络解码这些数据集内的复杂信息的能力。</li><li>全面的分析和实验验证了所提出方法在增强网络性能和计算效率方面的有效性。</li></ul>

Leave a Comment

中国的这篇AI论文介绍了UniRepLKNet:在图像、音频和时序数据分析中开创性地引入大核心ConvNet架构,以提高跨模态性能

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-15-at-7.10.23-PM-1024×689.png” /><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-15-at-7.10.23-PM-150×150.png” /><p>近年来,卷积神经网络(CNNs)在图像识别领域成为了一种流行的技术。它们在目标检测、分类和分割任务中取得了极高的成功。然而,随着这些网络变得更加复杂,也出现了新的挑战。来自腾讯人工智能实验室和香港中文大学的研究人员提出了四条指导方针,以解决大内核CNNs中的架构挑战。这些指导方针旨在通过将大内核的应用扩展到超越视觉任务的领域,如时间序列预测和音频识别,以提高图像识别的效果。</p><p>UniRepLKNet探索了具有非常大内核的ConvNets的功效,将其扩展到点云数据、时间序列预测、音频和视频识别等领域。尽管以前的研究以不同的方式引入了大内核,但UniRepLKNet专注于使用这些内核的ConvNets的架构设计。它在三维模式学习、时间序列预测和音频识别方面优于专门模型。尽管视频识别精度略低于技术模型,但UniRepLKNet是一个从头开始训练的通用模型,提供了在各种领域中的多功能性。</p><p>UniRepLKNet引入了用于具有大内核ConvNets的架构指南,强调宽广的覆盖面而不过度深入细节。这些指导方针解决了Vision Transformers(ViTs)的局限性,专注于高效的结构、重新参数化卷积层、基于任务的内核大小和整合3×3卷积层。UniRepLKNet在图像识别方面优于现有的大内核ConvNets和近期架构,展示了其高效性和准确性。它在超越视觉的任务中展示了普遍的感知能力,在时间序列预测和音频识别方面表现出色。UniRepLKNet展示了在学习点云数据中的三维模式上的多才多艺,超过了专门的ConvNet模型。</p><p>该研究为大内核ConvNets引入了四条架构指南,强调大内核的独特特性。UniRepLKNet遵循这些指南,利用大内核在图像识别中超越竞争对手。它展示了普遍的感知能力,在时间序列预测和音频识别方面表现出色,而无需特定的自定义。UniRepLKNet在学习点云数据中的三维模式方面也显示出多样性,超过了专门的ConvNet模型。引入了膨胀再参数块以增强非膨胀大内核卷积层的性能。UniRepLKNet的架构将大内核与膨胀卷积层相结合,捕捉小尺度和稀疏模式以提高特征质量。</p><p>UniRepLKNet的架构在图像识别任务中取得了一流的性能,具有88.0%的ImageNet准确率,55.6%的ADE20K mIoU和56.4%的COCO box AP。在全球温度和风速预测挑战中,它在时间序列预测和音频识别方面的MSE和MAE方面优于竞争对手,展示了其普遍的感知能力。UniRepLKNet在学习点云数据中的三维模式方面表现出色,超过了专门的ConvNet模型。该模型在语义分割等下游任务中展示出有希望的结果,证实了其在各个领域中的卓越性能和效率。</p><p>总之,研究的要点可以概括如下:</p><ul><li>该研究为大内核ConvNets引入了四条架构指南</li><li>这些指导方针强调了大内核ConvNets的独特特性</li><li>UniRepLKNet是根据这些指导方针设计的ConvNet模型,在图像识别任务中优于竞争对手</li><li>UniRepLKNet展示了普遍的感知能力,在时间序列预测和音频识别方面表现出色,无需定制</li><li>UniRepLKNet在学习点云数据中的三维模式方面具有多样性,超过了专门的模型</li><li>该研究引入了膨胀再参数块,增强大内核卷积层的性能</li><li>该研究提供了宝贵的架构指南,介绍了UniRepLKNet及其能力,并提出了膨胀再参数块的概念</li></ul>

Leave a Comment

本AI论文介绍了BioCLIP:利用TreeOfLife-10M数据集来改变生物学和保护中的计算机视觉

许多生物学的分支,包括生态学、进化生物学和生物多样性学,越来越多地将数字图像和计算机视觉作为研究工具。现代技术极大地提高了他们分析来自博物馆、相机陷阱和公民科学平台的大量图像的能力。这些数据随后可以用于物种划分、理解适应机制、估计种群结构和丰度,以及监测和保护生物多样性。 然而,当试图使用计算机视觉来解决生物学问题时,寻找和训练适合特定任务的合适模型,并手动标记足够的数据以用于特定物种和研究仍然是重大挑战。这需要大量的机器学习知识和时间。 来自俄亥俄州立大学、微软、加州大学欧文分校和伦斯勒理工学院的研究人员正在研究在该努力中构建“生命之树”基础视觉的模型。该模型必须满足以下要求,以便广泛适用于真实生物学任务。首先,它需要能够适应调查各种不同类群的研究人员,而不仅仅是一个类群,并且最好能够推广到整个生命之树。此外,它应该获取生物图像的细粒度表示,因为在生物学领域常常会遇到外观相似的生物体,例如同属或为了适应而模仿对方外观的近亲物种。由于生命之树将生物事物组织成广泛的群组(如动物、真菌和植物)和非常细粒度的群组,这种粒度水平是重要的。最后,在数据收集和标记在生物学中的高昂费用的情况下,具有低数据区域(即零样本或少样本)的优秀结果是至关重要的。 当前训练在数亿张图像上的通用领域视觉模型在应用于进化生物学和生态学时表现不佳,尽管这些目标对计算机视觉来说并不新鲜。研究人员确定了在生物学中创建视觉基础模型的两个主要障碍。首先,需要更好的预训练数据集,因为目前可用的数据集在规模、多样性或标签细粒度方面都不足。其次,由于当前的预训练算法不能很好地满足这三个主要目标,因此有必要找到更好的预训练方法,利用生物领域的独特特征。 考虑到这些目标和实现障碍,团队提出了以下内容: TREEOFLIFE-10M,一个庞大的ML准备生物学图片数据集 BIOCLIP是一个基于适当类群在TREEOFLIFE-10M中进行训练的生命之树的视觉模型。 TREEOFLIFE-10M是一个广泛而多样的生物图像数据集,适用于ML。研究人员已经策划和发布了迄今为止最大的ML准备生物学图像数据集,其中包含超过1000万张照片,涵盖了生命之树上的45.4万个类群,并附带有分类标签。仅有270万张照片代表10,000个类群的iNat21是最大的ML准备生物学图像集合。现有的高质量数据集,如iNat21和BIOSCAN-1M,已纳入TREEOFLIFE-10M中。TREEOFLIFE-10M中的大部分数据多样性来自生命百科全书(eol.org),其中包含了该来源的最新选定的照片。TREEOFLIFE-10M中的每张图像的分类层次和更高分类排名都进行了最大程度的注释。借助TREEOFLIFE-10M,可以培训BIOCLIP和其他生物学的未来模型。 BIOCLIP是基于视觉的生命之树的表示。在像TREEOFLIFE10M这样的大规模标记数据集上训练视觉模型的一个常见且简单的方法是使用监督分类目标,从图像中学习预测分类标志。ResNet50和Swin Transformer也使用了这种策略。然而,这种方法忽视并没有利用复杂的分类系统——类群不是孤立存在的,而是在一个完整的分类系统中相互关联。因此,使用基本的监督分类进行训练的模型可能无法对未知的类群进行零样本分类或对训练期间不存在的类群进行很好的泛化。相反,团队采用了一种新方法,将BIOCLIP的广泛生物分类与CLIP风格的多模式对比学习相结合。通过使用CLIP对比学习目标,他们可以在将分类系统从王国级别扁平化为代表分类名称的字符串之后,学习将图片与相应的分类名称关联起来。当使用不可见的类群的分类名称时,BIOCLIP还可以进行零样本分类。 团队还建议并展示了一种混合文本类型训练技术的益处;这意味着他们保留了分类学名称的概括性,但在测试时更具灵活性,通过结合多种文本类型(例如,科学名称与通用名称)进行训练。例如,下游用户仍然可以使用通用物种名称,而BIOCLIP将表现出色。他们对BIOCLIP进行了全面评估,涵盖了涉及植物、动物和昆虫的十个细粒度图片分类数据集,以及一个专门策划的罕见物种数据集,在训练过程中未使用。BIOCLIP显著超过了CLIP和OpenCLIP,在少样本和零样本情况下,分别取得了平均绝对提升17%和18%的成绩。此外,它的内在分析可以解释BIOCLIP更好的泛化能力,表明它已经学习到了符合生命之树的分层表示。 尽管团队使用了CLIP目标来有效地学习数十万个分类群的视觉表示,BIOCLIP的训练仍然专注于分类。为了使BIOCLIP能够提取细粒度的特征级表示,他们计划在未来的工作中加入来自inaturalist.org的研究级照片,该网站拥有1亿张照片或更多,并收集物种外观的更详细的文本描述。

Leave a Comment

探索AI的新领域:谷歌DeepMind的研究关于通过ReSTEM自我训练推进机器学习超越人类生成的数据

大型语言模型(LLMs)正在通过展示惊人的文本生成能力和执行各种语言任务而改变深度学习。获得高质量的与人类相关的数据是一个重大障碍,即使使用人类收集的数据进行监督微调(SFT)也能进一步提高它们在感兴趣的任务上的性能。这对需要大量资源和专业知识的复杂问题解决任务尤为困难。为了克服这一障碍,模型生成的合成数据在其质量能够得到保证的情况下被认为是一种可扩展且经济实惠的解决方案。 来自Google Deepmind和Mila的研究人员在这项研究中研究了一个更加简单的场景,其中外部的标量反馈信号作为每个生成样本的质量指标,即使LLMs能够自行评估生成的数据。研究团队提出了一种简单而有效的语言模型自训练技术,只涉及两个技能:1) 使用模型创建样本,2) 使用评分机制评估这些样本。这种方法使我们能够研究在模型创建的数据上进行训练。研究团队使用了加强自训练的命名方式,并将这种技术称为ReST𝐃𝑀,以实现统一性和清晰度。研究团队演示了如何将ReST𝐃𝑀视为使用期望最大化进行强化学习。 具体而言,ReST𝐃𝑀在以下方式上在期望和最大化阶段之间切换:1. 生成 (E-step):对于每个输入背景,语言模型产生多个输出样本。然后,研究团队通过使用二进制奖励来筛选这些样本,以收集训练数据集。2. 改进 (M-step):使用前面生成阶段的训练数据集来对原始语言模型进行监督和微调。然后,下一个生成阶段使用调整后的模型。ReST𝐃𝑀及其变体已经证明在许多领域的语言模型中提高了效能,例如机器翻译、语义解析和偏好对齐。 ReST𝐃𝑀主要在以前关于非常小型语言模型(最多7B参数)的研究中使用,对于更大的模型而言,其可扩展性有限。他们的工作旨在通过比较模型创建的合成数据的可扩展性和有效性与人类提供的数据在两个具有挑战性但研究不足的领域中: 代码生成 (APPS) 和具有竞争水平的数学问题解决 (MATH)。他们的研究结果表明,将ReST𝐃𝑀应用于不同规模的PaLM 2模型可以显著改善数学推理和代码生成能力。 令人惊讶的是,通过模型生成的人工数据进行改进的模型在性能上大幅优于以人类提供的数据训练的模型。此外,经过几个ReST𝐃𝑀周期后,改进效果会减弱,表明可能会过度拟合数量有限的训练案例。此外,使用ReST𝐃𝑀进行优化的模型增强了 pass@k 和多数投票能力。最后,这些改进的模型在类似但不同的基准测试中展现出增强的性能,包括Big-Bench Hard任务、编码(HumanEval)和算术问题(GSM8K和Hungarian HS决赛)。最后,还进行了消融研究,以调查训练问题、迭代次数和模型生成解决方案数量对ReST𝐸𝑀微调的影响。

Leave a Comment

“2024年成功的数据科学家如何在科技行业找到工作 —— 一种三步获胜的求职策略”

我最近对数据科学家进行了一项调查,并发现了一个令人震惊的数字——86%的人盲目地发送工作申请,并希望能得到最好的结果希望并不是一种策略,在这样的时代…

Leave a Comment

Can't find what you're looking for? Try refining your search: