Press "Enter" to skip to content

四海吧 Posts

通过优化减少人工智能训练中的碳足迹

密歇根大学的研究人员开发了一个名为Zeus的开源优化框架,用于解决深度学习模型的能源消耗问题。随着使用更大模型和更多参数的趋势增长,训练这些模型所需的能量需求也在增加。Zeus通过在训练过程中识别能源消耗和训练速度之间的最佳平衡来解决此问题,而无需进行任何硬件更改或新基础设施。 Zeus通过使用两个软件开关实现这一目标:GPU功率限制和深度学习模型的批大小参数。GPU功率限制控制GPU消耗的电量,批大小参数控制在更新模型对数据关系的表示之前处理多少个样本。通过实时调整这些参数,Zeus旨在最小化能源消耗,同时尽可能少地对训练时间产生影响。 Zeus设计用于与各种机器学习任务和GPU配合使用,并且可以在不更改硬件或基础设施的情况下使用。此外,研究团队还开发了名为Chase的补充软件,该软件可以通过在低碳能源可用时优先考虑速度,在高峰时段优先考虑效率来降低DNN训练的碳足迹。 研究团队的目标是开发出符合实际情况、能够减少DNN训练的碳足迹并不与大型数据集大小或数据规定等约束冲突的解决方案。虽然由于需要使用最新数据而不总是可以将训练工作推迟到更绿色的时间范围内,但Zeus和Chase仍然可以在不牺牲准确性的情况下提供显著的能源节约。 通过减少深度学习模型的能源需求,Zeus和Chase的开发是解决深度学习模型能源消耗问题的关键一步。研究人员可以在不影响训练时间的情况下展示出显著的能源节约,从而减轻人工智能对环境的影响并促进可持续实践。 总之,Zeus是一个开源优化框架,旨在通过识别能源消耗和训练速度之间的最佳平衡来减少深度学习模型的能源消耗。通过调整GPU功率限制和批大小参数,Zeus最小化能源使用,同时不影响准确性。Zeus可以与各种机器学习任务和GPU配合使用,而补充软件Chase可以降低DNN训练的碳足迹。Zeus和Chase的开发促进了人工智能领域的可持续实践,并减轻了其对环境的影响。

Leave a Comment

Kevin Baragona,DeepAI创始人兼首席执行官 – 访谈系列

DeepAI创始人Kevin Baragona是一位拥有十多年经验的专业软件工程师和产品开发人员他在设计和开发DeepAI时的目标是创建一个全面的平台,对于一般从业人员来说直观易用,对于开发人员来说可以将DeepAI集成到他们的项目中,并向初学者介绍人工智能的新 […]

Leave a Comment

最佳AI图像增强和放大工具(2023年)

以下是一些顶级的人工智能图片放大和增强工具: HitPaw 图片增强器 (编辑推荐) 您可以使用 HitPaw 来编辑视频/图片,转换/下载 YouTube 视频,录制屏幕/摄像头,去除水印,压缩和提升图像质量。它是最佳的人工智能图像增强器之一,可以减少模糊并扩大照片而不损失质量。这款专业级的照片编辑程序能够完美地解决模糊的图片问题,并且其人工智能模型可以用于改善任何情况下的图片质量。该网站还提供技术来修复过时的照片。例如,AI 人脸增强器可以创建一个人脸模型,使您的脸无瑕疵,并将黑白照片着色以立即恢复过时的照片。 通过先进的AI降噪技术,降噪模型可以自动消除高ISO和光线不足的照片中的噪点,并提高卡通图片的清晰度。最简单的方法是将通用模型应用于增强实际场景的图片,例如建筑和风景。 立即查看 Icons8 Icons8 是一款由人工智能(AI)驱动的图片放大器。在线图片放大器 Icons8 是免费使用的。多亏了该工具的机器学习功能,您可以将图片放大两倍或四倍而不损失质量。 Icons8 是一款非常好的工具,可以自动修复图片缺陷并提高图像质量。Icons8 提供了完全自动化的过程,可以集成锐化、降噪和放大。只需将图片拖放到网站上,它就会自动放大,等待几秒钟,然后下载生成的图片。 AI Deep Image (编辑推荐) Deep…

Leave a Comment

这篇人工智能论文介绍了一种新颖的无需模拟的目标函数,用于学习通用源分布和目标分布之间的连续时间随机生成模型

一种能够描述高维空间中复杂分布的强大生成模型是基于得分的生成模型(SBGMs),其中包括扩散模型。通常使用随机微分方程(SDE)模拟基于几乎总是高斯的源密度来产生样本。尽管基于模拟的去噪目标优化需要高斯源的假设,但SBGMs受其对高斯源的假设的限制,尽管其经验成功。由于物理或生物系统的时间发展中经常违背这一假设,如单细胞基因表达数据的情况,因此无法使用SBGMs来理解潜在动力学。 连续正则化流(CNFs),也称为流式生成模型,已成为解决这些问题的选择方法。通过普通微分方程(ODE)将源密度转换为目标密度,该ODE在流式模型中假设了确定性连续时间生成过程。以往的研究引入了无需模拟的训练目标,使得在假设高斯源的情况下,CNFs可以与SBGMs竞争,并且这些目标已扩展到任意源分布的情况。流式模型以前受到基于模拟的训练目标的限制,这些目标在训练时要求对ODE进行昂贵的积分。 然而,这些目标仍然需要涵盖学习随机动力学,这对于生成建模和恢复真实系统的动力学可能是有用的。薛定谔桥问题(SB)考虑了在某个参考过程下,源概率分布与目标概率分布之间的最可能演化。它是两个任意分布之间的随机映射的基本概率形式。建模自然随机动力学系统、平均场博弈和生成建模等问题都是使用SB问题的几个应用。SB问题通常缺乏封闭形式的解,除了几种特殊情况(如高斯)。但是,可以使用需要复制已学习的随机过程的迭代技术来近似它。 尽管在理论上有效,但这些方法存在数值和实际问题,仅允许高维缩放。魁北克Mila AI研究所、蒙特利尔大学、麦吉尔大学、多伦多大学和Vector研究机构的研究人员研究了薛定谔桥问题的无模拟得分和流匹配(2M)目标。 2M通过SB问题与熵最优传输(OT)之间的关系,将CNFs的无模拟目标和扩散模型的去噪训练目标同时推广到随机动力学和任意源分布上。 2M可以从源分布和目标分布之间的静态熵最优传输映射中受益,这些映射通过Sinkhorn方法或随机算法有效地近似,而不是需要在每次迭代中模拟SDE的动态SB方法。他们使用模拟和真实数据集展示了2M的实用性。在人工数据上,他们证明了2M在生成建模度量方面优于先前的类似工作,并发现了对真实薛定谔桥的更准确近似。他们通过将一系列薛定谔桥作为交叉测量序列(即不配对的时间序列观测)的建模来应用到实际数据中。 尽管先前已经有几种在静态或低维动态设置中使用薛定谔桥对细胞进行建模的方法,但2M是首个可以扩展到数千个基因维度的方法,因为它的训练不需要模拟。他们还提供了一个静态流形测地线映射,展示了薛定谔桥近似在非欧几里德成本下的最早的实际应用之一,从而增强了动态环境中的细胞插值。最后,他们证明,与静态最优传输示例相比,他们可以直接建模和重构控制细胞动力学的基因-基因相互作用网络。代码和示例可在GitHub上获取。

Leave a Comment

2023年最佳开源情报(OSINT)工具

“OSINT” 是指开源情报软件,用于从公开来源收集数据的程序。OSINT工具主要用于对目标进行情报收集,无论是个人还是公司。 以下是一些最常见的OSINT工具(无特定顺序): Maltego Maltego是一个灵活的开源情报平台,可以缩短和加速查询。它提供对58个数据源的访问,允许您手动添加数据,并具有最多100万个实体的数据库。其强大的可视化功能还允许您选择各种格式,如块状、分层或圆形图,并添加权重和注释,以进行更细致的分析。 Maltego的能力可以为信任和安全团队、执法部门和网络安全专家提供令人信服的调查结果和易于理解的洞察力。 Intel 471 Intel 471是一个免费的开源OSINT侦察工具,可以收集和分析各种信息,如IP地址、CIDR范围、域名和子域名、AS号码、电子邮件地址、电话号码、姓名和用户名,甚至比特币地址。 Intel 471拥有超过200个模块,可以执行最广泛的操作,并揭示有关任何目标的重要事实。它提供命令行界面和内置的Web服务器,配备用户友好的GUI界面,两者都可以在GitHub上找到。 您可以使用它来查看您的公司是否存在由于数据暴露而导致的安全漏洞。总体而言,它是一个强大的网络情报工具,可以揭示有关潜在危险的互联网组织的以前未知的信息。 OSINT Framework 开源情报(OSINT)框架是一个很好的工具。它比独立调查每个应用程序和工具更方便,因为它包含了从数据源到有用连接到成功工具的一切。 这个列表不仅限于Linux,还提供了其他操作系统的替代方案,使其成为一个通用资源。事实上,拥有如此组织良好的资源比以往任何时候都更有益处;唯一的困难在于制定一种有效的搜索技术,缩小结果范围,如车辆注册或电子邮件地址。开源情报(OSINT)框架正成为收集情报和组织数据的首选工具。 SEON 在当今数字经济中,使用一个人的社交媒体和其他在线账户来证明他们的身份变得越来越普遍。SEON已经在验证数字身份方面处于领先地位。 您的公司可以通过其电子邮件和电话号码系统访问超过50个社交信号,这些信号组合形成全面的风险评估。这些信号不仅可以验证客户的电子邮件地址或电话号码,还可以获取有关客户在线行为的其他信息。 除了易于使用和访问之外,SEON还允许组织直接通过API或甚至通过Google Chrome插件进行查询。 Lampyre Lampyre是一款以OSINT为重点的高级软件,可以有效地进行尽职调查、网络威胁情报、刑事调查和金融分析。您可以通过单击一次安装在计算机上,也可以在浏览器中使用。 Lampyre可以自动分析100多个经常更新的数据源,从一个单一的数据点(如公司注册号、完整名称或电话号码)开始。…

Leave a Comment

人工智能歧视非母语英语使用者

最近的一项研究揭示了关于人工智能(AI)的一个令人不安的真相:用于检测论文、求职申请和其他形式工作的算法可能会无意中对非母语英语人士进行歧视。这种偏见的影响广泛,影响到学生、学者和求职者。由斯坦福大学生物医学数据科学助理教授詹姆斯·邹领导的这项研究揭示了AI文本检测器造成的令人震惊的差距。随着像ChatGPT这样的生成式AI程序的崛起,审查这些检测系统的准确性和公平性变得至关重要。 还阅读:No More Cheating! Sapia.ai实时捕捉AI生成的答案! AI文本检测器的意外后果 在学术诚信至关重要的时代,许多教育工作者认为AI检测是对抗现代作弊形式的重要工具。然而,该研究警告称,这些检测系统经常宣传的99%准确率是误导性的。研究人员敦促对AI检测器进行更仔细的检查,以防止对非母语英语人士的无意识歧视。 还阅读:Massive Stack Exchange Network因AI生成内容标记而罢工 测试揭示对非母语英语人士的歧视 为了评估流行的AI文本检测器的性能,邹和他的团队进行了一项严格的实验。他们提交了由非母语人士撰写的91篇英语作文,供七个知名的GPT检测器评估。结果令人震惊。超过一半的为托福(TOEFL)设计的作文被错误地标记为AI生成的。一个程序竟然将98%的作文分类为机器生成的。与之形成鲜明对比的是,当美国的母语英语八年级学生撰写的作文接受相同评估时,检测器正确地将超过90%的作文识别为人类撰写。 欺骗性的宣称:99%准确性的神话 研究中观察到的歧视结果源于AI检测器如何评估人类和AI生成文本之间的区别。这些程序依赖一种称为“文本困惑度”的指标,来衡量语言模型在预测句子中下一个单词时变得多么惊讶或困惑。然而,这种方法会对非母语人士产生偏见,因为他们通常使用更简单的词汇选择和熟悉的模式。像ChatGPT这样的大型语言模型,被训练成产生低困惑度的文本,无意中增加了将非母语英语人士错误地识别为AI生成的风险。 还阅读:AI-Detector将美国宪法标记为AI生成的 改写叙述:一个矛盾的解决方案 鉴于AI检测器的固有偏见,研究人员决定进一步测试ChatGPT的能力。他们要求该程序重写托福作文,运用更复杂的语言。令人惊讶的是,当这些修改后的作文接受AI检测器评估时,它们都被正确标记为人类撰写。这个矛盾的发现表明,非母语作者可能更广泛地使用生成式AI来规避检测。 还阅读:好莱坞作家罢工反对AI工具,称其为“剽窃机器” 对非母语作者的深远影响 该研究的作者强调了AI检测器对非母语作者造成的严重后果。大学和工作申请可能会被错误地标记为AI生成的,从而在在线上边缘化非母语讲者。像谷歌这样降低AI生成内容排名的搜索引擎进一步加剧了这个问题。在教育领域,GPT检测器应用最广泛,非母语学生面临更大的被错误指控作弊的风险。这对他们的学术生涯和心理健康是有害的。 还阅读:欧盟呼吁采取措施识别深度伪造和AI内容 超越AI:培养道德生成式AI的使用 塞浦路斯开放大学算法透明度研究中心的贾娜·奥特巴赫建议采取不同的方法来应对AI的潜在陷阱。她主张不仅仅依靠AI来应对与AI相关的问题,而是倡导一种培养道德和创造性利用生成式AI的学术文化。奥特巴赫强调,随着ChatGPT在基于公共数据的学习和适应,它最终可能会超过任何检测系统。 还阅读:OpenAI引入超级对齐:为安全和对齐的AI铺平道路…

Leave a Comment

在AWS服务中构建一个完整的Web应用程序

介绍 当我们开始学习AWS时,通常我们只学习一些零碎的知识,比如一些核心服务;在AWS控制台上操作,我们可以创建一个新的EC2实例或者一个S3存储桶,并且上传一些东西。但是在大多数情况下,我们无法将所有的服务整合到一个实际的应用程序中。我们知道了不同的AWS服务,但是无法将它们整合成一个实际可用的东西。如果你有同样的感觉,你来对地方了。在完成本文之后,你将能够构建一个托管在AWS中的密码管理应用程序,它在AWS服务器中进行计算,用户数据将通过API Gateway发送到后端服务器,最终结果将在浏览器中显示,并且还将数据存储在AWS数据库中。 在继续之前,请确保你有一个AWS账户并且可以访问控制台。本文不需要对AWS有先前的了解;如果你对AWS有一些基本的了解,那将会有帮助,即使你不了解,你也应该能够跟随我们构建应用程序。本文不是对任何AWS服务的深入探讨,而是将它们全部整合到一个工作的应用程序中。 学习目标 通过整合不同的AWS服务创建一个端到端的Web应用程序。 学习如何使用AWS Amplify部署和托管Web应用程序。 学习如何使用AWS Lambda创建后端服务器。 学习如何使用API Gateway在前端和后端组件之间进行数据传输。 学习如何从AWS DynamoDB数据库中存储和检索数据。 我们将构建的服务和应用程序概述 本文使用五个AWS服务从零开始构建端到端的Web应用程序,如上图所示。我们将创建一个安全密码管理应用程序,通过输入密码的名称、长度和属性(大写字母、小写字母、数字、特殊字符)生成和存储安全密码。这是一个简单的应用程序,但它将所有的主要组件整合在一起,可以用来构建一个更大的实际应用程序。 我们需要做什么来构建这个应用程序? 1. 我们必须创建和托管一个用户将在其浏览器中导航的网页。 2. 我们需要一种方法来调用密码生成功能。 3. 我们需要一种计算结果的方法。 4. 我们需要一种存储结果的方法,并且需要一种将结果返回给用户的方法。…

Leave a Comment

机器学习(ML)实验追踪和管理的顶级工具(2023)

在机器学习项目中,获得单个模型训练运行的良好结果是一回事,但保持机器学习试验的良好组织并从中得出可靠结论是另一回事。 实验跟踪为这些问题提供了解决方案。机器学习中的实验跟踪是保留每个实验的所有相关数据的实践。 实验跟踪由机器学习团队以多种方式实施,包括使用电子表格、GitHub或内部平台。然而,使用专门用于管理和跟踪机器学习实验的工具是最高效的选择。 以下是机器学习实验跟踪和管理的顶级工具 Weight & Biases Weight & Biases是一个用于模型管理、数据集版本控制和实验监控的机器学习框架。实验跟踪组件的主要目标是帮助数据科学家记录模型训练过程的每个步骤,可视化模型并比较试验。 Weight & Biases可以在本地和云端使用。Weights & Biases在集成方面支持多种不同的框架和库,包括Keras、PyTorch环境、TensorFlow、Fastai、Scikit-learn等。 Comet 数据科学家可以使用Comet ML平台跟踪、比较、解释和优化实验和模型,从训练到生产的整个模型生命周期。对于实验跟踪,数据科学家可以记录数据集、代码更改、实验历史和模型。 Comet提供给团队、个人、学术机构和企业使用,适用于希望进行实验、促进工作并快速可视化结果的所有人。它可以在本地安装或用作托管平台。 Sacred + Omniboard 机器学习研究人员可以使用开源程序Sacred配置、安排、记录和复制实验。尽管Sacred缺乏出色的用户界面,但您可以将其与一些仪表盘工具(如Omniboard,还可以使用其他集成,如Sacredboard或Neptune)进行链接。 尽管Sacred缺乏其他工具的可扩展性,并且没有为团队协作而设计(除非与其他工具结合使用),但它对于独立研究有很多可能性。 MLflow…

Leave a Comment

生成式人工智能和MLOps:高效和有效的人工智能开发的强大组合

人工智能在几乎所有可能的领域都取得了显著的进展。它给创造力提供了翅膀,提升了分析和决策能力。在过去几个月中,生成式人工智能变得越来越受欢迎。从组织到人工智能研究人员,每个人都在探索生成式人工智能在产生独特和原创内容方面的巨大潜力,而且还可以在各个领域产生这些内容。 什么是生成式人工智能? 生成式人工智能是指使用算法来生成、操纵和合成数据的任何类型的过程。它可以解释为人工智能的一个子集,通过从现有数据中学习来生成新数据。新内容具有一定的创造力和独特特征,可以是图像或可读文本形式的数据,并生成之前不存在的内容。 生成式人工智能如何被使用? 生成式人工智能自引入以来一直在快速发展。大型语言模型(LLMs)的发展可以说是生成式人工智能突然增长的主要原因之一。LLMs是设计用于处理自然语言和生成类似人类回应的人工智能模型。OpenAI的GPT-4和Google的BERT是近年来取得重大进展的杰出示范,从聊天机器人和虚拟助手的开发到内容创作。生成式人工智能被应用于内容创作、虚拟助手的开发、人类模仿聊天机器人、游戏等领域。生成式人工智能也被应用于医疗保健行业,为患者生成个性化的治疗计划,提高医疗诊断的准确性等。 什么是MLOps? 随着每个公司都试图将AI ML的潜力融入其服务和产品中,MLOps变得越来越受欢迎。MLOps(机器学习运营)是机器学习工程的一个重要功能,主要关注将ML模型投入生产,并进行后续维护和监控的流程优化。它结合了DevOps和ML的特点,帮助组织以最少的资源和最高的效率设计稳健的ML流水线。 MLOps在提升生成式人工智能能力方面的优势 生成式人工智能的训练和部署模型的复杂性需要大量的计算资源和专用基础设施。与生成式人工智能结合使用时,MLOps可以通过提供一个管理生成式人工智能模型的开发和部署的优秀框架,以及自动化所涉及的流程来解决这些挑战。对于组织来改善基础设施,整合MLOps可以帮助它们在生成式人工智能应用中包括参数优化、自动化部署和扩展等功能而无需额外的人工成本。 MLOps为生成式人工智能提供的主要优势是效率、可扩展性和风险降低。除此之外,MLOps还可以在以下方面做出贡献: 数据管理:MLOps可以帮助管理用于训练生成式人工智能模型的大量数据,确保数据质量高、多样性,并符合所需领域的要求。 模型开发:MLOps可以在整个模型开发过程中提供帮助,包括训练、测试和验证,并提供版本控制、代码审核等工具。 部署:MLOps可以帮助自动化部署生成式人工智能模型,简化生产过程。 扩展:MLOps可以帮助处理不断增长的流量。包括提供管理基础设施和数据量的工具。 监控和维护:MLOps可以通过检测问题、检查性能异常等方式监控工作中的生成式人工智能模型的性能。 结论 由于更多数据的可用性、计算技术的进步以及生成独特和创新内容的能力,生成式人工智能正变得越来越受欢迎。通过引入MLOps,它可以在管理生成式人工智能模型的生命周期中发挥关键作用,从而充分发挥产品和应用的潜力。

Leave a Comment

中国黑客入侵微软云,潜伏一个多月未被发现

最近揭露的一次重大网络安全漏洞显示,中国黑客利用微软的云邮件服务中的漏洞,未经授权访问了美国政府雇员的电子邮件账户。这次入侵持续了一个多月而未被发现,引发了对敏感政府信息安全的担忧,并引发了对此次攻击的调查。 还可阅读:2023年RSA大会概述:人工智能在网络安全中占据中心舞台 Storm-0558:一支资源充足的黑客组织 这个被微软标识为Storm-0558的黑客组织成功入侵了大约25个电子邮件账户,其中包括与政府机构和这些组织相关联的个人账户。微软使用代号“Storm”来追踪新兴和发展中的黑客组织。虽然他们没有透露被针对的具体政府机构,但白宫国家安全委员会的一位发言人确认了美国政府机构受到了影响。 还可阅读:导航隐私关切:ChatGPT用户聊天标题泄露解析 政府机构发出警报 这次入侵最初是由美国政府的安全保障机构发现的,他们发现微软的云安全系统受到了影响。政府立即联系微软调查其云服务的源头和漏洞。此事件突显了政府采购供应商的强大安全措施的重要性。 还可阅读:开始重要的云安全协议 国务院也受到影响 据报道,国务院是这次攻击中受到影响的联邦机构之一。国务院迅速向微软报告了这次入侵,强调了迅速采取行动以减轻威胁的需要。 还可阅读:云系统中基于终端安全的工作原理如何? 微软的调查揭示了攻击方法 微软对这次入侵进行了广泛调查,并发现Storm-0558这个被描述为“资源充足”的中国黑客组织利用了Outlook Web Access in Exchange Online (OWA)和Outlook.com中的漏洞来获取电子邮件账户的访问权限。黑客伪造身份验证令牌以冒充Azure AD用户,利用令牌验证问题侵入企业电子邮件账户。 还可阅读:提升工作流程:微软的AI协助驾驶员增强了Office、GitHub、Bing和网络安全 以间谍为动机的对手 Storm-0558持续一个月的入侵直到客户向微软报告了异常的电子邮件活动才被发现。该公司评估称,这个对手主要专注于间谍活动,旨在获取电子邮件系统中的情报。黑客通过滥用凭据来获取这些系统中的敏感数据。 成功的缓解,但数据外泄尚不清楚 微软确认成功缓解了这次攻击,撤销了Storm-0558对受损账户的访问权限。然而,目前尚不确定在这一个月的入侵中是否有敏感数据外泄。美国网络安全局CISA表示,攻击者访问了非机密电子邮件数据。…

Leave a Comment