介绍 在人工智能中，出现了两个不同的挑战：在云环境中部署大型模型，产生了巨大的计算成本，阻碍了可扩展性和盈利能力，以及需要支持复杂模型的资源受限的边缘设备。这些挑战的共同问题是在不影响准确性的情况下缩小模型尺寸。模型量化是一种流行的技术，可以提供潜在解决方案，但也引发了对潜在准确性的担忧。 量化感知训练成为一个有力的解决方案。它将量化无缝地集成到模型训练过程中，可以显著减小模型尺寸，有时可以减小两到四倍以上，同时保持重要的准确性。本文深入探讨了量化，在后训练量化（PTQ）和量化感知训练（QAT）之间进行了比较。此外，我们提供了实际见解，展示了如何使用Deci开发的开源训练库SuperGradients来有效地实现这两种方法。 此外，我们还探讨了用于移动和嵌入式平台的卷积神经网络（CNNs）的优化，解决了尺寸和计算需求的独特挑战。我们着重于量化，研究了数字表示在优化移动和嵌入式平台模型中的作用。 学习目标 了解人工智能中模型量化的概念。 了解典型量化级别及其权衡。 区分量化感知训练（QAT）和后训练量化（PTQ）。 探索模型量化的优势，包括内存效率和能源节省。 发现模型量化如何实现更广泛的人工智能模型部署。 本文是Data Science Blogathon的一部分。 理解模型量化的需求 模型量化是深度学习中的一种基本技术，旨在解决与模型尺寸、推理速度和内存效率相关的关键挑战。它通过将模型权重从高精度浮点表示（通常为32位）转换为较低精度浮点（FP）或整数（INT）格式（例如16位或8位）来实现这一目标。 量化的好处是双重的。首先，它显著减小了模型的内存占用，并提高了推理速度，而不会造成显著的准确性降低。其次，它通过减少内存带宽需求和增强缓存利用来优化模型性能。 在硬件架构上，INT8表示通常在深度神经网络的上下文中被称为“量化”，但是根据不同的模型，还会使用其他格式，如UINT8和INT16，这取决于硬件架构。不同的模型需要不同的量化方法，通常需要先有先验知识，并进行细致的微调以在准确性和模型尺寸减小之间取得平衡。 量化引入了挑战，特别是对于INT8等低精度整数格式，由于其有限的动态范围。将FP32的广阔动态范围压缩为只有255个INT8值可能导致准确性损失。为了解决这个挑战，可以通过通道或层级缩放调整权重和激活张量的比例和零点值，以更好地适应量化格式。 此外，量化感知训练可以在模型训练过程中模拟量化过程，使模型能够优雅地适应较低的精度。通过校准来实现的挤压或范围估计是这个过程的一个重要方面。 总之，模型量化对于部署高效的人工智能模型非常重要，在限制性计算资源的边缘设备上准确性和资源效率之间取得微妙的平衡。 模型量化技术 量化级别 量化将模型的高精度浮点权重和激活转换为较低精度的定点值。 “量化级别”指的是表示这些定点值的比特数。典型的量化级别有8位、16位，甚至是二进制（1位）量化。选择适当的量化级别取决于模型准确性与内存、存储和计算效率之间的权衡。 详细介绍量化感知训练（Quantization-Aware…
Leave a CommentTag: time
介绍 在人工智能不断发展的领域中，两个关键角色联手合作，打开了新的局面：生成式人工智能和强化学习。这些尖端技术有潜力创造自我改进的人工智能系统，使我们离实现机器自主学习和适应的梦想更近了一步。这些工具为能够改进自己的人工智能系统铺平了道路，使得机器能够自主学习和自适应的想法更加接近。 近年来，人工智能在理解人类语言、帮助计算机观察和解释周围世界方面取得了巨大成就。像GPT-3这样的生成式人工智能模型和Deep Q-Networks这样的强化学习算法站在这一进展的前沿。尽管这些技术在单独使用时已经具有了革命性的影响力，但它们的融合打开了人工智能能力的新维度，并将世界的边界推向了更舒适的境地。 学习目标 获取关于强化学习及其算法、奖励结构、强化学习的一般框架和状态-动作策略的必要和深入的知识，以了解代理机构如何做出决策。 探索这两个领域如何共生地结合在一起，以在决策情景中创建更具适应性和智能性的系统。 研究和分析各种案例研究，展示将生成式人工智能与强化学习在医疗保健、自主车辆和内容创作等领域进行整合的有效性和适应性。 熟悉Python库，如TensorFlow、PyTorch、OpenAI’s Gym和Google’s TF-Agents，以在实施这些技术时获得实际的编程经验。 本文作为数据科学博文马拉松的一部分发表。 生成式人工智能：赋予机器创造力 生成式人工智能模型，如OpenAI的GPT-3，旨在生成内容，无论是自然语言、图像还是音乐。这些模型的工作原理是预测在给定上下文中接下来会发生什么。它们已经被用于自动化内容生成和能够模仿人类对话的聊天机器人等方面。生成式人工智能的特点是能够从学习到的模式中创造出新的东西。 强化学习：教会人工智能做出决策 来源–Analytics Vidhya 强化学习（RL）是另一个开创性的领域。它是让人工智能像人类一样通过试错学习的技术。它已经被用于教授人工智能玩复杂的游戏，如Dota 2和围棋。强化学习代理通过接收行为的奖励或惩罚来学习，并利用这些反馈来不断改进。从某种意义上讲，强化学习使人工智能获得了一种自治形式，使其能够在动态环境中做出决策。 强化学习的框架 在本节中，我们将揭示强化学习的关键框架： 行为实体：代理机构 在人工智能和机器学习领域，术语“代理机构”指的是任务是与指定的外部环境进行交互的计算模型。它的主要角色是做出决策和采取行动，以实现既定目标或在一系列步骤中累积最大奖励。 周围的世界：环境 “环境”指的是代理人操作的外部背景或系统。实质上，它构成了超出代理人控制范围但可以观察到的每一个因素。这可以是虚拟游戏界面，也可以是机器人在迷宫中导航的现实世界环境。环境是评估代理人表现的“真实基准”。…
Leave a Comment许多预测任务需要时间信息作为模型输入想象一下一个回归模型，用于预测一家零售公司的柠檬水销售情况（你可能还记得我在关于上下文的文章中提到的例子…
Leave a Comment介绍 利用现代多核处理器的全部功能，多进程是计算机科学中的一个基本概念，使程序能够同时运行多个任务或进程。通过将任务分为几个进程，每个进程都有自己的内存空间，多进程能够克服性能限制，与传统的单线程技术相比具有优势。由于进程是隔离的，所以能够保证稳定性和安全性，避免内存冲突。特别是对于需要进行大量计算操作的 CPU 绑定作业，多进程优化代码执行的能力至关重要。它是 Python 应用程序的一项重大改革，其中速度和效果至关重要，例如数据处理、科学模拟、图像和视频处理以及机器学习。 学习目标 全面了解多进程及其在利用现代多核处理器提高 Python 应用程序性能方面的重要性。 学习如何使用 Python 的 ‘multiprocessing’ 模块创建、管理和同步多个进程，实现任务的并行执行，同时确保稳定性和数据完整性。 探索优化多进程性能的策略，包括考虑任务性质、资源利用和解决通信开销等因素，以开发高效和响应迅速的 Python 应用程序。 多进程 利用现代多核处理器的能力，多进程是计算机编程中的一种强大方法，使程序能够同时执行多个任务或进程。多进程生成多个具有自己内存空间的进程，而不是多线程，多线程是在单个进程内运行多个线程。这种隔离可以防止进程之间干扰彼此的内存，从而提高稳定性和安全性。 本文是数据科学博文的一部分。 多进程在优化代码执行中的重要性 软件开发的一个重要目标是优化代码执行。单个核心的处理能力对于传统的顺序编程来说可能是一个限制。通过允许将任务分配到多个核心上，多进程克服了这个限制，并充分利用了现代处理器的能力。因此，需要大量处理的作业运行速度更快，性能显著提高。 多进程有益的场景 CPU…
Leave a Comment流行音乐流媒体平台 Spotify 一直处于技术的前沿，不断探索提升用户体验的方式。最近，该公司进军生成式人工智能领域，已经成功推出了 DJ 功能。这一由人工智能驱动的工具根据用户的听歌习惯为其提供个性化的播放列表，带来了无与伦比的个性化体验。但 Spotify 的人工智能之路并不止于此。在一次创新的举措中，该公司现在利用生成式人工智能改革音频广告。让我们深入了解 Spotify 的人工智能探索以及对用户和广告商的潜在影响。 还可阅读：AI 生成的歌曲走红 见面 DJ – Spotify 的 AI 助推个人 DJ Spotify 最新的突破，DJ，是一项利用人工智能提供个性化体验的功能。与 ChatGPT 和 DALL-E 的开发者…
Leave a Comment介绍 天气是现实世界中发生许多事情的主要驱动因素。事实上，它非常重要，以至于将其纳入机器学习模型中通常会使任何预测模型受益。 想想以下场景： 公共交通机构试图预测系统中的延误和拥堵 能源供应商希望估计明天的太阳能发电量，以用于能源交易 活动组织者需要预测参与者的数量，以确保满足安全标准 农场需要安排未来一周的收获作业 可以说，在上述场景中，如果不将天气作为因素之一纳入模型中，该模型要么没有意义，要么不如其本来可能好。 令人惊讶的是，虽然有很多在线资源专注于如何预测天气本身，但几乎没有任何资源展示如何有效地获取和使用天气数据作为特征，即将其作为输入来预测其他东西。这就是本文要讨论的内容。 概述 首先，我们将强调使用天气数据进行建模所面临的挑战，介绍常用的模型以及提供商。然后，我们将进行案例研究，使用其中一个提供商的数据构建一个可以预测纽约出租车乘车次数的机器学习模型。 通过阅读本文，您将学到以下内容： 使用天气数据进行建模的挑战 可用的天气模型和提供商 处理时间序列数据的典型ETL和特征构建步骤 使用SHAP值评估特征重要性 本文作为数据科学博文的一部分发布。 挑战 衡量与预测天气 对于生产中的机器学习模型，我们需要（1）实时数据以产生实时预测和（2）大量历史数据以训练能够执行此操作的模型。 by Hadija on Unsplash 显然，当进行实时预测时，我们将使用当前的天气预报作为输入，因为它是关于未来发生情况的最新估计。例如，当预测明天的太阳能发电量时，我们需要的模型输入是关于明天天气的预报。…
Leave a Comment介绍 众所周知，Pandas是Python的polars数据操作库。然而，它也有一些缺点。在本文中，我们将学习另一个用Rust编写的强大的Python数据操作库。虽然它是用Rust编写的，但它为我们提供了一个额外的Python程序包。这是使用Python开始使用Polars的最简单的方法，类似于Pandas。 学习目标 在本教程中，您将学习以下内容： Polars数据操作库的介绍 使用Polars进行数据探索 比较Pandas与Polars的速度 数据操作函数 使用Polars进行惰性评估 本文是作为数据科学博文马拉松的一部分发表的。 Polars的特点 它比Pandas库更快。 它具有强大的表达式语法。 它支持惰性评估。 它还具有内存效率。 它甚至可以处理大于可用RAM的大型数据集。 Polars有两个不同的API，即急切API和惰性API。急切执行类似于pandas，代码在遇到时立即运行，并立即返回结果。另一方面，惰性执行直到您需要开发为止才运行。惰性执行可以更高效，因为它避免运行不必要的代码。惰性执行可以更高效，因为它避免运行不必要的代码，这可以提高性能。 应用/用例 让我们来看一些该库的应用，如下所示： 数据可视化：该库与Rust可视化库（如Plotters等）集成，可以用于创建交互式仪表板和美观的可视化，以传达数据的见解。 数据处理：由于其支持并行处理和惰性评估，Polars可以有效处理大型数据集。还可以执行各种数据预处理任务，如数据清洗、转换和操作。 数据分析：借助Polars，您可以轻松分析大型数据集以获取有意义的见解并进行交付。它为我们提供了各种计算和统计计算的函数。还可以使用Polars进行时间序列分析。 除此之外，还有许多其他应用，例如数据连接和合并、使用强大的表达式语法过滤和查询数据、分析统计数据和总结等。由于其强大的应用，它可以在业务、电子商务、金融、医疗保健、教育、政府等各个领域使用。一个例子是从医院收集实时数据，分析患者的健康状况，并生成可视化，例如患某种疾病的患者的百分比等。 安装 在使用任何库之前，您必须先安装它。可以使用pip命令安装Polars库，如下所示：…
Leave a Comment介绍 数据的时间序列分析不仅仅是一堆数字，比如Netflix的股票。它是一张迷人的织锦，用Pandas编织着我们的世界的错综复杂的故事。就像一根神秘的线，它捕捉了事件的涨落、趋势的兴衰以及模式的出现。它揭示了隐藏的联系和相关性，塑造了我们过去的形象，并提供了对未来的一瞥。 时间序列分析不仅仅是一种工具。它是通往知识和远见的门户。您将有能力解锁隐藏在数据时间织物中的秘密，将原始信息转化为有价值的见解。此外，它还能帮助您做出明智的决策，减轻风险并利用新兴机会。 让我们一起踏上这个激动人心的冒险之旅，发现时间真正是理解我们的世界的关键。您准备好了吗？让我们一起潜入时间序列分析的迷人领域吧！ 学习目标 我们的目标是介绍时间序列分析的概念，强调其在各个领域的重要性，并展示展示实际应用时间序列分析的真实世界示例。 我们将通过展示如何使用Python和yfinance库导入Netflix股票数据来提供实际演示。这样读者将学习获取时间序列数据并为分析做准备的必要步骤。 最后，我们将重点介绍时间序列分析中使用的重要Pandas函数，例如移位、滚动和重新采样，这些函数能够有效地操作和分析时间序列数据。 本文是数据科学博客马拉松的一部分。 什么是时间序列分析？ 时间序列是在连续、等间隔的时间间隔内收集或记录的数据点序列。 时间序列分析是一种用于分析随时间收集的数据点的统计技术。 它涉及研究顺序数据中的模式、趋势和依赖关系，以提取见解并进行预测。 它涉及数据可视化、统计建模和预测方法等技术，以有效地分析和解释时间序列数据。 时间序列数据的例子 股票市场数据：分析历史股价以识别趋势和预测未来价格。 天气数据：研究温度、降水和其他变量随时间的变化，以了解气候模式。 经济指标：分析GDP、通货膨胀率和失业率等，以评估经济表现。 销售数据：检查销售数据随时间的变化，以确定模式并预测未来销售额。 网站流量：分析网站流量指标，以了解用户行为并优化网站性能。 时间序列的组成部分 时间序列有4个组成部分。它们是： 趋势组成部分：趋势代表数据中的长期模式，以相对可预测的方式向上或向下移动。 季节性组成部分：季节性是一种定期重复的模式，例如每日、每周、每月或每季度。 周期性组成部分：周期性组成部分对应于遵循商业或经济周期的模式，其特点是增长和衰退的交替时期。…
Leave a Comment现在，您可能正在加快步伐迎接飞行汽车成为现实的日子，但您也会想象成为自动驾驶汽车的乘客。人工智能（以及特斯拉和Waymo）将这个快速而迷人的概念转化为现实。然而，AI在汽车行业中的潜力并不仅局限于自动驾驶汽车。它涉及许多功能，解锁所有人的舒适度：汽车制造商、驾驶员和乘客。我们将深入探讨这是如何发挥作用的。 汽车行业中的AI是什么？ 汽车工业中的AI意味着在汽车世界的多个领域中实施人工智能技术。各种AI技术，如机器学习（ML）、自然语言处理（NLP）和计算机视觉，有助于将人工智能集成到汽车工业中，旨在实现更好的驾驶体验。在AI汽车世界中，这些技术自动化许多任务，如路线规划、导航、停车等，同时提高效率和安全性。 为什么我们需要汽车行业中的AI？ 从设计和制造到生产和售后，将AI集成到汽车工业中已经开始了，而且有许多原因可以成为某些异常舒适、安全和快速的开端。请继续阅读以下人工智能在汽车工业中的一些关键优势： 提高安全性 在汽车中使用AI启用先进的驾驶员辅助系统（ADAS），改善道路安全性前景光明。AI算法可以分析传感器数据以实时识别潜在危险，从而降低事故风险。自动紧急制动和车道保持辅助是AI汽车环境中的功能，可实现即时监测和更安全的驾驶体验。 自动驾驶 自动驾驶汽车是AI的产物，自动驾驶汽车已经引起足够的关注。这些汽车使用AI技术的集成来帮助理解周围环境，实现快速决策，并在没有人类干预的情况下驾驶。称之为现象或革命，AI在自动驾驶汽车中表明了更少的人为错误、更有条理的交通流和无法驾驶的人士的可访问性。特斯拉Model 3、沃尔沃XC40、宝马iX和雷克萨斯LS是最近和高科技的自动驾驶汽车。 提高效率 汽车行业中的AI可以最小化交通拥堵并优化燃油效率。无人驾驶车辆可以帮助燃料经济性下降10%。人工智能算法分析道路条件和交通模式以建议最佳车辆路线，降低燃油消耗和排放。此外，AI驱动的智能交通管理系统可以控制流量以管理拥堵。 另请阅读：zPod，印度的第一辆AI驱动的自动驾驶汽车 自动驾驶汽车中的AI应用 在汽车工业中使用各种人工智能技术为汽车带来了巨大的可能性。以下是AI汽车技术的应用，为汽车行业的未来驾驶带来了轻松： 高级驾驶员辅助系统（ADAS） AI是各种ADAS功能的动力源，包括车道保持辅助、自动紧急制动、自适应巡航控制和泊车辅助。这些系统利用AI算法和传感器来监视车辆周围环境，识别潜在危险，并协助驾驶员轻松实现无碰撞驾驶、泊车等。 自动驾驶和自动驾驶汽车 AI已经因为为世界引入自动驾驶汽车而受到欢迎。该技术引入了机器学习算法、计算机视觉和传感器融合技术，以了解车辆周围环境、实时决策并管理整个驾驶范围内的汽车。自动驾驶车辆正在加速重新定义交通运输、增强道路安全、减少事故并改善交通流。 传感器融合和感知系统 传感器融合收集来自摄像头、雷达、激光雷达和超声波传感器等传感器的数据，以创建对车辆周围环境的集体理解。AI算法处理传感器数据并将其集成以检测对象并预测行为，从而帮助实时做出明智决策。这些系统激活高级驾驶员辅助功能，包括自适应巡航控制和行人检测，从而实现高效的驾驶体验。 路径规划与导航 路径规划和导航是汽车工业中人工智能的重要方面。它包括了感知、定位和避碰等组件，以指导优化路线。 车辆安全与预测性维护的人工智能 风险评估和决策是预测性分析在每个行业中的强大成果，而在增强驾驶员安全方面，汽车行业也不遗余力地利用这种人工智能技术。…
Leave a Comment介绍 在今天的世界中，企业和组织都严重依赖数据做出明智的决策。然而，分析大量数据可能是一项耗时且令人望而生畏的任务。这就是自动化发挥作用的地方。通过像Langchain和Gen AI这样的框架，您可以自动化您的数据分析，节省宝贵的时间。 在本文中，我们将深入探讨如何使用Langchain构建自己的代理程序并自动化数据分析。我们还将向您展示如何使用内置的pandas代理程序逐步创建Langchain代理程序的指南。 Langchain是什么？ Langchain是一个用于构建具有大型语言模型（如chatGPT）的应用程序的框架。它提供了一种更好的管理内存、提示和创建链（一系列操作）的方法。此外，Langchain为开发人员提供了一个创建代理程序的工具。代理程序是可以根据条件执行一系列操作的实体。 Langchain中的代理程序类型 Langchain中有两种类型的代理程序： 动作代理程序：动作代理程序决定要执行的动作并逐个执行这些动作。 计划-执行代理程序：计划和执行代理程序首先决定要执行的一系列动作，然后逐个执行这些动作。 然而，这两个类别之间没有明确的区别，因为这个概念仍在发展中。 使用Langchain进行数据分析 请安装langchain和openai库。您可以通过下载所需的库，然后将它们导入到您的项目中来完成此操作。以下是如何操作： # 安装langchain和openai库 !pip install langchain openai # 导入库 import os import pandas…
Leave a Comment介绍 领先的零售公司Target扩大了其在巴西的电子商务业务以迎合不断增长的在线购物趋势。为了在这个竞争激烈的市场上取得成功，Target必须了解巴西电子商务的动态，并利用数据驱动的洞见来提升其业务。本文将使用结构化查询语言(SQL)动力查询分析Target的电子商务数据集，为改善其在巴西的业务提供可行建议。 学习目标 通过分析Target的电子商务数据集，掌握SQL的熟练程度。 学习如何使用SQL查询对数据集进行初始探索，包括数据清洗和准备。 了解如何使用SQL查询分析和解释巴西的电子商务趋势。 发展识别和分析电子商务数据中季节性模式的技能。 通过SQL分析学习提取有关客户购买模式和偏好的有价值见解。 发展基于数据的建议能力，针对数据集的SQL分析提供可行的见解，以改善电子商务业务。 阅读更多: SQL for Data Science Beginners ! 本文是Data Science Blogathon的一部分。 数据集的初始探索 在深入分析之前，我们对Target的电子商务数据集进行了初始探索。这包括检查数据、清洗数据并为分析做好准备。我们使用以下SQL查询在BigQuery中验证了“客户”表的列数据类型： SELECT column_name, data_type FROM…
Leave a Comment