45 search results for "Apache Spark"

人工智能和机器学习作为世界从技术中受益的领域的创新领导者。选择使用哪种工具可能会很困难，因为市场上有很多流行的工具来保持竞争力。 选择机器学习工具就是选择未来。由于人工智能领域的一切都发展得如此迅速，保持“老狗，老把戏”和“刚做出来昨天”的平衡非常重要。 机器学习工具的数量正在扩大；随之而来的要求是评估它们并理解如何选择最好的工具。 在本文中，我们将介绍一些知名的机器学习工具。此评测将涵盖机器学习库、框架和平台。 Hermione 最新的开源库Hermione将使数据科学家更容易、更快地设置更有序的脚本。此外，Hermione还提供了数据视图、文本向量化、列归一化和反归一化等主题的课程，这些课程有助于日常工作。有了Hermione，您只需遵循一套程序，剩下的事情都会由她来处理，就像魔术一样。 Hydra 名为Hydra的开源Python框架使创建复杂的研究应用程序变得更加容易。Hydra的命名来源于其管理许多相关任务的能力，就像一个有着许多头的九头蛇一样。其主要功能是能够动态地组合层次结构配置，并通过配置文件和命令行进行覆盖。 另一个特性是动态命令行选项补全。它可以从各种来源进行层次化配置，并且配置可以从命令行提供或更改。此外，它可以启动程序以在远程或本地运行，并使用一个命令执行多个任务，并带有不同的参数。 Koalas Koalas项目将pandas DataFrame API集成到Apache Spark之上，以提高数据科学家在处理大量数据时的生产力。 Pandas是事实上的（单节点）Python DataFrame实现，而Spark是大规模数据处理的事实上的标准。如果您已经熟悉pandas，您可以使用此软件包立即开始使用Spark，并避免任何学习曲线。一个代码库同时兼容Spark和Pandas（测试、较小的数据集）（分布式数据集）。 Ludwig Ludwig是一个声明式机器学习框架，为定义机器学习流程提供了一种简单灵活的数据驱动配置方法。Linux基金会AI＆Data托管Ludwig，可用于各种人工智能活动。 在配置中声明输入和输出特征以及适当的数据类型。用户可以指定其他参数来预处理、编码和解码特征，从预训练模型中加载数据，构建内部模型架构，调整训练参数或进行超参数优化。 Ludwig将根据配置的显式参数自动创建端到端的机器学习流程，对于那些没有指定设置的情况，会回退到智能默认值。 MLNotify 使用开源程序MLNotify，只需一行导入语句，即可在模型训练结束时向您发送在线、手机和电子邮件通知。MLNotify是一个附加到知名机器学习库的fit()函数的Python库，在过程完成后通知用户。 每个数据科学家都知道，在训练了数百个模型后，等待训练结束是很乏味的。因为训练需要一些时间，您需要来回切换以偶尔检查它。一旦训练开始，MLNotify将为您打印出特定的跟踪URL。您有三种输入代码的选项：扫描QR码、复制URL或浏览https://mlnotify.aporia.com。然后，您可以看到训练的进展。训练结束后，您将立即收到通知。您可以启用在线、手机或电子邮件通知，以在训练结束后立即收到提醒。 PyCaret 通过开源的基于Python的PyCaret模块，可以自动化机器学习的工作流程。PyCaret是一个简短、简单易懂的Python低代码机器学习库，可以让您花更多时间进行分析，而不是开发。有许多数据准备选项可用。从特征工程到缩放。PyCaret的设计是模块化的，每个模块都有特定的机器学习操作。…