Press "Enter" to skip to content

从ETL过渡到ELT

云计算和分析工程如何促使从ETL到ELT的转变

DALL-E生成的图像

ETL(抽取-转换-加载)和ELT(抽取-加载-转换)是数据工程领域中常用的两个术语,尤其是在数据摄取和转换的情境中。

虽然这些术语经常可以互换使用,但它们指的是略有不同的概念,并对数据流程的设计产生了不同的影响。

在本文中,我们将阐明ETL和ELT过程的定义,概述两者之间的区别,并讨论它们对工程师和数据团队的优缺点。

更重要的是,我将描述现代数据团队组建中的最新变化如何影响ETL与ELT的角逐。

独立理解抽取、加载和转换

当涉及到比较ETL和ELT时,主要的关键在于数据流程中抽取、加载和转换步骤的执行顺序。

现在,让我们暂时忽略这个执行顺序,重点关注实际的术语,并讨论每个步骤应该做什么。

抽取:这一步骤指的是从持久化源中提取数据的过程。这个数据源可以是数据库、API终点、文件或任何包含任何形式数据(包括结构化或非结构化数据)的东西。

抽取步骤从各种源中提取数据 — 来源:作者

转换:在这一步骤中,预期数据流程对数据的结构或格式进行一些更改,以达到特定目标。转换可能是属性选择、记录修改(例如将’United Kingdom’转换为’UK’),数据验证、与另一个源的连接,或任何改变输入原始数据格式的操作。

加载:加载步骤指的是将数据(原始数据或经过转换的版本)复制到目标系统中的过程…

Leave a Reply

Your email address will not be published. Required fields are marked *