Menu
ETL é a sigla utilizada para o termo em inglês Extract, Transform and Load, em tradução literal, Extrair, Transformar e Carregar.
É um processo então de extração, transformação e carga de dados, que se utiliza em empresas que normalmente querem criar um DW (Data Ware House), automatizar o backend, ou somente consolidar dados que vem de diferentes fontes para criar determinada visualização.
O ETL como já comentamos a cima tem a finalidade de extração, transformação e carga. Agora vamos analisar mais a fundo cada um dos itens:
Extração (Extract): O primeiro passo para realizar qualquer processo de ETL é a extração, nele fazemos o Input no (banco de dados, csv, txt,excel,etc..) para o local onde será realizado o processo;
A transformação (transform) ocorre depois da extração dos dados, nessa etapa é realizado a: padronização, limpeza, regras, combinações de diferentes fontes quando estamos falando sobre a montagem de um DW, operação de qualidade para montagem de análises previamente desenhadas, entre outras diversas possibilidades dentro da etapa.
O mais importante é entender que dentro dessa etapa, serão utilizados diversos “steps” para fazer com que os dados estejam prontos e adequados.
O processo de Carga (Load) é o nosso ultimo:
Agora que está tudo pronto, na nossa ultima etapa, será feito a carga dos dados para o destino final que pode ser um DW ou até mesmo um output isolado.
Nessa etapa a entrega pode ser realizada para diversos tipos de destinos finais.
O ETL é realizado principalmente com a finalidade de consolidar e tratar informações de diversas fontes de dados, sua importância pode ser encontrada em:
O ETL por carregar em diferentes localizações, na hora da realização das manipulações dos dados, retira da equação qualquer prejuizo do que possa ocorrer dentro desse processo no Banco de Dados principal, criando assim uma proteção extra para sua integridade.
Com a quantidade muito grande de geração de dados por parte das empresas, cada vez mais nos deparamos com situações envolvendo BIG DATA, a utilização do ETL ajuda a transformar e adaptar o Big Data, refletindo em uma extração mais rápida de dados.
Com a quantidade muito grande de geração de dados por parte das empresas, cada vez mais nos deparamos com situações envolvendo BIG DATA,
A utilização do ETL ajuda a transformar e adaptar o Big Data, refletindo em uma extração mais rápida de dados.
As ferramentas de ETL, tem maior preparo para lidar com problemas complexos envolvendo as transformações dos dados.
Todo o preparo da Base de Dados feito no ETL, tendem a diminuir a quantidade original de dados, isso gera um output bem mais eficiente, que consequentemente impacta a performance relativa do processamento para a base final.
Com um maior detalhamento dos steps de transformação, temos uma manutenção bem mais ágil do qeu atuando diretamente pelo código.
Com uma linhagem de como foi feito o processo de criação dos dados, os metadados nos auxiliam no entendimento dessa cronologia e no impacto para acrescentar ou alterar a estrutura dos dados.
O ETL, como podemos ver gera impactos positivos não somente na questão de Extract, Transform and Load, como também em uma série de componentes e entendimentos que são cruciais para interagir com o Banco de Dados da melhor forma.
