Udemy
    •  
    •  
    •  
    •  
    •  
    •  
    •  
    •  
Subscribe
Turn what you know into an opportunity and reach millions around the world.
Learn More
Your cart is empty.
Keep shopping
Academia ETL - Pipelines de ingestão e DW - 4 cursos em 1
Rating: 4.8 out of 5(25 ratings)
176 students

Academia ETL - Pipelines de ingestão e DW - 4 cursos em 1

De forma 100% visual, integrando dados e construindo seus pipelines e JOBS em APACHE HOP e TALEND
Created byMSc Grimaldo Lopes | + 65.000 alunos de Oliveira
Last updated 3/2026
Portuguese
Portuguese [Auto],

What you'll learn

  • O que é  Hop Orchestration Platform
  • Entendendo sobre fluxos de trabalho e pipelines
  • Entendendo sobre projetos e ambientes
  • Instalação do APACHE HOP
  • Criando pipelines com arquivos texto
  • Realizando tratamento de dados para entendimento do processo de engenharia de dados
  • O que são transformações, links e ações dentro de um pipeline
  • Construindo um workflow, orquestrador da sequência das operações
  • Entendendo o HOP GUI e seus componentes
  • Entendendo menu barras, principal e perspectivas
  • Criando sua área de projetos
  • Componentes pipelines: Sort, Select value, CSV file input, Value mapper, Filter rows, Dummy, Unique rows, Merge Join, Text File Output
  • Entendendo o que é : View output, Preview output , Debug output
  • Componentes pipelines: Number Range, Concat Field, String Operations, Replace in String, IF Field Value is Null, Split Fields, CSV File Input, Mail, File Exist
  • Leitura de dados em uma API: Rest Client, JSON Input, JSON Output
  • Construindo Workflow com execução de pipelines
  • Entendo o uso de variáveis globais no APACHE HOP
  • Automatização de pipeline ou workflow pelo HOP-RUN
  • Construindo pipelines em banco de dados Postgresql: Table Input, Table Output, Configurando conexão
  • Instalação de banco de dados Postgresql, usando PGAdmin
  • Como trabalhar com a ferramenta ETL Open Source Talend Data integration
  • Para que funciona uma ferramenta ETL
  • Como realizar a integração de dados dentro do Talend Data integration
  • Principais componentes do Talend: TFILEARCHIVE, TFILEUNARCHIVE,TFILECOMPARE E TFILEOUTPUTDELIMETED ,TFILECOPY E TFILELIST,TFILEDELETE E TJAVA
  • Mais componentes: TFILEEXIST E TMSGBOX,TFILEROWCOUNT,TAGGREGATEROW, TSORTROW E TLOGROW, TREPLACE E TFILTERCOLUMN
  • Mais componentes: TFILTERROW,TSPLITROW,TFILEINPUTXML, TLOGCATCHER , TROWGENERATION,TDIE E TLOGROW
  • Mais componentes:TLOGCATCHER , TROWGENERATION,TWARN E TLOGROW ,TSENDMAIL
  • Como exportar um projeto de desenvolvimento para produção
  • Como importar um projeto para produção
  • Aprendendo o uso das conhecidas variáveis de contexto
  • O que é Business Intelligence (BI)
  • O que é Data Warehouse (DW)
  • Como criar as tabelas staging, dimensão e fato
  • Construção da carga dim_tempo
  • Como o APACHE HOP pode se tornar um integrador de dados e construção de projetos de DW
  • Entendendo o que é HOP projects
  • Como funciona um pipeline e um workflow
  • Interface de trabalho do APACHE HOP
  • Instalação do APACHE HOP e do banco Postgres
  • Entendendo sobre Modelagem Multidimensional
  • Preparação de dados e construção de pipelines e workflow das cargas do DW
  • O que são dimensões Slow Change Dimension 1 e 2
  • Identificando as informações inconsistentes e armazenando no DW para ajustes
  • Entendendo Levantamento de Dados com Gestores - Matriz de Necessidades
  • Entendendo como criar um documento alinhado ( Gestor-Sistemas) - Fonte de Dados
  • Entendo como criar um modelo multidimensional - Dimensão e Fato

Course content

5 sections • 81 lectures • 16h 10m total length

  • Entendendo o funcionamento e componentes15:02
  • INFORMAÇÕES IMPORTANTES - Leia antes de começar o curso0:23
  • Instalação do JAVA5:41
  • Instalação do APACHE HOP1:49
  • Configuração extra e iniciando APACHE HOP5:41
  • Criando projeto e ambiente, primeiros passos17:02
  • Pipeline de Tratamento: arquivo vinhos10:43
  • Pipeline de tratamento: filtragem e seleção de atributos - arquivos vinho7:35
  • Pipeline de tratamento: sort e group by atributos - arquivos vinho6:41
  • Pipeline de tratamento: gerando arquivo de saída totalizador - arquivos vinho6:22
  • Pipeline Merge dos dados: Leitura arquivos de entrada11:21
  • Pipeline Merge dos dados: Sort arquivos de entrada6:11
  • Pipeline Merge dos dados: Merge arquivos venda e cliente7:36
  • Pipeline Merge dos dados: Merge arquivos venda com produto e marca7:37
  • Pipeline Merge dos dados: geração arquivo venda final tratado5:19
  • Pipeline Tratamento de dados: Arquivo cliente veículos e strings diversos9:02
  • Pipeline Tratamento de dados: Arquivo cliente veículo e ajustes campo hora6:45
  • Pipeline Tratamento de dados: Arquivo cliente veículo e retirada valores nulos7:10
  • Pipeline Tratamento de dados: Arquivo cliente veículo e junção de atributos9:09
  • Pipeline Tratamento de dados: Arquivo cliente veículo e geração grupos de dados8:38
  • Pipeline Carga API: Leitura dados CEP e uso de REST GET7:07
  • Pipeline Carga API: Leitura e armazenamento arquivo JSON7:33
  • Pipeline Carga API: Tratamento dos dados escolha campos e gravação arquivo texto7:07
  • Workflow de execução: Parte0111:59
  • Workflow de execução: Parte0213:04
  • Banco de dados: Instalação do Postgresql7:11
  • Banco de dados: Pipeline de tratamento de dados no Postgresql12:44
  • HOP-RUN: Automatização de pipeline e workflow10:21
  • Aula Final - Entrega de atividades2:12
  • Vamos responder ao nosso Quiz?

Requirements

  • Importante ter uma base sobre banco de dados, arquivos de dados
  • Importante que você conheça lógica de programação
  • Conhecimento básico de Banco de Dados

Description

Você veio ao curso certo para aprender com duas das principais ferramentas de mercado na área de ETL, estamos falando do uso do APACHE HOP e do TALEND.

Ferramentas open source do mercado que trabalham com projetos de integração e manipulação de dados, ambas 100% VISUAL, e que permitem a construção de projetos de DW, que iremos realizar.

Iniciaremos nosso treinamento com  o uso do APACHE HOP, ferramenta de última geração que contém mais de 400 plugins para o tratamento com dados. Aqui você irá construir os conhecidos pipelines e workflows, onde grande parte dos projetos são desenvolvidos. Você poderá construir pipelines para: carregar em bases de dados, leitura de bases de dados, leitura de arquivos TXT, CSV, XLS ,JSON, dentre outros. Poderá criar novos campos e até em tempo de processamento eliminar alguns, é muito fácil e rápido de construir, tudo isso na parte de Integração de Dados.

Depois vamos construir um projeto de DW do ZERO, com tudo que tem direito, banco de dados Postgres, criação das áreas de staging, dimensão e fato, até o Schedule final, automatizando todos os processos. Depois você terá um desafio e construir seu DW, tudinho no APACHE HOP.

Depois você vai adentrar em uma grande ferramenta já há muito consolidada no mercado, o TALEND. Veremos neste treinamento o que você pode construir de JOBs estruturados e em sequência, que facilitam ao engenheiro de dados, analista de dados e profissional de dados em geral a construção de rotinas de carga em seus banco de dados e arquivos. No TALEND é possível gerar o código resultante para Schedule, assim como no APACHE HOP. Claro que teremos no TALEND a construção também de um Data Warehouse do ZERO, nos mesmos moldes do que você gerou no APACHE HOP, desta vez trablhando com banco de dados ORACLE, ou seja, trabalhrá com os dois banco de dados mais utilizados pelas empresas.

Então não perca mais tempo e venha aprender na ACADEMIA ETL e se torne expert nesta área.

Who this course is for:

  • Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
  • Pessoas interessadas em aprender os conceitos sobre ferramentas de ingestão de dados, ou que gostariam adentrar na área de engenharia de dados
  • Profissionais que, de alguma forma, utilizam dados no seu dia a dia

Report abuse