APACHE HOP: Integração e Ingestão de dados - PARTE01

Name: APACHE HOP: Integração e Ingestão de dados - PARTE01
Rating: 4.7 (136 reviews)

Aprenda construção de pipelines em uma ferramenta 100% visual

Created byMSc Grimaldo Lopes | + 65.000 alunos de Oliveira

Last updated 2/2026

Portuguese

What you'll learn

O que é Hop Orchestration Platform
Entendendo sobre fluxos de trabalho e pipelines
Entendendo sobre projetos e ambientes
Instalação do APACHE HOP
Criando pipelines com arquivos texto
Realizando tratamento de dados para entendimento do processo de engenharia de dados
O que são transformações, links e ações dentro de um pipeline
Construindo um workflow, orquestrador da sequência das operações
Entendendo o HOP GUI e seus componentes
Entendendo menu barras, principal e perspectivas
Criando sua área de projetos
Componentes pipelines: Sort, Select value, CSV file input, Value mapper, Filter rows, Dummy, Unique rows, Merge Join, Text File Output
Entendendo o que é : View output, Preview output , Debug output
Componentes pipelines: Number Range, Concat Field, String Operations, Replace in String, IF Field Value is Null, Split Fields, CSV File Input, Mail, File Exist
Leitura de dados em uma API: Rest Client, JSON Input, JSON Output
Construindo Workflow com execução de pipelines
Entendo o uso de variáveis globais no APACHE HOP
Automatização de pipeline ou workflow pelo HOP-RUN
Construindo pipelines em banco de dados Postgresql: Table Input, Table Output, Configurando conexão
Instalação de banco de dados Postgresql, usando PGAdmin

Course content

1 section • 30 lectures • 3h 55m total length

Entendendo o funcionamento e componentes15:02
INFORMAÇÕES IMPORTANTES - Leia antes de começar o curso0:23
Você conhece o curso de Apache HOP para Data Warehouse?0:20
Instalação do JAVA5:41
Instalação do APACHE HOP1:49
Configuração extra e iniciando APACHE HOP5:41
Criando projeto e ambiente, primeiros passos17:02
Pipeline de Tratamento: arquivo vinhos10:43
Pipeline de tratamento: filtragem e seleção de atributos - arquivos vinhos7:35
Pipeline de tratamento: sort e group by atributos - arquivos vinhos6:41
Pipeline de tratamento: gerando arquivo de saída totalizador - arquivos vinhos6:22
Pipeline Merge dos dados: Leitura arquivos de entrada11:21
Pipeline Merge dos dados: Sort arquivos de entrada6:11
Pipeline Merge dos dados: Merge arquivos venda e cliente7:36
Pipeline Merge dos dados: Merge arquivos venda com produto e marca7:37
Pipeline Merge dos dados: geração arquivo venda final tratado5:19
Pipeline Tratamento de dados: Arquivo cliente veículos e strings diversos9:02
Pipeline Tratamento de dados: Arquivo cliente veículo e ajustes campo hora6:45
Pipeline Tratamento de dados: Arquivo cliente veículo e retirada valores nulos7:10
Pipeline Tratamento de dados: Arquivo cliente veículo e junção de atributos9:09
Pipeline Tratamento de dados: Arquivo cliente veículo e geração grupos de dados8:38
Pipeline Carga API: Leitura dados CEP e uso de REST GET7:07
Pipeline Carga API: Leitura e armazenamento arquivo JSON7:33
Pipeline Carga API: Tratamento dos dados escolha campos e gravação arquivo texto7:07
Workflow de execução: Parte0111:59
Workflow de execução: Parte0213:04
Banco de dados: Instalação do Postgresql7:11
Banco de dados: Pipeline de tratamento de dados no Postgresql12:44
HOP-RUN: Automatização de pipeline e workflow10:21
Aula Final - Entrega de atividades2:12
Vamos responder ao nosso Quiz?

Requirements

Importante ter conhecimento sobre banco de dados, arquivos de dados
Importante que você conheça lógica de programação

Description

Se você estava procurando um ferramental visual, fácil de manipular, de aprendizagem simples e com grande necessidade de construir projetos de ingestão de dados, ETL, ELT, pois você veio ao treinamento certo, o curso de APACHE HOP.

O APACHE HOP é a abreviação de Hop Orchestration Platform, é uma plataforma de orquestração de dados e engenharia de dados que visa facilitar todos os aspectos da orquestração de dados e metadados, por padrão o HOP vem com cerca de 400 plugins ou componentes.

São criados fluxos de trabalho (Workflow) e pipelines em um ambiente de desenvolvimento visual chamado Hop Gui.

Com o APACHE HOP é possível combinar, enriquecer, limpar e de muitas outras maneiras manipular dados.

A ideia é que você faça a leitura de dados, realize os ajustes e tratamentos no conteúdo (limpeza de inconsistências, criação de campos, composição de campos, dentre outros).

Para você que pretende ou trabalha com engenharia de dados é a ferramenta perfeita.

O curso cobre todo o ciclo desde o START da construção do pipeline ou workflow até a automatização deste.

Dentre as muitas tarefas possíveis de serem realizadas dentro do APACHE HOP, há uma orquestração de transformações desde a leitura dos dados, tratamento das informações, preparação de arquivos de saída e até envio de e-mail com sucesso ou fracasso, tudo visual.

Não deixe de começar e aprender sobre APACHE HOP.

Venha fazer parte deste clube de profissionais que não para de crescer.

Who this course is for:

Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
Pessoas interessadas em aprender os conceitos sobre ferramentas de ingestão de dados, ou que gostariam adentrar na área de engenharia de dados
Profissionais que, de alguma forma, utilizam dados no seu dia a dia