APACHE HOP e TALEND: integração de dados por pipeline e job
What you'll learn
- O que é Hop Orchestration Platform
- Entendendo sobre fluxos de trabalho e pipelines
- Entendendo sobre projetos e ambientes
- Instalação do APACHE HOP
- Criando pipelines com arquivos texto
- Realizando tratamento de dados para entendimento do processo de engenharia de dados
- O que são transformações, links e ações dentro de um pipeline
- Construindo um workflow, orquestrador da sequência das operações
- Entendendo o HOP GUI e seus componentes
- Entendendo menu barras, principal e perspectivas
- Criando sua área de projetos
- Componentes pipelines: Sort, Select value, CSV file input, Value mapper, Filter rows, Dummy, Unique rows, Merge Join, Text File Output
- Entendendo o que é : View output, Preview output , Debug output
- Componentes pipelines: Number Range, Concat Field, String Operations, Replace in String, IF Field Value is Null, Split Fields, CSV File Input, Mail, File Exist
- Leitura de dados em uma API: Rest Client, JSON Input, JSON Output
- Construindo Workflow com execução de pipelines
- Entendo o uso de variáveis globais no APACHE HOP
- Automatização de pipeline ou workflow pelo HOP-RUN
- Construindo pipelines em banco de dados Postgresql: Table Input, Table Output, Configurando conexão
- Instalação de banco de dados Postgresql, usando PGAdmin
- Como trabalhar com a ferramenta ETL Open Source Talend Data integration
- Para que funciona uma ferramenta ETL
- Como realizar a integração de dados dentro do Talend Data integration
- Principais componentes do Talend: TFILEARCHIVE, TFILEUNARCHIVE,TFILECOMPARE E TFILEOUTPUTDELIMETED ,TFILECOPY E TFILELIST,TFILEDELETE E TJAVA
- Mais componentes: TFILEEXIST E TMSGBOX,TFILEROWCOUNT,TAGGREGATEROW, TSORTROW E TLOGROW, TREPLACE E TFILTERCOLUMN
- Mais componentes: TFILTERROW,TSPLITROW,TFILEINPUTXML, TLOGCATCHER , TROWGENERATION,TDIE E TLOGROW
- Mais componentes:TLOGCATCHER , TROWGENERATION,TWARN E TLOGROW ,TSENDMAIL
- Como exportar um projeto de desenvolvimento para produção
- Como importar um projeto para produção
- Aprendendo o uso das conhecidas variáveis de contexto
Requirements
- Importante ter uma base sobre banco de dados, arquivos de dados
- Importante que você conheça lógica de programação
- Conhecimento básico de Banco de Dados
Description
Unimos as duas principais ferramentas open source do mercado que trabalham com projetos de integração e manipulação de dados, ambas 100% VISUAL, estamos falando do APACHE HOP e do TALEND.
iniciaremos nosso treinamento com o uso do APACHE HOP, ferramenta de última geração que contém mais de 400 plugins para o tratamento com dados. Aqui você irá construir os conhecidos pipelines e workflows, onde grande parte dos projetos são desenvolvidos. Você poderá construir pipelines para: carregar em bases de dados, leitura de bases de dados, leitura de arquivos TXT, CSV, XLS ,JSON, dentre outros. Poderá criar novos campos e até em tempo de processamento eliminar alguns, é muito fácil e rápido de construir.
Depois você vai adentrar em uma grande ferramenta já há muito consolidada no mercado, o TALEND. Veremos neste treinamento o que você pode construir de JOBs estruturados e em sequência, que facilitam ao engenheiro de dados, analista de dados e profissional de dados em geral a construção de rotinas de carga em seus banco de dados e arquivos. No TALEND é possível gerar o código resultante para Schedule, assim como no APACHE HOP.
Então não perca mais tempo e venha aprender estes dois super produtos que a área de dados possui.
Who this course is for:
- Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
- Pessoas interessadas em aprender os conceitos sobre ferramentas de ingestão de dados, ou que gostariam adentrar na área de engenharia de dados
- Profissionais que, de alguma forma, utilizam dados no seu dia a dia
Instructor
![MSc Grimaldo Lopes | + 40.000 alunos de Oliveira](data:image/svg+xml,%3Csvg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 64 64"%3E%3C/svg%3E){kind=avatar}
- 4.4 Instructor Rating
- 8,521 Reviews
- 43,533 Students
- 157 Courses
Por que estudar na área de dados comigo?
Sou profissional da área com diversos projetos desenvolvidos, tanto na área privada como na área pública, tenho um skill muito forte em atender meus alunos com alguma dúvida no máximo em 24 horas. Procuro alinhar conhecimento teórico e prático.
O que trago em meus cursos?
Acho que a área de dados é bem rica e vasta, mas ter um direcionamento do que deve ser estudado com cursos passo a passo é o que busco nas minhas aulas, fiz um mestrado na área de educação para criar aulas sob medida aos meus alunos. Estou diariamente aprimorando e trazendo novidades na área, afinal criar + de 100 cursos envolve dedicação e foco.
O que faço hoje
Sou professor das pós-graduações das universidades UNIFACS, CATÓLICA DO SALVADOR e ISL Wyden. Mestre pela Universidade do Estado da Bahia (UNEB) no Curso de Mestrado Profissional Gestão e Tecnologias Aplicadas à Educação (GESTEC). Possui Especialização em Análise de Sistemas pela Faculdade Visconde de Cairu e Bacharelado em Estatística pela Universidade Federal da Bahia. Atua profissionalmente como consultor há mais de 15 anos nas áreas de Data Warehouse, Mineração de Dados, Ferramentas de Tomada de Decisão e Estatística. Atualmente sou editor do blog BI com Vatapá. Autor do Livro: BI COMO DEVE SER - professor EAD de diversos cursos de BI na Aprenda Virtual. Idealizador do BI PRO - O maior e mais completo conteúdo sobre BI da internet.