Udemy
    •  
    •  
    •  
    •  
    •  
    •  
    •  
    •  
Subscribe
Turn what you know into an opportunity and reach millions around the world.
Learn More
Your cart is empty.
Keep shopping
Engenharia de Dados com Pentaho e Azure Data Factory
Highest Rated
Rating: 4.6 out of 5(14 ratings)
93 students

Engenharia de Dados com Pentaho e Azure Data Factory

Aprenda neste cursos atividades de Engenharia de Dados e ETL com o Pentaho PDI e Azure Data Factory
Highest Rated
Created byJuracy Araujo de Almeida Junior, MSc Grimaldo Lopes | + 65.000 alunos de Oliveira
Last updated 7/2025
Portuguese
Portuguese [Auto],

What you'll learn

  • Funcionalidades do Azure Data Factory
  • Casos de Uso do Azure Data Factory
  • Entender na prática o uso de Pipeline de Dados
  • Construir pipelines com fluxos e transformações de dados na nuvem
  • Utilizar das atividades e componentes principais do Azure Data Factory na construção de integrações e ETL de dados
  • Programar a execução automática de pipelines
  • Monitorar a execução com Sucesso/Erro de pipelines
  • O que é o Pentaho PDI
  • Entendendo sobre fluxos de trabalho e pipelines
  • Entendendo sobre projetos e ambientes
  • Instalando o Pentaho PDI
  • Criando pipelines com arquivos texto
  • Realizando tratamento de dados para entendimento do processo de engenharia de dados
  • O que são transformações, Jobs e ações dentro de um pipeline
  • Construindo um workflow com Jobs, orquestrador da sequência das operações
  • Entendendo os menus principais e o seu GUI e seus componentes
  • Componentes pipelines: Sort, Select value, CSV file input, Value mapper, Filter rows, Dummy, Unique rows, Merge Join, Text File Output, Row Normaliser
  • Entendendo como podem ser depurados os dados via output, logs
  • Componentes pipelines: Number Range, Concat Field, String Operations, Replace in String, IF Field Value is Null, Split Fields, CSV File Input, Mail, File Exist
  • Leitura de dados em uma API: Rest Client, JSON Input, JSON Output
  • Construindo Workflow com execução de pipelines
  • Entendo o uso de variáveis globais no PENTAHO PDI
  • Automatização de pipeline ou workflow
  • Construindo pipelines em banco de dados Postgresql: Table Input, Table Output, Configurando conexão
  • Instalação de banco de dados Postgresql, uso do PGAdmin
  • Automatização de JOBs e Transformações com o Kitchen e Pan
  • Construção do projeto de dados a sua escolha e correção com o uso do Pentaho PDI

Course content

2 sections • 65 lectures • 8h 39m total length

  • Apresentação do curso ADF7:12
  • INFORMAÇÕES IMPORTANTES - Leia antes de começar o curso0:23
  • Bem vindo e introdução a computação na nuvem4:52
  • Cadastro na Azure para Créditos e uso no Curso6:32
  • Entendimento do ADF, Casos de Uso e Arquitetura7:33
  • Preparação do Ambiente - Provisionando Storage e Arquivos7:31
  • Preparação do Ambiente - Banco de Dados SQL Azure4:46
  • Preparação do Ambiente - Criando Tabelas no Banco SQL Azure7:37
  • Preparação do Ambiente - Provisionando o Azure Data Factory3:23
  • Conhecendo o Azure Data Factory - Explorando Tela Inicial6:57
  • Conceitos Importantes do Azure Data Factory7:34
  • Primeiros Passos no Editor(Autor) do ADF9:57
  • Explorando Copy Data - Parte 14:59
  • Explorando Copy Data - Parte 27:11
  • Explorando Copy Data - Parte 36:38
  • Atividade/Desafio 1 no ADF1:17
  • Conhecendo o DataFlow e Origem de Dados7:35
  • Explorando Componentes DataFlow - Seleção/ColunaDerivada11:16
  • Explorando Componentes DataFlow - Executando Pipeline/Dataflow5:08
  • Explorando Componentes DataFlow - Agregação9:20
  • Explorando Componentes DataFlow - Rank/Classificação6:09
  • Atividade/Desafio 2 no ADF0:50
  • Explorando Componentes DataFlow - União8:04
  • Explorando Componentes DataFlow - Divisão Condicional9:19
  • Explorando Componentes DataFlow - Junção9:37
  • Atividade/Desafio 3 no ADF2:14
  • Parâmetro na Pipeline/DataFlow6:38
  • Orquestração e Dependências no ADF5:56
  • Projeto ETL - Parte 12:58
  • Projeto ETL - Parte 27:04
  • Projeto ETL - Parte 311:38
  • Projeto ETL - Parte 47:57
  • Projeto ETL - Parte 516:09
  • Atividade/Desafio 4 no ADF1:28
  • Gatilhos (Triggers) no ADF9:01
  • Integration Runtime, LinkedService e Datasets6:30
  • Monitorando Cargas e Alertas7:39
  • Conclusão do curso2:26

Requirements

  • Conhecimentos básicos de banco de dados e arquivos
  • Importante que você conheça lógica de programação

Description

Bem vindo ao treinamento de Engenharia de Dados com Pentaho e Azure Data Factory. Neste curso totalmente PRÁTICO você terá a oportunidade de aprender 2 soluções de mercado, uma On Premisse e outra na Nuvem da Azure.

Tanto o Azure Data Factory quanto o Pentaho PDI são poderosas ferramentas para lidar com dados e criar fluxos de trabalho de dados eficientes. A escolha entre eles depende das necessidades específicas do projeto, dos recursos desejados e do ambiente de nuvem preferido. Ambas as soluções têm uma comunidade ativa de usuários e oferecem suporte para casos de uso variados, desde a ingestão e transformação de dados simples até a criação de soluções de análise de dados avançadas.

Azure Data Factory é um serviço de orquestração de dados baseado na nuvem da Microsoft, projetado para ajudar na ingestão, transformação e carga de dados em várias fontes. Ele permite criar pipelines de dados que movem, transformam e processam dados entre várias origens e destinos de dados. Com o Azure Data Factory, você pode orquestrar facilmente fluxos de trabalho de dados complexos, agendar e monitorar tarefas de processamento de dados e obter insights valiosos a partir dos dados.

Pentaho PDI, por outro lado, é uma suíte de ferramentas de código aberto para integração e análise de dados. Ele oferece recursos de ETL (Extract, Transform, Load), visualização de dados, mineração de dados, geração de relatórios e painéis interativos. O Pentaho permite que você extraia dados de várias fontes, transforme-os de acordo com suas necessidades e carregue-os em destinos desejados. Ele fornece uma interface intuitiva para criação de fluxos de trabalho de dados e oferece suporte a várias fontes de dados, incluindo bancos de dados relacionais, planilhas, arquivos CSV, fontes NoSQL e muito mais.

Se você é iniciante na área de Engenharia de Dados ou já é um profissional que atua, venha aprimorar seu conhecimento conosco neste super combinado de Engenharia de DADOS. Não perca tempo, comece hoje mesmo.

Who this course is for:

  • Profissional de Dados que deseja entrar para mundo CLOUD
  • Estudantes e Profissionais que queiram conhecer uma das principais soluções em nuvem para ETL/Integração de dados
  • Analistas de BI, de Dados, Data Warehouse,ETL
  • Engenheiro de Dados
  • Você que se interessa por tecnologia que envolvam GRANDES DADOS (BIG DATA)

Report abuse