Engenharia de Dados: Aprenda a Criar um Data Lake do Zero!

Name: Engenharia de Dados: Aprenda a Criar um Data Lake do Zero!
Rating: 4.8 (53 reviews)

Trabalhe com engenharia de dados e aprenda a criar um Data Lake do zero! Desconto na descrição!

Highest Rated

Created byThiago Cardoso

Last updated 1/2026

Portuguese

What you'll learn

Criar um Data Lake completo
Construir pipelines de dados na prática
Criar infraestrutura de dados completa na AWS
Utilizar as ferramentas AWS, S3, EMR, Databricks, Apache Airflow, Glue, Athena e Metabase
Entender o papel do(a) Engenheiro(a) de Dados no mercado
Compreender o conceito de Data Lake e como planejar seu projeto de dados
Criar conta na AWS e configurar credenciais locais
Criar conta e cluster no Databricks
Subir uma instância do Apache Airflow local e na AWS (MWAA)
Criar um bucket S3 para armazenar seus dados
Criar catálogo no AWS Glue e consultar dados usando Athena
Subir uma instância do Metabase na AWS
Conectar o Metabase ao seu Data Lake para criar dashboards e gráficos profissionais

Course content

15 sections • 72 lectures • 9h 48m total length

Introdução.2:26
Nesta aula abordamos uma introdução geral sobre o curso e o que vamos aprender.
Dicas importantes.6:48
Nesta aula trazemos dicas importantes para melhor aproveitamento da Udemy.
Requisitos e recomendações.6:36
Nesta aula abordamos alguns requisitos para o curso e algumas recomendações de conteúdos gratuitos para você aprimorar seus conhecimentos, tirando um melhor proveito do curso.
Revisão rápida: SQL.17:07
Nesta aula abordamos uma revisão rápida sobre SQL.
Revisão rápida: Python.13:38
Nesta aula abordamos uma revisão sobre Python.
Revisão rápida: PySpark.12:03
Nesta aula revisamos o PySpark.
Introdução à função de engenheiro(a) de dados.10:34
Nesta aula entendemos a função de uma pessoa engenheira de dados.

AWS: nosso serviço de computação na nuvem.5:08
Nesta aula abordamos a introdução do serviço da AWS.
Apache Airflow: nossa ferramenta de orquestração.4:45
Nesta aula abordamos a introdução da ferramenta Apache Airflow.
AWS S3: nosso armazenamento.3:04
Nesta aula abordamos a introdução da ferramenta AWS S3.
AWS EMR: nossa ferramenta de processamento.3:16
Nesta aula abordamos a introdução da ferramenta AWS EMR.
Databricks: nossa ferramenta de desenvolvimento de notebooks.4:53
Nesta aula abordamos a introdução da ferramenta Databricks.
AWS Glue e Athena: nosso catálogo de dados.3:08
Nesta aula abordamos a introdução da ferramenta AWS Glue.
Metabase: nossa ferramenta de visualização dos dados.2:39
Nesta aula abordamos a introdução da ferramenta Metabase.

Criação de conta gratuita na AWS.1:07
Neste tutorial abordamos o passo a passo de criação de uma conta gratuita na AWS.
Visão geral da nuvem AWS.9:17
Nesta aula fazemos um overview geral do console da AWS.
Lembrete: instalação Git!0:22
Nesta aula abordamos a instação do Git.
Criação de uma instância do Apache Airflow localmente.14:41
Nesta aula abordamos a criação de uma instância do Apache Airflow localmente.
Versão do Apache Airflow.0:14
Lembrete!
Configuração local credenciais AWS.17:49
Nesta aula configuramos localmente nossas credenciais da AWS.
Lembrete!0:05
Lembrete!
Criação de conta no Databricks.1:20
Neste tutorial abordamos o passo a passo de criação de uma conta gratuita no Databricks.
Lembrete!0:12
Lembrete.
Criação de cluster Databricks.8:23
Nesta aula abordamos a criação de um cluster Databricks.
Criação de uma instância do Apache Airflow na AWS.15:16
Nesta aula criamos uma instância do Apache Airflow na nuvem AWS.
[Atenção] Liberação UI Apache Airflow!0:47
Neste artigo abordamos o passo a passo para liberação do acesso à UI do Apache Airflow.
Criação de um bucket S3.4:17
Nesta aula abordamos a criação de um bucket S3.
Faça um teste!0:10
Neste artigo abordamos um teste para validar o acesso configurado na aula anterior.

Recado: buckets S3.0:12
Neste artigo dou um recado sobre os buckets S3 utilizados no curso.
Lembrete!0:10
Lembrete.
Criação do Código de Extração.25:57
Nesta aula vamos criar o código Python que extrai dados da API Pokémon.
Instalação VSCode.0:17
Neste artigo vamos aprender a instalar o VSCode.
Configuração EMR para o Apache Airflow.25:35
Nesta aula vamos abordar as configurações iniciais para permissionar o Apache Airflow conseguir utilizar o AWS EMR.
Recado: códigos.0:19
Lembrete!
Criação da Dag no Apache Airflow.41:24
Nesta aula vamos criar a dag de extração de dados da API do Pokémon, no Apache Airflow.
Teste da Dag no Apache Airflow.9:05
Nesta aula vamos testar a nossa dag de extração de dados da API do Pokémon.
Recado: deploy.0:17
Recado!
[Extra] Como olhar logs no EMR.5:21
Nesta aula extra, abordamos um pouco como buscar logs no EMR.

Criação do Código de Extração.31:37
Nesta aula vamos criar um código de extração de dados do banco de dados PostgreSQL.
[ATENÇÃO] Correção: chamada boto3 no notebook.0:12
Correção de trecho do código.
Recado: escrita dos dados!0:23
Recado!
[Importante] Acesso ao Secrets Manager.0:25
Recado sobre o Secrets Manager.
Criação da Dag no Apache Airflow.14:24
Nesta aula criamos a dag de extração de dados do PostgreSQL.
Teste da Dag no Apache Airflow local.5:43
Nesta aula testamos a dag de extração de dados do PostgreSQL.

Requirements

Necessário conhecimento em Python básico

Description

GANHE DESCONTO!!! ADICIONE ?referralCode=4FF45AC2F99EAF908C9F&couponCode=INSTRUTOR17 na URL do curso no navegador após a última / (se tiver algo depois dela apague), dê enter e garanta no preço mínimo com indicação do instrutor.

Engenharia de Dados: Aprenda a Criar um Data Lake do Zero!

Esse não é um curso de teoria. Aqui você vai construir um Data Lake completo do zero, passo a passo, usando as ferramentas mais utilizadas no mercado.

Ao longo do curso, você vai:

Aprender os fundamentos essenciais:
- Revisar rapidamente SQL, Python e PySpark.
- Entender o papel do(a) Engenheiro(a) de Dados no mercado.
Projetar seu Data Lake:
- Compreender o conceito de Data Lake e como planejar seu projeto de dados.
Conhecer e configurar as ferramentas do mercado:
- Aprender a usar AWS, S3, EMR, Databricks, Apache Airflow, Glue, Athena e Metabase.
Configurar o ambiente de desenvolvimento e nuvem:
- Criar conta na AWS e configurar credenciais locais.
- Criar conta e cluster no Databricks.
- Subir uma instância do Apache Airflow local e na AWS (MWAA).
- Criar um bucket S3 para armazenar seus dados.
Construir pipelines de dados na prática:
- Camada Bronze: extrair dados de APIs, PostgreSQL e MongoDB.
- Camada Silver: limpar e padronizar os dados com PySpark e Python.
- Camada Gold: curar e transformar os dados para consumo final.
Catalogar e consultar os dados:
- Criar catálogo no AWS Glue e consultar dados usando Athena.
Visualizar dados e criar dashboards:
- Subir uma instância do Metabase na AWS.
- Conectar o Metabase ao seu Data Lake para criar dashboards e gráficos profissionais.

Tudo isso de forma direta ao ponto e sem enrolação, construindo na prática cada etapa — da extração até a visualização.

No final do curso, você terá um projeto completo em nuvem, pronto para ser usado como portfólio ou aplicado no dia a dia de trabalho como Engenheiro(a) de Dados.

Se você quer aprender fazendo, construindo cada parte do Data Lake na prática, esse curso é para você.

Who this course is for:

Desenvolvedores
Engenheiros de dados
Engenheiros de software
Desenvolvedores Python
Usuários AWS
Pessoas de tecnologia
Desenvolvedores AWS
Pessoas que querem aprender Boto3

Engenharia de Dados: Aprenda a Criar um Data Lake do Zero!

What you'll learn

Explore related topics

Course content

Introdução!7 lectures • 1hr 9min

Projetando um Data Lake!2 lectures • 17min

Conhecendo as ferramentas.7 lectures • 27min

Conceitos de bancos de dados e APIs!2 lectures • 15min

Setup de inicialização!14 lectures • 1hr 14min

Criação do cenário de exemplo!3 lectures • 25min

[Camada bronze] Criação de pipeline de extração de dados de API!10 lectures • 1hr 49min

[Camada bronze] Criação de pipeline de extração de dados PostgreSQL!6 lectures • 53min

[Camada bronze] Criação de pipeline de extração de dados MongoDB!3 lectures • 32min

[Camada silver] Criação de pipeline de limpeza dos dados!3 lectures • 38min

Requirements

Description

Who this course is for: