Udemy
    •  
    •  
    •  
    •  
    •  
    •  
    •  
    •  
Turn what you know into an opportunity and reach millions around the world.
Learn More
Your cart is empty.
Keep shopping
Formação em Engenharia de Dados Avançada 2026
Role Play
New
33 students

Formação em Engenharia de Dados Avançada 2026

Domine sistemas distribuídos, streaming, confiabilidade, modelagem avançada, contratos, observabildiade e muito mais!
Created byFernando Amaral
Last updated 9/2026
Portuguese

What you'll learn

  • Diagnosticar problemas de particionamento, shuffle, data skew e paralelismo em sistemas distribuídos.
  • Projetar fluxos de streaming com event time, janelas, watermarks e tratamento de eventos atrasados.
  • Tornar pipelines resilientes com retries, idempotência, checkpoints e estratégias de recuperação.
  • Utilizar recursos do Apache Iceberg, como snapshots, time travel e evolução de schemas.
  • Modelar dados históricos com grain definido, chaves substitutas, SCD Type 2 e joins temporais.
  • Investigar gargalos de performance em Spark e avaliar joins, pruning, cache e custo de processamento.
  • Definir contratos, indicadores de observabilidade e controles de segurança para produtos de dados.
  • Comparar arquiteturas e justificar decisões considerando latência, custo, consistência e confiabilidade.

Course content

12 sections • 61 lectures • 5h 34m total length
  • Apresentação2:25
  • Material para Download0:05
  • Ambiente do Curso3:30

Requirements

  • Conhecimento prévio dos fundamentos de Engenharia de Dados

Description

A Formação em Engenharia de Dados Avançada na Prática foi criada para quem já conhece os fundamentos da área e quer desenvolver uma habilidade essencial no trabalho: analisar sistemas de dados, identificar problemas e tomar decisões técnicas bem justificadas.

O curso começa pelos fundamentos de sistemas distribuídos, abordando particionamento, paralelismo, shuffle, data skew e falhas parciais. Em seguida, aprofunda streaming e confiabilidade, com temas como event time, janelas, watermarks, eventos atrasados, retries, idempotência, checkpoints e garantias de processamento.

Você também estudará Lakehouse e formatos de tabela, incluindo transações, snapshots, time travel e evolução de schemas e partições. Na parte de modelagem avançada, o foco passa para grain, chaves, SCD Type 2, dados temporais e registros que chegam atrasados. Depois, o curso examina como diagnosticar problemas de performance, ler menos dados, reduzir movimentação pela rede e avaliar estratégias de join.

As seções seguintes tratam de Data Contracts, arquiteturas modernas, observabilidade, segurança e governança. Você verá como mudanças aparentemente compatíveis podem quebrar consumidores, quando escolher batch ou streaming, como detectar dados incorretos mesmo com pipelines funcionando e como definir controles de acesso adequados. A formação termina com os trade-offs que atravessam essas decisões: custo, latência, consistência, confiabilidade e simplicidade.

Além das aulas e tutoriais, o curso inclui laboratórios com Spark e Iceberg, questões situacionais e entrevistas simuladas. Em parte das atividades, você recebe uma implementação pronta e precisa avaliar seu comportamento, encontrar falhas e justificar se a aprovaria para produção. O objetivo é aproximar o estudo das decisões que um engenheiro de dados enfrenta em projetos reais.

Who this course is for:

  • Engenheiros de dados, analytics engineer e Arquitetos de Dados
  • Desenvolvedores, s e arquitetos que participam de decisões sobre processamento e armazenamento de dados.
  • Estudantes que já dominam os fundamentos da área e buscam uma formação mais profunda e aplicada.