Udemy
    •  
    •  
    •  
    •  
    •  
    •  
    •  
    •  
Subscribe
Turn what you know into an opportunity and reach millions around the world.
Learn More
Your cart is empty.
Keep shopping
Engenharia de Dados com Apache Iceberg e Spark
Highest Rated
Rating: 4.6 out of 5(97 ratings)
385 students

Engenharia de Dados com Apache Iceberg e Spark

Aprenda a gerenciar e otimizar Data Lakes com Apache Iceberg e Spark, aplicando melhores práticas
Highest Rated
Created byFernando Amaral
Last updated 5/2025
Portuguese

What you'll learn

  • Aprenda tudo sobre Iceberg para Transformar seu data swamp em um Data Lake
  • Consulte versões anteriores de suas tabelas com Time Travel.
  • Utilize o catálogo e metadados: consulte informações como schemas, snapshots, históricos, partições e manifestos.
  • Compacte dados, melhorando a performance e a gestão do Data Lake.
  • Defina períodos de retenção para gerenciar o tamanho do seu Data Lake.
  • Gerencie a evolução do schema de suas tabelas sem perder dados ou históricos.
  • Insira e atualize novos dados de forma contínua com operações de merge (upsert).
  • Incorpore dados existentes, como arquivos Parquet, ao seu Data Lake.
  • Execute operações de rollback, revertendo uma tabela para um estado anterior.

Course content

8 sections • 31 lectures • 3h 10m total length

  • Instruções1:48
  • Apresentação4:03
  • Material do Curso0:04
  • Data Warehouses, Data Lakes e Data Lakehouse6:28
  • Apache Iceberg como Solução para Data Swamps6:01
  • Introdução ao Apache Iceberg5:03
  • Catalgo e Metadados do Apache Iceberg9:17
  • Transações ACID4:44
  • Time Travel e Snapshots2:51
  • Particionamento de Dados4:50
  • Outras Características do Apache Iceberg3:24
  • Compatibilidades do Apache Iceberg3:12

Requirements

  • Conhecimento Básico de SQL e Fundamentos de Big Data

Description

Bem vindo a Engenharia de Dados com Apache Iceberg e Spark! Este curso oferece uma abordagem prática e completa para profissionais que desejam dominar a gestão de dados em Data Lakes modernos. Desenvolvido para ser executado de qualquer computador, este curso é realizado na nuvem, permitindo que você aprenda e pratique sem a necessidade de uma infraestrutura avançada. Com todo o material de apoio disponível para download, você terá acesso a exemplos práticos, scripts e documentação adicional, facilitando o acompanhamento das aulas e o aprofundamento no conteúdo.

O que você vai aprender:

  • Consultar versões anteriores de suas tabelas com o recurso Time Travel, essencial para auditorias e análises históricas.

  • Também será capaz de criar e gerenciar partições de dados, otimizando a performance das consultas e garantindo que o armazenamento e o processamento de dados sejam eficientes.

  • Explorar o catálogo e os metadados, possibilitando que você consulte informações detalhadas sobre schemas, snapshots, históricos e manifestos de seus dados.

  • Compactação de dados, melhorando a performance e a gestão do Data Lake, além de ensinar como definir períodos de retenção para controlar o tamanho e o custo de armazenamento.

  • A evolução do schema de tabelas sem perder dados ou históricos é outra característica fundamental que você vai aprender.

  • Você vai aprender a inserir e atualizar dados continuamente com operações de merge (upsert) ou incorporar arquivos Parquet existentes ao seu Data Lake

  • Realizar operações de rollback para restaurar estados anteriores de uma tabela.

Com este curso, você estará preparado para implementar uma arquitetura de dados robusta e eficiente, aproveitando o potencial do Apache Iceberg e do Spark em ambientes de Big Data.

Seja muito bem vindo!

Who this course is for:

  • Engenheiros, Analista e Cientistas de Dados, Profissionais de TI, Estudantes e Entusiastas de Big Data

Report abuse