Engenharia de Dados com Databricks - SQL, Spark e Lakehouse

O que você vai aprender neste curso:

• Unity Catalog no Azure Databricks

  • Introdução e ativação de External Locations

  • Diferença entre volumes externos e gerenciados

  • Como habilitar o Unity Catalog passo a passo no Azure

  • Entender a arquitetura de projeto e gerenciamento de metadados

  • Trabalhar com arquivos em formato Delta Lake com exemplos práticos

  • Criar tabelas via SQL utilizando External Location

• Projeto Prático – Preparando o Ambiente

  • Entender a trajetória do curso e origem dos dados

  • Criar um catálogo no Databricks

  • Estruturar o projeto em containers no Azure

  • Criar volumes no Unity Catalog

• Camada Bronze

  • Primeiro ETL da camada Bronze

  • Criação de pipelines e jobs Bronze

  • Validação e dependências entre tasks (Depends On)

  • Uso de tabelas temporárias na Bronze

• Camada Silver

  • Estruturação da camada Silver com testes e casos práticos

  • Criação de queries SQL com CTEs e refatoração de código

  • Construção de casos de negócio: Products, Orders e Customers

  • Mapeamentos com Case When e cálculos de percentual

  • Salvando DataFrames como tabelas Silver

  • Criação e execução de pipelines Silver

• Camada Gold

  • Preparação do ambiente Gold

  • Desenvolvimento de casos práticos com Orders e Pending Orders

  • Refatoração de scripts e boas práticas

• Jobs e Pipelines

  • Finalização de pipelines de dados

  • Configuração de Schedules & Triggers para automação

  • Notificações de jobs e alertas

  • Estratégias de gerenciamento de falhas em jobs