Docker Engenharia de Dados Com Apache Spark

Do Zero à Prática

Este curso foi criado para profissionais e estudantes da área de dados que querem aprender Docker de forma prática, aplicando a tecnologia em ambientes reais de engenharia de dados.

Aqui o Docker não é tratado de forma genérica.
Ele é usado como ferramenta para criar, padronizar e executar pipelines de dados, rodando Apache Spark em containers, integrando com storages S3, Azure Storage e PostgreSQL, e finalizando com deploy em servidor VPS real.

O Que Você Vai Aprender

• Fundamentos de Docker aplicados à engenharia de dados

• Diferenças práticas entre containers e máquinas virtuais

• Criação de ambientes com Docker Desktop, Dockerfile e docker-compose

• Uso de Docker integrado ao VSCode para produtividade

• Fundamentos de Linux aplicados a containers

• Execução de Apache Spark em containers

• Uso de spark-submit em ambiente distribuído

• Integração do Spark com MinIO (S3)

• Integração do Spark com Azure Storage (Azurite)

• Leitura e escrita de dados do Spark para PostgreSQL via JDBC

• Versionamento e publicação de imagens no Docker Hub

• Execução de projetos em VPS real

• Simulação de ambientes DEV e PROD

Objetivo do Curso

Capacitar você a criar ambientes completos de dados usando Docker, desde o desenvolvimento local até a simulação de produção, com foco em:

• Padronização de ambientes de dados

• Execução de jobs Spark em containers

• Integração com múltiplas fontes de dados

• Organização de projetos de engenharia de dados

• Simulação de cenários reais de mercado

Integrações de Dados

Você irá trabalhar com:

• MinIO (S3 compatível) para data lake local

• Azure Storage (Azurite) simulando cloud

• PostgreSQL como banco relacional

• Integração completa entre Spark, storage e banco

Resultado Final

Ao concluir este curso, você será capaz de:

• Criar ambientes de dados completos com Docker

• Rodar pipelines Spark em containers

• Integrar múltiplas fontes de dados

• Trabalhar com padrões usados no mercado

• Levar projetos de dados do local para produção