Databricks + Spark + IA Inteligência Artificial

Do Zero à Prática

Este curso foi criado para profissionais e estudantes da área de dados que querem aprender Docker de forma prática, aplicando a tecnologia em ambientes reais de engenharia de dados.

Aqui o Docker não é tratado de forma genérica.
Ele é usado como ferramenta para criar, padronizar e executar pipelines de dados, rodando Apache Spark em containers, integrando com storages S3, Azure Storage e PostgreSQL, e finalizando com deploy em servidor VPS real.

O Que Você Vai Aprender

• Fundamentos de Docker aplicados à engenharia de dados

• Diferenças práticas entre containers e máquinas virtuais

• Criação de ambientes com Docker Desktop, Dockerfile e docker-compose

• Uso de Docker integrado ao VSCode para produtividade

• Fundamentos de Linux aplicados a containers

• Execução de Apache Spark em containers

• Uso de spark-submit em ambiente distribuído

• Integração do Spark com MinIO (S3)

• Integração do Spark com Azure Storage (Azurite)

• Leitura e escrita de dados do Spark para PostgreSQL via JDBC

• Versionamento e publicação de imagens no Docker Hub

• Execução de projetos em VPS real

• Simulação de ambientes DEV e PROD

Objetivo do Curso

Capacitar você a criar ambientes completos de dados usando Docker, desde o desenvolvimento local até a simulação de produção, com foco em:

• Padronização de ambientes de dados

• Execução de jobs Spark em containers

• Integração com múltiplas fontes de dados

• Organização de projetos de engenharia de dados

• Simulação de cenários reais de mercado

Integrações de Dados

Você irá trabalhar com:

• MinIO (S3 compatível) para data lake local

• Azure Storage (Azurite) simulando cloud

• PostgreSQL como banco relacional

• Integração completa entre Spark, storage e banco

Claude Code — O Diferencial deste Curso

Esta é uma das seções mais poderosas do curso. Você vai aprender a usar o Claude Code em quatro ambientes diferentes:

• Terminal — Execute comandos, gere e edite código diretamente pela linha de comando com auxílio da IA

• VSCode — Integre o Claude ao seu editor favorito e programe com muito mais velocidade e inteligência

• Ambiente Remoto (Cloud) — Use o Claude Code em ambientes na nuvem, sem depender da sua máquina local

• Ambiente Local — Configure e rode o Claude Code no seu próprio computador com total controle

Claude IA no Excel — Manipule fórmulas, aplique formatação condicional avançada, faça auditoria de arquivos, realize web scraping e até se prepare para entrevistas de emprego usando IA.

Claude Code — Use inteligência artificial diretamente no terminal e no VSCode para gerar, revisar e documentar projetos de programação com muito mais velocidade e qualidade.

Extensão Claude no Navegador — Analise perfis do LinkedIn, automatize o preenchimento de formulários e crie páginas HTML avançadas com o auxílio da IA.

Cowork e Automações — Manipule arquivos, gere relatórios automáticos e automatize tarefas repetitivas do seu dia a dia profissional.

Infraestrutura Profissional com VPS — Entenda na prática como funciona um servidor real, desde a escolha do VPS até a configuração completa com Linux e Docker. Aprenda a estruturar projetos, acessar servidores via SSH, utilizar VSCode Remote e gerenciar aplicações em ambiente produtivo.

Docker e Ambientes Reais — Descubra como utilizar containers para padronizar seus projetos, garantindo portabilidade e escalabilidade em qualquer ambiente, seja local ou em servidor.

Projeto Completo do Zero ao Deploy — Construa um projeto real passo a passo: criação de aplicação HTML, configuração de banco de dados, integração com N8N, uso de webhooks, comunicação com servidor via FTP/SFTP e publicação final em produção com domínio próprio.

Deploy e Mercado de Trabalho — Aprenda na prática como colocar um projeto no ar, validar integrações, testar automações e entregar soluções completas prontas para uso profissional.

+ 2 Projetos com Databricks e IA