Bootcamp Engenharia de Dados: Construa um Projeto Real

Bem vindo ao Bootcamp Engenharia de Dados! Este curso  é uma jornada prática voltada para a construção de um Data Warehouse para uma montadora de veículos. Criamos uma empresa fictícia para o curso, com site, sistema e banco de dados "vivo", com novas vendas sendo geradas em tempo real!

Através de sete seções detalhadas, os alunos mergulham em um projeto real, utilizando ferramentas de ponta no mercado como Airflow, dbt e Snowflake, com o banco de origem dos dados sendo o PostgreSQL. Em uma última seção criamos um Dashboard usando Looker Studio. Aqui está uma visão detalhada das seções e o que você pode esperar aprender:

• Introdução: Uma visão geral do curso, introduzindo os conceitos fundamentais da engenharia de dados, a importância de um Data Warehouse e como ele pode impulsionar a tomada de decisões baseada em dados em uma montadora de veículos.

• Explorando o banco de dados da empresa: Nesta seção, os alunos aprendem a navegar pelo banco de dados PostgreSQL da empresa, compreendendo sua estrutura e como os dados são armazenados, essencial para o planejamento da migração e modelagem de dados.

• Configurando Airflow: Os alunos configuram o Airflow, uma plataforma de orquestração de trabalho, aprendendo a automatizar e monitorar fluxos de trabalho complexos de engenharia de dados, essenciais para a eficiência e escalabilidade das operações de dados.

• Criando conta e configurando Snowflake: Aqui, os alunos dão seus primeiros passos com o Snowflake, um serviço de armazenamento de dados na nuvem, configurando contas e aprendendo sobre suas capacidades e como ele pode ser integrado ao ecossistema de dados da empresa.

• Criando a DAG e carregando os dados: Esta seção foca na criação de Directed Acyclic Graphs (DAGs) no Airflow para orquestrar o processo de carregamento dos dados do PostgreSQL para o Snowflake, garantindo uma transferência de dados eficiente e confiável.

• Criando projeto e configurando o dbt: Os alunos aprendem a utilizar o dbt (data build tool) para transformar dados no Snowflake, aplicando práticas de engenharia de dados para modelar, testar e documentar os dados de forma eficaz.

• Produção de dashboard e discussão de alternativas: O curso oferece uma seção dedicada à criação de dashboards para visualização de dados e discussões sobre alternativas e melhores práticas no campo da engenharia de dados.

Este curso é ideal para quem busca aprofundar seus conhecimentos em engenharia de dados, aplicando conceitos teóricos em um contexto prático e realista, preparando os alunos para enfrentar desafios do mundo real no campo da análise de dados.

Todos os scripts utilizados no curso estão disponíveis para o aluno baixar!