Formação Engenharia de Dados: Domine Big Data!

Totalmente atualizado em Setembro de 2022! Faça o utilizando ferramentas na nuvem, tudo o que você precisa é de um computador com acesso a internet!

A Engenharia de Dados é uma das profissões que mais cresce no mundo, com alta demanda de profissionais e consequentemente salários cada vez maiores, além de muitas oportunidades para trabalhar para empresas estrangeiras ou mesmo para uma carreira no exterior!

Este é mais completo e acessível curso para você entrar ou se especializar no mundo dos Dados!

O Engenheiro de Dados é o profissional que constrói, mantém e disponibiliza dados em empresas. Com ambientes cada vez mais complexos, este profissional deve conhecer diversas estruturas e tecnologias de dados. Neste curso, você vai ter um panorama geral sobre as principais modelos e tecnologias de dados que encontramos no mundo da ciência de dados.

Entre outras coisas, você vai estudar:

1. Conceitos e Fundamentos

2. Armazenamentos de dados distribuidos

3. Modelo Relacional e Linguagem SQL: Operação. Modelos relacionais estão em toda parte, são sistemas contabeis, folhas de pagamento, estoque, finanças etc. Embora este seja um modelo mais antigo de dados, é sem dúvida ainda o mais importante!

4. Modelo Dimensional: Tomada de Decisão. Modelos dimensionais são utilizados para construir armazéns de dados, que nada mais são "depósitos" de informação utilizada para apoiar a tomada de decisão.

5. Data Warehouse Moderno e Data Lake: Os armazens de dados modernos são estruturados em colunas e otimizados através de partições

6. NoSQL: Orientado a Documento e Chave Valor: Dados semi-estruturados com MongoDB e Redis. NoSQL é uma familia de bancos de dados para modelos diferenciados, para armazenar informações que não tem as restrições encontradas em sistemas de transações.

7. Introdução do Ecossistema Hadoop: Este ecossistema que foi o pioneiro no processamento de grandes volumes de dados

8. Spark: O Spark é uma das mais importantes ferramentas de Engenharia e Ciência de Dados, capaz de processar grandes volumes de dados com alta performance.

9. Engenharia de Dados com Python: O Python se tornou a mais importante linguagem imperativa no mundo dos dados.

10. Aplicações em Streaming: Real Time e Near Real Time: Dados em streaming são aqueles que são produzidos e forma contínua, e que precisam ser processados de forma contínua.

11. ETL e Data Crawlers: Extrair, transformar e entregar dados é uma tarefa de rotina na engenharia de dados

12. Gerenciamento de serviços pela CLI

Algumas das ferramentas que serão utilizadas e estudadas durante o curso:

• Postgresql

• S3

• EC2

• Redshift

• Mongodb

• Redis

• Databricks

• RDS

• Kinesis

• Glue

• Athena

Você também terá dois grandes projetos práticos para desenvolver ao final do curso:

1. Construção de um Data Lake

2. Construção de um Pipeline de Extração e Transformação de Dados

O curso ainda traz todo material, como slides e scripts, disponíveis para você baixar.