Engenharia de Dados com Google Datafusion e Big Query (CDAP)

Este é um curso INTRODUTÓRIO a ferramenta de ingestão low code do Google Cloud , o Datafusion. O Google Data Fusion é uma plataforma de integração de dados totalmente gerenciada que permite aos engenheiros de dados criar, implantar e gerenciar pipelines de dados de maneira eficiente.

Uma das principais razões para usar o Google Data Fusion é a sua facilidade de uso. Com uma interface intuitiva e visual, os engenheiros de dados podem criar pipelines de dados complexos, sem precisar escrever código extensivo. A interface drag-and-drop simplifica o processo de transformação e limpeza de dados, permitindo que os profissionais se concentrem na lógica do negócio, em vez de se preocuparem com a codificação detalhada.

Outro benefício importante do Google Data Fusion é sua escalabilidade. A plataforma é executada no Google Cloud, o que significa que ela pode lidar com grandes volumes de dados e processamento paralelo de alto desempenho. Os engenheiros de dados podem expandir verticalmente ou horizontalmente suas capacidades de processamento, de acordo com as necessidades do projeto, garantindo que possam lidar com qualquer demanda de dados em escala.

Além disso, o Google Data Fusion oferece uma integração perfeita com outros serviços e produtos do ecossistema do Google Cloud. Os engenheiros de dados podem facilmente conectar e integrar pipelines de dados com serviços como o BigQuery, Cloud Storage, Pub/Sub e muitos outros. Isso permite uma arquitetura de dados coesa e unificada, facilitando a ingestão, o armazenamento e a análise de dados em várias plataformas.

Neste curso você ira aprender:

1. Entender o seu funcionamento interno

2. Quais são seus benefícios

3. Aprendera a criar um instancia do Datafusion

4. Utilizar o Google Cloud Storage como entrada de dados

5. Utilizar o Big Query como Data Lake (camadas Bronze e Silver)

6. Recursos avançados do Big Query: Tabelas particionadas e comando MERGE

7. Ingerir dados de fontes diferentes

8. Transformar dados com Wrangle (low code) e com queries

9. Criar DAGS para ETL de dados e dependências

10. Agendamentado e dependencias inter-DAGs