Data Factory, AWS Glue, Databricks e Databricks Delta Lake
What you'll learn
- Visualização para explorar resultados de consultas de diferentes perspectivas
- Construção de gráficos e Dashboards
- Unificação de dados em diversos formatos: texto, JSON, PARQUET, dentre outros
- Trabalhada por administrador da plataforma, analista de dados, cientista de dados e engenheiro de dados com diversas funcionalidades
- Aprendizado processamento distribuído em SPARK
- Entendo o que é Databricks File System (DBFS) seu sistema de arquivos
- Entendo sobre Cluster
- Aprendendo a gerenciar e criar Notebooks em R, SCALA, Python e SQL
- Executando scripts multilinguagens
- Gerenciando a ingestão de dados e análise de dados, gerando gráficos e dashboards
- Construindo na versão community
- Trabalhando com a biblioteca dbutils Python
- Integrando o Databricks ao Power BI
- Entendendo a arquitetura chamada Lakehouse sobre o Data Lake no Databricks
- Construindo Delta Lake com processamento em batch, streaming em lote
- Controle de transações sobre os dados, como um banco de dados
- Trabalhando com características ACID (Atomicidade, Consistência, Isolamento, Durabilidade) ao Delta Lake
- Entendendo versionamento dos dados, permite que os dados sejam acessados e revertam para versões anteriores de dados, controle de históricos
- Uso das fases de ingestão, refinamento e enriquecimento dos dados
- Diferenças das arquiteturas Data Lake x Delta Lake
- Aprendendo como otimização dos processos de coleta e tratamento dos dados, reduzindo o tempo de processamento e descartando o que não for útil
- Trabalhando a criação de tabelas Delta e como gerar históricos de dados
- Trabalhando com cluster, DBFS, Notebook em R, Scala, Pyhton e SQL
- Delta Time Travel como retornar versões de dados e comandos de controle
- Controle de auditoria, agindo na conformidade de dados quanto de depuração simples para entender como os dados mudaram ao longo do tempo
- Executando reversões nos dados, evitando duplicação e realizando refinamento, ajustes, atualizações e exclusões dos dados
- Executando scripts batch e streaming
- Entendo o que significa checkpoint e controle de gravações dos dados
- Trabalhando com Schema Evolution na inclusão de atributos as tabelas delta
- Funcionalidades do Azure Data Factory
- Casos de Uso do Azure Data Factory
- Entender na prática o uso de Pipeline de Dados
- Construir pipelines com fluxos e transformações de dados na nuvem
- Utilizar das atividades e componentes principais do Azure Data Factory na construção de integrações e ETL de dados
- Programar a execução automática de pipelines
- Monitorar a execução com Sucesso/Erro de pipelines
- AWS GLUE: Criação de Jobs via Glue Studio
- AWS GLUE: Criação de Jobs via Script Python no Glue
- AWS GLUE: Entendimento de Workflows
- AWS GLUE Script, Crawler, Data Catalog, Triggers muito mais na prática.
Requirements
- É importante que você conheça um pouco de Python, R, Scala, SQL, não haverá treinamento destas linguagens neste curso
- Importante conhecer execução de scripts em Python, R, Scala, SQL
Description
Estamos entusiasmados em disponibilizar o treinamento abrangente que aborda as poderosas ferramentas Azure Data Factory, AWS Glue, Databricks e Databricks Delta Lake. Se você é um profissional de dados ou aspirante a entrar nesse campo emocionante, este curso é feito sob medida para você!
Aprendendo Azure Data Factory, Databricks e Databricks Delta Lake juntos, você estará preparado para enfrentar os desafios do mundo dos dados. Essas três ferramentas trabalham em sinergia para oferecer a você uma plataforma completa para a coleta, processamento, transformação e análise de dados em escala.
Mas por que é tão importante estudar esses cursos em conjunto? A resposta é simples: eficiência e potencial ilimitado. A Azure Data Factory fornece uma estrutura robusta e flexível para orquestrar e agendar fluxos de trabalho de dados em toda a organização. O Databricks, por sua vez, oferece um ambiente de análise colaborativo e escalável que permite realizar análises avançadas, processamento de big data e machine learning com facilidade. E o Databricks Delta Lake é uma camada de armazenamento de dados confiável e escalável, que simplifica a integridade e a qualidade dos dados, bem como o controle de versões.
Dominar essas ferramentas abre um leque de oportunidades emocionantes no mercado de trabalho. A demanda por profissionais habilidosos em Azure Data Factory, AWS GLUE, Databricks e Databricks Delta Lake está crescendo rapidamente. Empresas de todos os setores estão investindo em infraestrutura de dados moderna e estão ávidas por talentos capazes de aproveitar todo o potencial dessas ferramentas. A habilidade de criar pipelines de dados eficientes, explorar e transformar grandes volumes de dados, realizar análises avançadas e construir modelos de machine learning é um diferencial valioso no mercado atual.
Desenvolva habilidades essenciais em AWS Glue, o serviço de ETL serverless da AWS, que simplifica a integração, transformação e análise de dados em larga escala. Este curso oferece uma abordagem prática e detalhada, ideal para desenvolvedores, engenheiros de dados e analistas que desejam explorar o poder da computação em nuvem para projetos de dados.
Ao participar deste curso, você aprenderá as principais funcionalidades de cada ferramenta, desde a criação e agendamento de fluxos de trabalho no Azure Data Factory até a manipulação de dados em escala com Databricks, além da aplicação de conceitos de controle de dados e garantia de qualidade usando Databricks Delta Lake. Você também terá a oportunidade de explorar casos de uso reais e práticas recomendadas, o que lhe dará uma vantagem competitiva no mundo dos dados.
Então, junte-se a nós neste treinamento emocionante e esteja preparado para impulsionar sua carreira no campo dos dados! Este é o momento de se tornar um especialista em Azure Data Factory, Databricks e Databricks Delta Lake. Adquira as habilidades necessárias para enfrentar os desafios do mercado de trabalho atual e se destaque como um profissional de dados altamente requisitado.
Não perca essa oportunidade! Inscreva-se agora mesmo no curso de Azure Data Factory, Databricks e Databricks Delta Lake e comece sua jornada para se tornar um mestre dos dados. Venha descobrir o poder dessas ferramentas e desbloqueie o potencial ilimitado dos dados!
Who this course is for:
- Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
- Profissional de Dados que deseja entrar para mundo CLOUD
- Analistas de BI, de Dados, Data Warehouse,ETL
- Engenheiro de Dados
- Você que se interessa por tecnologia que envolvam GRANDES DADOS (BIG DATA)
Instructors
- 4.4 Instructor Rating
- 1,936 Reviews
- 13,638 Students
- 71 Courses
Professor das pós-graduações das universidades CATÓLICA DO SALVADOR, UFBA, UNIRUY e ESTÁCIO FIB em disciplinas das áreas de Big DATA, Business Intelligence e Banco de Dados.
Especialista em Banco de Dados com Enfâse em Alta Disponibilidade pela Universidade Salvador(UNIFACS) e em Projetos de Business Intelligence desde 2007, já atuei como DBA e atualmente como Consultor Business Intelligence participo de projetos utilizando tecnologias Cloud Azure/AWS e Oracle (OWB/OBIEE), Microsoft (SSIS/SSRS), Postgres e outras. Atualmente atuo como Consultor de Engenharia de Dados e em projetos envolvendo todas as etapas do processo de BI, desde levantamento de requisitos, análise de viabilidade, projeto e desenho, modelagem dimensional, construção de ETL, Cubos e relatórios OLAP, envolvendo bases heterogêneas e diversas tecnologias. Também tenho me interessado muito e participado de algumas práticas e estudos sobre BIG DATA e Aprendizagem de Maquina.
- 4.5 Instructor Rating
- 13,967 Reviews
- 63,116 Students
- 215 Courses
Quem sou
Fui escolhido como um dos 50 profissionais mais influentes em dados no ano de 2023 pela Gama Academy, uma organização que estabelece um Rank dos profissionais com mais destaque na área de Dados/BI.
Por que estudar na área de dados comigo?
Sou profissional da área com diversos projetos desenvolvidos, tanto na área privada como na área pública, tenho um skill muito forte em atender meus alunos com alguma dúvida no máximo em 24 horas. Procuro alinhar conhecimento teórico e prático.
O que trago em meus cursos?
Acho que a área de dados é bem rica e vasta, mas ter um direcionamento do que deve ser estudado com cursos passo a passo é o que busco nas minhas aulas, fiz um mestrado na área de educação para criar aulas sob medida aos meus alunos. Estou diariamente aprimorando e trazendo novidades na área, afinal criar + de 150 cursos envolve dedicação e foco.
O que faço hoje
Sou professor das pós-graduações das universidades UNIFACS, CATÓLICA DO SALVADOR e ISL Wyden. Mestre pela Universidade do Estado da Bahia (UNEB) no Curso de Mestrado Profissional Gestão e Tecnologias Aplicadas à Educação (GESTEC). Possui Especialização em Análise de Sistemas pela Faculdade Visconde de Cairu e Bacharelado em Estatística pela Universidade Federal da Bahia. Atua profissionalmente como consultor há mais de 20 anos nas áreas de Data Warehouse, Mineração de Dados, Ferramentas de Tomada de Decisão e Estatística. Atualmente sou editor do blog BI com Vatapá. Autor do Livro: BI COMO DEVE SER - professor EAD de diversos cursos de BI na Aprenda Virtual. Idealizador do BI PRO - O maior e mais completo conteúdo sobre BI da internet.