Udemy
    •  
    •  
    •  
    •  
    •  
    •  
    •  
    •  
Subscribe
Turn what you know into an opportunity and reach millions around the world.
Learn More
Your cart is empty.
Keep shopping
SQL com IA e AWS Glue: Como Processar Grandes Volumes Dados
26 students

SQL com IA e AWS Glue: Como Processar Grandes Volumes Dados

Pipelines SQL com IAs e AWS Glue: Automação e Eficiência na Manipulação de Dados
Created byJuracy Araujo de Almeida Junior, MSc Grimaldo Lopes | + 65.000 alunos de Oliveira
Last updated 3/2025
Portuguese
Portuguese [Auto],

What you'll learn

  • IA PARA ENGENHARIA: Estudaremos o impacto da qualidade dos dados na confiabilidade das informações com as IAs
  • IA PARA ENGENHARIA: Consolidaremos técnicas para garantir que a base de dados esteja limpa, consistente e confiável com as IAs
  • IA PARA ENGENHARIA: Aplicamos boas práticas em SQL para evitar exclusão acidental de dados importantes com uso das IAs.
  • IA PARA ENGENHARIA: Aprenderemos como o CHATGTP, GEMINI e Copilot constroem SQL eficientes para nos auxiliar no desenvolvimento de projetos de dados.
  • IA PARA ENGENHARIA: Análise de desempenho das consultas geradas
  • IA PARA ENGENHARIA: Identificação de padrões incorretos na base de dados estudada
  • IA PARA ENGENHARIA: Como a IA identifica registros repetidos e inconsistentes
  • IA PARA ENGENHARIA: Geração de scripts para limpeza e identificação de problemas nos dados
  • IA PARA ENGENHARIA: Como IA pode sugerir queries para visualizações otimizadas
  • IA PARA ENGENHARIA: Como se preparar para um mercado orientado à IA no desenvolvimento SQL
  • IA PARA ENGENHARIA: Comparando as abordagens de geração de código SQL nas três IAs
  • IA PARA ENGENHARIA: Diferenças no fluxo de trabalho entre as três IAs
  • IA PARA ENGENHARIA: Identificação de erros comuns ao usar IA para construção de pipelines em SQL
  • IA PARA ENGENHARIA: Explorando a interface e funcionalidades do ChatGPT para dados
  • IA PARA ENGENHARIA: Explorando a interface e funcionalidades do Gemini para dados
  • IA PARA ENGENHARIA: Explorando a interface e funcionalidades do Copilot para dados
  • IA PARA ENGENHARIA: Visão geral das três principais IAs: ChatGPT, Gemini e Copilot
  • IA PARA ENGENHARIA: Comparação entre ChatGPT, Gemini e Copilot para engenharia de dados
  • IA PARA ENGENHARIA: O uso da Qualidade de dados nas orgnizações
  • AWS GLUE: Criação de Jobs via Glue Studio
  • AWS GLUE: Criação de Jobs via Script Python no Glue
  • AWS GLUE: Entendimento de Workflows
  • AWS GLUE: Entendimento de Trigeers
  • AWS GLUE: Entender os fundamentos do Glue Data Catalog e como utilizá-lo para gerenciar metadados.
  • AWS GLUE: Explorar o Glue Visual ETL e criar processos ETL sem precisar codificar
  • AWS GLUE: Otimizar o uso do S3 e integrar o Glue
  • AWS GLUE: Monitorar cargas de dados com SUCESSO/ERRO
  • AWS GLUE: Entender mais sobre a nuvem AWS

Course content

6 sections • 72 lectures • 7h 6m total length

  • Apresentação ao Curso AWS Glue9:26
  • INFORMAÇÕES IMPORTANTES - Leia antes de começar o curso0:23
  • ETL e Arquitetura do AWS Glue8:06
  • Conta AWS - Detalhes antes da Criação7:40
  • IMPORTANTE SOBRE CONTA AWS - Processamento GLUE0:46
  • Criação Conta AWS7:02
  • Acessando AWS Management Console5:32
  • Conhecendo Recursos/Serviços Utilizados na AWS7:24
  • Configurando Policy/Roles para Acessos dos Recursos GLUE6:58
  • Configurando o S35:23
  • Iniciando no AWS Glue3:50
  • Entendendo o que é o Glue Data Catalog7:20
  • Glue Data Catalog na Prática com Crawlers - Parte 18:17
  • Glue Data Catalog na Prática com Crawlers - Parte 27:22
  • Glue Data Catalog - Outras Propriedades + Athena7:29
  • Prática AWS Glue Catalog + Crawler0:02
  • Resposta Prática AWS Glue Catalog + Crawler5:13
  • Explorando Glue Visual ETL - Introdução e Propriedades9:12
  • Explorando Glue Visual ETL - Criando um Job na Prática10:25
  • Explorando o Glue Visual ETL - Modificando o JOB4:42
  • Prática Glue Visual ETL0:23
  • Resposta Prática Glue Visual ETL6:06
  • ETL via Script Glue - Introdução Ambiente7:00
  • ETL via Script Glue - Execução Prática 15:46
  • ETL via Script Glue - Execução Prática 1 - Log Erro e Ajustes8:14
  • ETL via Script Glue - Execução Prática 2 - Parâmetros + Leitura Dados S39:30
  • ETL via Script Glue - Execução Prática 2 - Filtros e Criação de campos no ETL7:25
  • ETL via Script Glue - Execução Prática 2 - Salvando os dados no S35:57
  • ETL via Script Glue - Execução Prática 2 - Leitura a partir do Glue Data Catalog8:41
  • Pratica ETL Script Glue0:24
  • Resposta Pratica ETL Script Glue5:04
  • Introdução a Orquestração + WorkFlow + Triggers5:38
  • Triggers Glue na Prática7:55
  • WorkFlow Glue na Prática6:41
  • Introdução Terraform e Yaml para esteira CI/CD5:28
  • Verificando Cobranças e Encerrar Conta AWS4:23
  • Desativar recursos para não gerar custos0:22

Requirements

  • Conhecimento de SQL
  • Lógica de Programação

Description

O curso "SQL com IA e AWS Glue: Como Processar Grandes Volumes Dados" explora o uso das principais inteligências artificiais do mercado — ChatGPT, Gemini e Copilot — juntamente com o AWS Glue, para construção, otimização e validação de consultas SQL em ambientes escaláveis. O objetivo é capacitar os participantes a utilizar essas tecnologias na automação de processos ETL, integração de dados distribuídos e melhoria na qualidade das informações em bancos de dados e Data Lakes.

Ao longo do curso, abordaremos como as IAs podem sugerir otimizações, corrigir erros comuns e melhorar processos, reduzindo o tempo de desenvolvimento e aumentando a eficiência na manipulação de dados. Também exploraremos a aplicação do AWS Glue como uma solução serverless para integração de grandes volumes de dados, criando pipelines dinâmicos e escaláveis em ambientes de Big Data.

A abordagem prática incluirá o uso de SQL para identificar e corrigir problemas como CPFs inválidos, e-mails incorretos, telefones e CEPs fora do padrão, registros ausentes e duplicidades. Demonstramos como as IAs podem auxiliar na escrita e validação de consultas eficientes, enquanto o AWS Glue permite a orquestração desses processos em um ambiente de nuvem altamente performático.

Ao final do curso, os participantes estarão aptos a combinar a inteligência artificial com as capacidades do AWS Glue para desenvolver pipelines SQL modernos e escaláveis, garantindo maior automação, segurança e eficiência no tratamento de dados em larga escala.

Vamos começar hoje mesmo a estudar com as IAs e o AWS GLUE

Who this course is for:

  • Estudantes e profissionais de computação, Informática, estatística, data science, engenheiro de dados
  • Profissionais que desejam trabalhar com engenharia de dados
  • Profissionais que utilizam ferramentas de engenharia de dados e queiram aprender com o uso da IA

Report abuse