
O objetivo principal desta aula é conhecer o conteúdo do curso e um mapa dos serviços necessários para as próximas aulas.
Será dado um overview dos componentes apresentados em aula e uma visão geral de um projeto de Engenharia de Dados.
Nota: Exceto o Kinesis, todos os serviços da AWS podem ser testados com a conta gratuita de 12 meses.
* Fique atento ao custos e uso dos recursos, não nos responsabilizamos pelo uso indevido e cobrança que virem a realizar em seus testes.
Os objetivos desta aula são:
Criar uma instância EC2
Configurar e acessar a instância
Os objetivos desta aula são:
Criar um tópico no SNS
Criar uma Fila no SQS
Conectar a Fila com o tópico SNS criado
Ver mensagens na console do SQS
Os objetivos desta aula são:
Crir uma função Lambda
Configurar a função
Adicionar o Trigger apontando para a fila SQS
Verificar a execução da função
Os objetivos desta aula são:
Criar um bucket no AWS S3
Criar um Data Stream e Delivery no AWS Kinesis
Os objetivos desta aula são:
Conhecer o AWS Glue
Criar tabela no manualmente
Os objetivos desta aula são:
Realizar consultas do Datasource Glue no Athena
Executar comando SQL no Editor de Query
Salvar resultados no S3
Os objetivos desta aula são:
Mostrar o funcionamento de uma aplicação de ponta a ponta utilizando os recursos apresentados nas aulas anteriores
Analisar os logs no CloudWatch e verificar o arquivo gerado no S3
*Este curso foi criado para dar um overview de infraestrutura de dados na AWS, não entramos em detalhes dos serviços nem nos aprofundamos no código Node que roda a aplicação.
Em breve novos cursos. Espero que tenha gostado. Muito obrigado!
Nos vemos nos próximos curso.
LYM
Curso prático de Engenharia de Dados na infraestrutura da AWS
Aprenda de forma prática como funciona um projeto de Big Data e como trabalha um Engenheiro de Dados. Novidades do conteúdo com a atualização e inclusão de referências da IA Generativa na AWS.
Objetivos principais do curso são:
Identificar os componentes básicos necessários para criar uma infraestrutura de Big Data na AWS
Conhecer, implementar e integrar os serviços disponíveis na AWS
Utilizar a interface AWS CLI para administrar a nuvem de forma programática
Conteúdo destinado para:
Engenheiros de Dados
Administradores de Sistemas
Especialistas em Sistemas de Dados
Cientistas de Dados
Requisitos básicos:
- Entender os conceitos de computação e nuvem
- Conhecer os serviços gerenciados da AWS
- Desenvolver com Shell scripts e conhecer uma linguagem (Python ou Nodejs)
- Ter uma conta criada na AWS para implementar o código
- Conta em um repositório Git para configurar a Infraestrutura como código.
Serviços da cloud utilizados:
Computação: EC2 e ECS
Serverless:
SNS
SQS
Lambda
Armazenamento
S3
Análise de dados
Kinesis
Glue
Athena
IA Generativa
Amazon Q
Este curso foi elaborado em 2020 e está passando por atualizações a fim de melhorar a qualidade do material.
* Os recursos podem ser testados com a conta gratuita da AWS