Apache NiFi - Zero to Hero (Fundamentos)
What you'll learn
- Em pouco tempo serão capazes de realizar integrações entre arquivos de diversas origens e formatos, ajusta-los, trata-los e realizar a ingestão desses dados nos mais diversos bancos de dados do mercado.
Requirements
- Ter conhecimento básico do sistema operacional Linux, ter uma vivencia básica com o dia dia de dados, formatos e ferramentas de armazenamento de dados.
Description
Esse curso de apenas 6 horas engloba::
Teoria em geral sobre a tecnologia e um pouco da sua historia.
Instalações Nifi:
Realizar uma instalação do Nifi single instance em ambientes Linux/MacOS
Realizar uma instalação do Nifi single instance via Docker de um Apache Nifi
Realizar uma instalação do Nifi single instance via Cloudera Manager
Realizar uma instalação do Nifi single instance no Windows
Mostrar quais são as principais ferramentas do UI Nifi:
Processors
Connectors
Processor Groups
Input/output port
Remote Processor Groups
Funnel
Templates
Controller services
Notes
Visualização de dados
Agendamento e throughput
Bibliotecas externas
O que é o Nifi Registry?
Instalações Nifi Registry:
Realizar uma instalação do Nifi Registry em ambientes Linux/MacOS
Realizar uma instalação do Nifi Registry via Docker de um Apache Nifi
Realizar uma instalação do Nifi Registry via Cloudera Manager
Realizar uma instalação do Nifi Registry no Windows
Criar repositório no Nifi Registry e configuração do controle de versão no Nifi.
Configurar o repositorio do Registry no GitHub
Projetinho: Coletar dados de posts do Twitter pelo Nifi e enviar para uma base ElasticSearch
Projetão: Coleta de dados nacionais sobre o Covid-19 de API e bases relacionais, tratamento, envio para o Elasticsearch transformando em Json e disposição do mapa com Geolocalização no Kibana.
São mais de 6 horas de videos, materiais auxiliares e a minha ajuda via plataforma caso necessário.
Conto com a presença de vocês!
Anselmo Borges.
Who this course is for:
- Profissionais da área de dados que buscam uma ferramenta de integração e ETL performática e escalável que além de ser Open source trabalha com as principais tendencias de dados da atualidade.
Instructor
Administrador de ambientes Cloudera, Elastic, Bancos NoSQL e tecnologias ligadas a Dataflow (Streaming e ETL). Trabalho com dados a mais 10 anos, sendo especialista em bancos de dados Oracle, Postgres e MySQL. Atuei em grandes empresas e projetos, tanto em migrações, Upgrades e novas implantações Oracle (Databases Single/RAC/Exadata), usando suas mais diversas ferramentas. Excelentes conhecimentos em tecnologias Cloud como Iaas/Daas/Saas fazendo uso de plataformas como Amazon AWS e Google GCP, tanto em infra como voltado para dados. Entusiasta Devops, desenvolvendo soluções em ferramentas como Docker, Ansible, Puppet, Git, Rundeck, e Jenkins, gerando automação de processos e gerenciamento centralizado de implantações. Um curioso no mundo dos dados e tecnologia, sempre atento a inovações.