NiFi e Elasticsearch: Banco NoSql e fluxo de dados juntos
What you'll learn
- Entendo sobre Apache Nifi, uma plataforma de ingestão de dados
- Entendo sobre o gerenciamento e a automatização do fluxo de dados
- Entendendo sobre coleta de dados, transmissão de dados, armazenamento de dados
- Ecossistema NiFi: Repositórios, controle de fluxo, máquina JVM, extensões
- O que é Flow File
- O que é um Processor
- O que é um Fluxo de Dados
- O que é uma conexão
- O que é um grupo de processor
- Aprendendo sobre a barra de componentes
- Aprendendo sobre a barra de controle navegação
- Aprendendo sobre a barra de operação
- Desenvolvimento de diversos fluxos de dados
- Extensões: Putfile, Getfile, ExtractText, SplitText
- Extensões: EvaluateXpath, UpdateAttribute, GenerateFlowFile
- Extensões: RouteOnAttribute, SplitXML, LogMessage, LogAttibute
- Extensões: MergeContent, ReplaceText, CompressContent
- Uso de Input Port, Funil e Process Group
- Elasticsearch sobre o seu mecanismo criado para análise de dados e busca
- Entender como é realizada a combinação de muitos tipos de buscas — estruturadas, não estruturadas
- Compreender Elasticsearch usa APIs RESTful e JSON padrão
- Aprendizado sobre Elasticsearch, Logstash e Kibana
- Elasticsearch banco de dados NoSQL
- Logstash ferramenta para ingestão de dados
- Kibana ferramenta para criação de visualização de dados e Dashboards
- Canvas utilizado para criação de infográficos, documentos e projetos gráficos com os dados
- Compreender sobre como são armazenados os documentos
- Entender a estrutura JSON de armazenamento
- Entender sobre índices, tipos de documentos, documentos e campos
- Entendimento do que são shards, conhecimento sobre partição de índices, conhecimento sobre réplica de shards
- O que é um NÓ
- Como utilizar e o que significa um Request Body
- Como funciona a busca URI
- Trabalhando com as aplicações Discover, Viazualize
Requirements
- Importante que já tenha tido o contato com alguma linguagem de programação
- Importante que conheça lógica de programação
- Importante ter uma base sobre banco de dados, arquivos de dados
Description
Este treinamento envolve o uso de dois grandes produtos do mercado, que permitem com que o profissional da área de dados entenda todo o ciclo de construção de um produto com dados até a preparação e tratamento de dados por meio de fluxos de dados. Estamos falando das ferramentas Nifi e Elasticsearch.
Inicialmente vamos aprender como construir uma estrutura de controle, tratamento e ingestão de dados com o Nifi. É uma ferramenta de múltiplas plataformas, bem parecido com as ferramentas ELT/ETL que existem no mercado, com uma grande diferença, a variabilidade de informações a serem tratadas e de opções de saída dos dados é muito grande. Vamos executar os chamados fluxo de dados, que permitem uma grande liberdade no tratamento destes.
Em seguida, vamos conhecer o Elasticsearch, ecossistema que vem com uma ferramenta para ingestão de dados, o logstash, uma ferramenta extremamente visual para criação de seus dashboards conhecida como Kibana, além de poder construir consultas no padrão SQL. Esta estrutura é conhecida como elastic stack, tudo isso dentro de um banco de dados de armazenamento de documentos, NoSql, com sua estrutura em JSON.
Então venha conhecer este portfólio variado e aderente as necessidades do mercado, saiba que as ferramentas de tratamento de dados, visualização de dados e preparação de dados estão com mais destaque nas organizações.
Who this course is for:
- Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
- Pessoas interessadas em aprender os conceitos sobre NiFi, ou que gostariam adentrar na área de engenharia de dados
- Profissionais que, de alguma forma, utilizam dados no seu dia a dia
- Pessoas interessadas em aprender os conceitos sobre Elasticsearch, ou que gostariam adentrar na área de bancos Search-Engine
Instructor
- 4.5 Instructor Rating
- 14,152 Reviews
- 63,785 Students
- 218 Courses
Quem sou
Fui escolhido como um dos 50 profissionais mais influentes em dados no ano de 2023 pela Gama Academy, uma organização que estabelece um Rank dos profissionais com mais destaque na área de Dados/BI.
Por que estudar na área de dados comigo?
Sou profissional da área com diversos projetos desenvolvidos, tanto na área privada como na área pública, tenho um skill muito forte em atender meus alunos com alguma dúvida no máximo em 24 horas. Procuro alinhar conhecimento teórico e prático.
O que trago em meus cursos?
Acho que a área de dados é bem rica e vasta, mas ter um direcionamento do que deve ser estudado com cursos passo a passo é o que busco nas minhas aulas, fiz um mestrado na área de educação para criar aulas sob medida aos meus alunos. Estou diariamente aprimorando e trazendo novidades na área, afinal criar + de 150 cursos envolve dedicação e foco.
O que faço hoje
Sou professor das pós-graduações das universidades UNIFACS, CATÓLICA DO SALVADOR e ISL Wyden. Mestre pela Universidade do Estado da Bahia (UNEB) no Curso de Mestrado Profissional Gestão e Tecnologias Aplicadas à Educação (GESTEC). Possui Especialização em Análise de Sistemas pela Faculdade Visconde de Cairu e Bacharelado em Estatística pela Universidade Federal da Bahia. Atua profissionalmente como consultor há mais de 20 anos nas áreas de Data Warehouse, Mineração de Dados, Ferramentas de Tomada de Decisão e Estatística. Atualmente sou editor do blog BI com Vatapá. Autor do Livro: BI COMO DEVE SER - professor EAD de diversos cursos de BI na Aprenda Virtual. Idealizador do BI PRO - O maior e mais completo conteúdo sobre BI da internet.