Udemy
    •  
    •  
    •  
    •  
    •  
    •  
    •  
    •  
Subscribe
Turn what you know into an opportunity and reach millions around the world.
Learn More
Your cart is empty.
Keep shopping
APACHE HOP e Elasticsearch: dados e seus tratamentos
Rating: 4.3 out of 5(3 ratings)
8 students

APACHE HOP e Elasticsearch: dados e seus tratamentos

Aprenda a trabalhar com banco NoSQl e a ferramenta 100% para ingestão de dados
Created byMSc Grimaldo Lopes | + 65.000 alunos de Oliveira
Last updated 2/2026
Portuguese
Portuguese [Auto],

What you'll learn

  • O que é  Hop Orchestration Platform
  • Entendendo sobre fluxos de trabalho e pipelines
  • Entendendo sobre projetos e ambientes
  • Instalação do APACHE HOP
  • Criando pipelines com arquivos texto
  • Realizando tratamento de dados para entendimento do processo de engenharia de dados
  • O que são transformações, links e ações dentro de um pipeline
  • Construindo um workflow, orquestrador da sequência das operações
  • Entendendo o HOP GUI e seus componentes
  • Entendendo menu barras, principal e perspectivas
  • Criando sua área de projetos
  • Componentes pipelines: Sort, Select value, CSV file input, Value mapper, Filter rows, Dummy, Unique rows, Merge Join, Text File Output
  • Entendendo o que é : View output, Preview output , Debug output
  • Componentes pipelines: Number Range, Concat Field, String Operations, Replace in String, IF Field Value is Null, Split Fields, CSV File Input, Mail, File Exist
  • Leitura de dados em uma API: Rest Client, JSON Input, JSON Output
  • Construindo Workflow com execução de pipelines
  • Entendo o uso de variáveis globais no APACHE HOP
  • Automatização de pipeline ou workflow pelo HOP-RUN
  • Construindo pipelines em banco de dados Postgresql: Table Input, Table Output, Configurando conexão
  • Elasticsearch sobre o seu mecanismo criado para análise de dados e busca
  • Entender como é realizada a combinação de muitos tipos de buscas — estruturadas, não estruturadas
  • Compreender Elasticsearch usa APIs RESTful e JSON padrão
  • Aprendizado sobre Elasticsearch, Logstash e Kibana
  • Elasticsearch banco de dados NoSQL
  • Logstash ferramenta para ingestão de dados
  • Kibana ferramenta para criação de visualização de dados e Dashboards
  • Canvas utilizado para criação de infográficos, documentos e projetos gráficos com os dados
  • Compreender sobre como são armazenados os documentos
  • Entender a estrutura JSON de armazenamento
  • Entender sobre índices, tipos de documentos, documentos e campos
  • Entendimento do que são shards, conhecimento sobre partição de índices, conhecimento sobre réplica de shards
  • O que é um NÓ
  • Como utilizar e o que significa um Request Body
  • Como funciona a busca URI
  • Trabalhando com as aplicações Discover, Viazualize

Course content

3 sections • 52 lectures • 7h 40m total length

  • Entendendo o funcionamento e componentes15:02
  • INFORMAÇÕES IMPORTANTES - Leia antes de começar o curso0:23
  • Instalação do JAVA5:41
  • Instalação do APACHE HOP1:49
  • Configuração extra e iniciando APACHE HOP5:41
  • Criando projeto e ambiente, primeiros passos17:02
  • Pipeline de Tratamento: arquivo vinhos10:43
  • Pipeline de tratamento: filtragem e seleção de atributos - arquivos vinho7:35
  • Pipeline de tratamento: sort e group by atributos - arquivos vinho6:41
  • Pipeline de tratamento: gerando arquivo de saída totalizador - arquivos vinho6:22
  • Pipeline Merge dos dados: Leitura arquivos de entrada11:21
  • Pipeline Merge dos dados: Sort arquivos de entrada6:11
  • Pipeline Merge dos dados: Merge arquivos venda e cliente7:36
  • Pipeline Merge dos dados: Merge arquivos venda com produto e marca7:37
  • Pipeline Merge dos dados: geração arquivo venda final tratado5:19
  • Pipeline Tratamento de dados: Arquivo cliente veículos e strings diversos9:02
  • Pipeline Tratamento de dados: Arquivo cliente veículo e ajustes campo hora6:45
  • Pipeline Tratamento de dados: Arquivo cliente veículo e retirada valores nulos7:10
  • Pipeline Tratamento de dados: Arquivo cliente veículo e junção de atributos9:09
  • Pipeline Tratamento de dados: Arquivo cliente veículo e geração grupos de dados8:38
  • Pipeline Carga API: Leitura dados CEP e uso de REST GET7:07
  • Pipeline Carga API: Leitura e armazenamento arquivo JSON7:33
  • Pipeline Carga API: Tratamento dos dados escolha campos e gravação arquivo texto7:07
  • Workflow de execução: Parte0111:59
  • Workflow de execução: Parte0213:04
  • Banco de dados: Instalação do Postgresql7:11
  • Banco de dados: Pipeline de tratamento de dados no Postgresql12:44
  • HOP-RUN: Automatização de pipeline e workflow10:21
  • Aula Final - Entrega de atividades2:12
  • Responda a nossa pergunta

Requirements

  • Importante ter uma base sobre banco de dados, arquivos de dados
  • Importante que você conheça lógica de programação
  • Importante ter um pouco de conhecimento em R, SQL e TI
  • Importante que já tenha tido o contato com alguma linguagem de programação

Description

Preparamos o que há de melhor na construção e aprendizado de duas das melhores ferramentas de mercado no trato e preparação de dados para análise de informações, estamos falando de APACHE HOP e Elastisearch.

Iniciaremos nosso curso trabalhando com o APACHE HOP que apresenta um portfólio fortíssimo no tratamento de dados. É uma ferramenta 100% visual, ou seja, a construção de seus projetos será sem uso de código, você terá a total liberdade de construir o que chamamos de pipeline, que é uma sequência de plugins (componentes + 400 disponíveis) para leitura de dados, gravação de dados, união de tabelas e arquivos, verificação de inconsistências, criação e eliminação de campos, dentre outras tarefas. Você conta ainda com a construção de Workflow, que permite o encadeamento de pipelines.

Já no treinamento de Elasticsearch, vamos trabalhar com o ecossistema do Elastic Stack ( Elasticsearch+logstash+kibana), será possível fazer a ingestão de dados pelo logstash, preparar o dado no Elasticsearch e criar incríveis dashboards no kibana, e tudo isso em um banco NoSQL, que você utilizará para até construir suas consultas em SQL.

As duas ferramentas fazem parte do projeto de qualquer profissional de dados, seja ele engenheiro de dados, cientista de dados ou analista de dados.

Então venha e conheça este treinamento que vai lhe ajudar a crescer no mercado da área de dados.

Who this course is for:

  • Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
  • Pessoas interessadas em aprender os conceitos sobre ferramentas de ingestão de dados, ou que gostariam adentrar na área de engenharia de dados
  • Profissionais que, de alguma forma, utilizam dados no seu dia a dia
  • Desenvolvedores iniciantes de R e Python que desejam conhecer Elasticsearch

Report abuse