APACHE KAFKA e NIFI: distribua dados e crie fluxos de dados
What you'll learn
- Entendo sobre Apache Nifi, uma plataforma de ingestão de dados
- Entendo sobre o gerenciamento e a automatização do fluxo de dados
- Entendendo sobre coleta de dados, transmissão de dados, armazenamento de dados
- Ecossistema NiFi: Repositórios, controle de fluxo, máquina JVM, extensões
- O que é Flow File
- O que é um Processor
- O que é um Fluxo de Dados
- O que é uma conexão
- O que é um grupo de processor
- Aprendendo sobre a barra de componentes
- Aprendendo sobre a barra de controle navegação
- Aprendendo sobre a barra de operação
- Desenvolvimento de diversos fluxos de dados
- Extensões: Putfile, Getfile, ExtractText, SplitText
- Extensões: EvaluateXpath, UpdateAttribute, GenerateFlowFile
- Extensões: RouteOnAttribute, SplitXML, LogMessage, LogAttibute
- Extensões: MergeContent, ReplaceText, CompressContent
- Uso de Input Port, Funil e Process Group
Requirements
- Importante que já tenha tido o contato com alguma linguagem de programação
- Importante que conheça lógica de programação
- Importante ter uma base sobre banco de dados, arquivos de dados
Description
Você chegou ao treinamento que vai fazer mudar a sua concepção sobre manipulação, tratamento e construção de cargas que envolvem dados, dados estruturados ou não estruturados, além disso, utilizará uma plataforma de streaming de eventos distribuídos de código aberto usada por milhares de empresas para pipelines de dados de alto desempenho.
Vamos inicialmente vamos aprender a trabalhar com APACHE KAFKA,
Depois vamos estudar o Nifi que é uma plataforma de ingestão de dados, criada para processar e distribuir dados entre diferentes sistemas, sua principal funcionalidade é o gerenciamento e a automatização do fluxo de dados entre os sistemas, para execução destes fluxos de dados é fornecida uma interface WEB . É a programação baseada em fluxos.
Neste curso você fortalecerá conceitos como:
coleta de dados, transmissão de dados, armazenamento de dados, dentre outras tarefas.
NiFi é um programa java que é executado dentro de uma JVM em um servidor, aproveita o conceito de extração, transformação e carga. A plataforma foi construída para que você possa ter liberdade para determinar como deseja construir seus fluxos de dados independente de tecnologia e linguagem, ele possui programas conhecidos como Processadores que realizam estas atividades diversas.
NiFi é uma das principais plataformas criadas atualmente para manipulação de grandes bases de dados sendo estas em bancos convencionais ou No Sql.
APACHE KAFKA é sistema de mensagens usado para criar aplicações de streaming
Entenderá que o APACHE KAFKA é baseado em logs, algumas vez chamado de write-ahead logs, commit logs ou até mesmo transaction logs
Se você procura um treinamento para aprender a trabalhar com fluxo de dados e mensageria de forma prática e intuitiva, então veio ao lugar certo.
Espero você, venha participar deste grupo que não para de crescer.
Who this course is for:
- Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
- Pessoas interessadas em aprender os conceitos sobre NiFi, ou que gostariam adentrar na área de engenharia de dados
- Profissionais que, de alguma forma, utilizam dados no seu dia a dia
Instructors
- 4.5 Instructor Rating
- 10,869 Reviews
- 53,447 Students
- 155 Courses
Quem sou
Fui escolhido como um dos 50 profissionais mais influentes em dados no ano de 2023 pela Gama Academy, uma organização que estabelece um Rank dos profissionais com mais destaque na área de Dados/BI.
Por que estudar na área de dados comigo?
Sou profissional da área com diversos projetos desenvolvidos, tanto na área privada como na área pública, tenho um skill muito forte em atender meus alunos com alguma dúvida no máximo em 24 horas. Procuro alinhar conhecimento teórico e prático.
O que trago em meus cursos?
Acho que a área de dados é bem rica e vasta, mas ter um direcionamento do que deve ser estudado com cursos passo a passo é o que busco nas minhas aulas, fiz um mestrado na área de educação para criar aulas sob medida aos meus alunos. Estou diariamente aprimorando e trazendo novidades na área, afinal criar + de 150 cursos envolve dedicação e foco.
O que faço hoje
Sou professor das pós-graduações das universidades UNIFACS, CATÓLICA DO SALVADOR e ISL Wyden. Mestre pela Universidade do Estado da Bahia (UNEB) no Curso de Mestrado Profissional Gestão e Tecnologias Aplicadas à Educação (GESTEC). Possui Especialização em Análise de Sistemas pela Faculdade Visconde de Cairu e Bacharelado em Estatística pela Universidade Federal da Bahia. Atua profissionalmente como consultor há mais de 15 anos nas áreas de Data Warehouse, Mineração de Dados, Ferramentas de Tomada de Decisão e Estatística. Atualmente sou editor do blog BI com Vatapá. Autor do Livro: BI COMO DEVE SER - professor EAD de diversos cursos de BI na Aprenda Virtual. Idealizador do BI PRO - O maior e mais completo conteúdo sobre BI da internet.
- 4.6 Instructor Rating
- 50,644 Reviews
- 204,218 Students
- 64 Courses
Fernando Amaral has been working with data related projects for over 12 years, currently as a full-time Data Engineer for a North American company. He is the author of several books about Data Science. He has dozens of published articles and videos on data science and data careers. As a teacher, he has more than 150,000 students enrolled in his more than 50 courses.