
Description général de Nifi:
Ses avantages
Ses alternatives
Use cases
Descriptions des concepts clés de Nifi :
Le Flowfile
les processors
les process groups
Descriptions de l'architecture de Nifi
- Installer Nifi sur Windows
Création d'un processor GetFile
Création d'un processor LogMessage
Création d'une connection entre processors
Configurer de façon basique un processor
Création d'un processor Generate FlowFile
Inspecter la documentation d'un processor
Ecrire des attribut dans un Flowfile depuis un processor
Définir un retry sur un processor
Scheduler un processor (timer ou cron)
Définir les relationships d'un processor
Création de properties dynamiques pour nos Flowfiles
Utiliser un attribut dans un Flow
Inspecter les Flowfile en queue
Notre 1er exercice
Utiliser et configurer un parameter contexte
Utiliser une variable d'environnement dans un flow
- Configurer le back pressure
- renommer une connexion
- configurer un prioritizer
- transformer le format des données
- valider un fichier CSV
- Utiliser les controller services
Présentation général de Apache Kafka
Présentation de la notion de topic et partition
Installer Zookeeper
Installer un broker cluster
Créer un topic kafka en ligne de commande
Créer un producer en ligne de commande pour publier des messages dans un topic kafka
- Utiliser kafka avec nifi
- Créer un processor de consommation de message
- Créer un processor de publication de message
- Utiliser l'advanced UI
- Utilisation des compteurs
- Utilisation du processor updateCounters
- Installer et lancer Nifi registry sur windows
- Versionner un flow
- importer un flow depuis nifi registry
- Créer un projet maven de processor Nifi
- déployer notre processor
NiFi est un logiciel libre de gestion de flux de données. Il permet de gérer et d'automatiser des flux de données entre plusieurs systèmes informatiques, à partir d'une interface web et dans un environnement distribué.
Nifi est basé sur le paradigme de programmation : FBP , Flow-Based Programming.
Pas besoin de savoir programmer pour utiliser Nifi grâce à son IHM web puissante qui va nous faciliter la vie.
Dans ce cours nous allons apprendre à utiliser Nifi pour créer votre propre flow de données.
À l'issue de la formation vous serez à même de comprendre et d'utiliser toutes les fonctionnalités de Nifi.
Vous aurez toutes les clés en main et serez autonome pour utiliser les plus de 250 processors disponibles!
Vous allez comprendre l'ensemble des concepts les plus importants de Nifi
Attributs
Process group
Variables
connections
processors
Template
Monitoring
J'ai moi-même utilisé Nifi de façon professionnelle pendant plusieurs années, cela me permet d'être critique sur les bonnes pratiques à avoir et d'enrichir la formation avec mes propres expériences.
Vous souhaitez en apprendre plus sur le big data? Mes formations en Français sont disponibles.
Nifi 1.0 : Apache Nifi De A à Z - le Guide complet
Kafka: Apache Kafka pour débutant
Spark: Apache Spark 3 pour les débutants la base du big data !
Cette formation n'est pas une suite de ma formation sur apache Nifi 1, mais bien une autre version mit à jour, qui présente la version 2.0 avec toutes ses nouveautés.