Apache Spark 3+ pour les débutants: la base du big data !

Présentation général d'Apache Spark et pourquoi utiliser Apache Spark ?

• Comprendre Spark plus en détail

• Architecture Spark : driver, executors, tasks, ...

L'installation minimum pour notre ide.

Présentation de la base d'un programme spark : la Spark Session

• Explication du concept de RDD dans Spark.

• RDD en tant qu'abstraction fondamentale pour le traitement de données distribuées.

• Caractéristiques principales des RDD : immuabilité, tolérance aux pannes et distribution.

• Création de RDD à partir de différentes sources de données : données locales, HDFS, S3, etc.

• Utilisation de méthodes comme parallelize, textFile pour charger des données en RDD.

Présentation des opérations de transformation basiques telles que map, filter, flatMap, Distinct

• Différenciation entre les actions et les transformations.

• Présentation des actions telles que count, collect, take, saveAsTextFile, etc.

• Combien de titres différents sont répertoriés ?

• Combien d'artistes différents sont répertoriés ?

• Citer, si possible, 10 morceaux de musique sortis en 2014.

• Quel est l'artiste le plus présent et combien de fois ?

• Correction de l'exercice précédent

• Utilisation des JavaPairRDD

• Comprendre l'importance du partitionnement des RDD dans la répartition des données sur les nœuds du cluster.

• Présentation des différentes stratégies de partitionnement.

• Explication du concept de Dataset et dataframe dans Spark.

• Comparaison entre RDD et Dataset/Dataframes.

• Caractéristiques principales des Datasets/Dataframes : typage fort, optimisations.

• Présentation des différentes méthodes pour créer des Dataframes: à partir de données structurées, de fichiers CSV, de bases de données, etc.

• Création de Dataframes pour les tests unitaires.

• Exploration des opérations de transformation et d'action disponibles pour les Dataframes.

• Utilisation de méthodes telles que map, filter, groupBy, agg, join, etc.

• Ecriture des RDD sous différents format : csv, text, parquet, BDD ...

• Utilisation du group by pour les sommes, moyennes, minimun ...

• Utilisation des windows partition et fonction rank, row_number, lag

Exercice sur les Dataframes.
Présentation du jeu de donnée

Les réponses de l'exercice ci dessus.

• Avantages du typage fort dans la détection précoce des erreurs et l'amélioration de la qualité du code.

• Utilisation des fonctions de manipulation de données fortement typées pour éviter les erreurs à l'exécution.

• Sécurité des Datasets : prévention des failles de sécurité par le typage fort

• Présentation de Spark SQL en tant que module de Spark pour le traitement de données structurées.

• Objectif principal : permettre aux utilisateurs d'exécuter des requêtes SQL sur des données distribuées dans Spark.

• Présentation de l'interopérabilité entre Spark SQL et les Datasets/DataFrames.

• Utilisation de SQL pour interroger et manipuler des Datasets/DataFrames.

• Avantages de l'utilisation de Spark SQL pour les traitements structurés.

• Présentation des fonctionnalités avancées de Spark SQL.

• Support des opérations relationnelles : jointures, groupages, agrégations, etc.

• Utilisation de fonctions SQL et de fonctions intégrées pour la manipulation des données.

• Utilisation des UDF

Utilisation des fonctions sql dans un Dataframe et présentation de l'exercice dans la section suivante

• Comprendre les bases de Spark Streaming et son rôle dans l'écosystème Apache Spark.

• Différences entre le traitement par lots (batch processing) et le traitement en continu (stream processing).

• Exemple de structured streaming avec des fichiers csv

• Utilisation du structured streaming et de spark SQL

• Utilisation et explication des checkpoints

• Regroupement les données en fonctions de leur temps d'arriver (window)

• définir un watermark

• gérer les messages en retard

• utiliser l'output mode à append

• Le but de l'exercice est de lire les données d'un topic Kafka et d'afficher les messages.

• Si vous voulez allez plus loin vous pouvez aussi compter le nombre de message par minute en utilisant une agrégation sur le temps.

Présentation général de Apache Kafka

Présentation de la notion de topic et partition

• Créer un topic kafka en ligne de commande

• Créer un producer en ligne de commande pour publier des messages dans un topic kafka

Correction de l'exercice précèdent : rapide overview de l'installation Kafka et création de notre stream Spark.