BigData e Machine learning di base con Python

Scopri l'ambiente di sviluppo interattivo di Jupyter Notebook, uno strumento fondamentale per il lavoro con Python, particolarmente utile per data science, analisi dei dati e machine learning. Questa lezione esplorerà come creare e gestire notebook, scrivere codice in modo modulare e visualizzare i risultati in tempo reale.

Le espressioni regolari (regex) in Python sono gestite tramite il modulo integrato re. Le espressioni regolari permettono di cercare, modificare o convalidare stringhe seguendo un pattern specifico.

Ecco una panoramica dei principali metodi e utilizzi:

Importare il modulo con:

import re

1. Trovare una corrispondenza: re.match()

Cerca se una stringa inizia con un determinato pattern.

pattern = r'hello'

string = 'hello world'

match = re.match(pattern, string)

if match:

    print("Trovato:", match.group())

2. Cercare una corrispondenza in una stringa: re.search()

Trova la prima occorrenza del pattern in qualsiasi parte della stringa.

pattern = r'world'

string = 'hello world'

match = re.search(pattern, string)

if match:

    print("Trovato:", match.group())

3. Trovare tutte le occorrenze: re.findall()

Restituisce tutte le corrispondenze del pattern in una lista.

pattern = r'\d+'  # cerca uno o più numeri

string = 'ci sono 12 gatti e 34 cani'

matches = re.findall(pattern, string)

print("Corrispondenze trovate:", matches)

4. Sostituire i pattern: re.sub()

Sostituisce le parti di una stringa che corrispondono al pattern con un'altra stringa.

pattern = r'\d+'

string = 'Ci sono 12 gatti e 34 cani'

new_string = re.sub(pattern, 'molti', string)

print("Stringa modificata:", new_string)

5. Dividere una stringa: re.split()

Divide una stringa usando un pattern come delimitatore.

pattern = r'\s+'  # uno o più spazi

string = 'Python è fantastico'

split_string = re.split(pattern, string)

print("Lista di parole:", split_string)

6. Gruppi catturanti

È possibile catturare parti specifiche di una corrispondenza utilizzando parentesi tonde nel pattern.

pattern = r'(\d+)\s+gatti'  # cattura il numero prima di 'gatti'

string = '12 gatti e 34 cani'

match = re.search(pattern, string)

if match:

    print("Numero di gatti:", match.group(1))

Principali Metacaratteri

• .: qualsiasi carattere (eccetto newline)

• ^: inizio della stringa

• $: fine della stringa

• *: zero o più occorrenze

• +: una o più occorrenze

• ?: zero o una occorrenza

• \d: cifra (0-9)

• \w: carattere alfanumerico (a-z, A-Z, 0-9, _)

• \s: spazio bianco

La gestione dei file è una parte fondamentale della programmazione, e Python offre strumenti potenti per lavorare con file di testo e file binari. I file di testo sono strutturati in formato leggibile, mentre i file binari contengono dati in una rappresentazione più compatta e adatta per applicazioni che necessitano di prestazioni o efficienza. In questa lezione si approfondiranno le tecniche per aprire, leggere, scrivere e chiudere file in entrambi i formati, esplorando le differenze tra modalità di accesso come 'r', 'w', 'b' e 'a'. Saranno mostrati anche esempi pratici per leggere file di configurazione, gestire grandi dataset e salvare dati in formati binari efficienti.

La lezione sui file CSV esplorerà come gestire e manipolare file di testo contenenti dati tabulari separati da virgole o altri delimitatori. Verranno illustrate le principali tecniche per leggere, scrivere e analizzare questi file utilizzando Python, con un focus particolare sull'uso delle librerie integrate come csv.

I file XML (eXtensible Markup Language) sono uno standard per la rappresentazione di dati strutturati in un formato leggibile sia da umani che da macchine. Sono ampiamente utilizzati per lo scambio di informazioni tra sistemi diversi e per la memorizzazione di dati in una forma gerarchica. Durante la lezione, verrà illustrato come Python offre diversi strumenti per lavorare con file XML, permettendo di leggerli, modificarli e generare nuovi file.

Il formato JSON (JavaScript Object Notation) è uno dei più utilizzati per lo scambio di dati tra applicazioni web e server. Questo standard leggero e leggibile da esseri umani è ampiamente utilizzato per rappresentare strutture dati complesse e viene spesso impiegato in API e servizi web.

Durante la lezione, verranno esplorati i concetti fondamentali del formato JSON, con particolare attenzione a come gestirlo in Python. Sarà spiegato come convertire un oggetto JSON in un dizionario Python e viceversa utilizzando il modulo integrato json. Verranno inoltre affrontate tecniche per leggere, scrivere e manipolare dati JSON da file e API, fornendo strumenti pratici per la gestione dei dati strutturati in applicazioni Python moderne.

La lezione introduttiva su SQL con SQLite fornisce una panoramica sul funzionamento dei database relazionali e sull'uso del linguaggio SQL per gestirli. Attraverso SQLite, un database leggero e integrato, vengono illustrate le basi della creazione di tabelle, l'inserimento di dati e le operazioni fondamentali di lettura e aggiornamento dei record.

La lezione su SQL di base con SQLite introduce i concetti fondamentali del linguaggio SQL e come utilizzarli in Python attraverso il database leggero SQLite. Vengono esplorate le operazioni essenziali di gestione dei dati, come la creazione di tabelle, l'inserimento, la modifica e la cancellazione dei record. Utilizzando comandi SQL comuni, si imparerà a interrogare il database per estrarre informazioni utili, organizzare e filtrare i dati.

Grazie a SQLite, un database relazionale integrato, sarà possibile eseguire tutte le operazioni direttamente all'interno di un progetto Python, facilitando lo sviluppo di applicazioni rapide e senza dipendenze complesse.

La lezione sulle funzioni statistiche di Python esplora come calcolare e analizzare statistiche descrittive utilizzando le librerie Python più comuni. Vengono presentate le funzioni di base per il calcolo di medie, mediane, varianza, deviazione standard e altre misure statistiche essenziali.

La parte della lezione sui grafici con Matplotlib esplora come visualizzare dati in Python utilizzando la libreria Matplotlib, uno degli strumenti più popolari per la creazione di grafici. Vengono introdotti i concetti fondamentali per la generazione di grafici permettendo di rappresentare visivamente i dati in modo efficace.

Leggiamo dati da un file CSV e trasferiamoli in una tabella di SQLite3.

La lezione sulla libreria NumPy offre una panoramica delle funzionalità principali per la manipolazione di array multidimensionali e operazioni matematiche avanzate in Python. Vengono presentati gli array di NumPy, che consentono di gestire grandi quantità di dati numerici in modo efficiente, oltre alle funzioni per eseguire calcoli su interi array senza dover scrivere cicli espliciti. L'accento è posto sull'importanza di NumPy nell'ecosistema scientifico di Python, evidenziando come semplifichi il lavoro con operazioni di algebra lineare, statistica e trasformazioni di dati.

Approfondiamo la conoscenza di NumPy trattando le operazione di filtraggio dei dati e gli arrotondamenti.

Esploriamo le principali capacità di questa potente libreria Python per il calcolo numerico trattando le funzioni per l'analisi statistica, come la media, la mediana, la deviazione standard e la varianza, insieme ad altre metriche fondamentali.

utilizziamo NumPy con i file di testo, csv e binari.

Realizziamo un progetto in Python su più file, con un modulo personalizzato. Il programma caricherà un file CSV e compirà alcune elaborazioni.

La lezione su Pandas introduce una delle librerie più potenti e popolari per l'analisi dei dati in Python. Viene spiegato come utilizzare Pandas per gestire e manipolare dataset complessi in modo efficiente, tramite strutture fondamentali come DataFrame e Series. Si esplorano operazioni comuni come la lettura e scrittura di dati da file CSV o Excel, la selezione e il filtraggio di dati, la gestione dei valori mancanti e l'uso di funzioni avanzate per raggruppare, aggregare e visualizzare i dati. Pandas è essenziale per chi lavora con grandi quantità di dati e vuole semplificare il processo di analisi.

La lezione su Pandas: indici, filtri e ordinamenti approfondisce l'utilizzo delle funzionalità di Pandas per gestire e manipolare dati in modo efficiente. Si esplorerà come lavorare con gli indici per migliorare l'accesso ai dati e strutturare i DataFrame, come applicare filtri per estrarre informazioni specifiche, e come ordinare i dati in base a vari criteri.

Le Series di Pandas sono una struttura dati unidimensionale fornita dalla libreria Pandas di Python, simile a un array o a una lista, ma con la capacità di memorizzare dati etichettati. Ogni Series ha un indice, che consente di accedere facilmente agli elementi, rendendo l'analisi e la manipolazione dei dati più intuitive. Le Series possono contenere diversi tipi di dati, tra cui numeri, stringhe e oggetti Python, e sono utilizzate frequentemente per rappresentare una singola colonna di un DataFrame, la struttura dati bidimensionale di Pandas.

Affrontiamo alcune tecniche per selezionare e manipolare dati con Pandas.

Vediamo come richiamare delle funzioni statistiche di Pandas sui dati caricate in un DataFrame. Proveremo a creare delle aggregazioni  e dei raggruppamenti sui dati.

Pandas offre funzionalità potenti per l'importazione ed esportazione di dati da e verso vari formati, tra cui CSV, Excel e database.

• CSV: Utilizzando la funzione read_csv(), è possibile caricare dati da file CSV in un DataFrame. Allo stesso modo, il metodo to_csv() consente di salvare un DataFrame come file CSV, con opzioni per personalizzare il delimitatore e l'encoding.

• Excel: Con le funzioni read_excel() e to_excel(), Pandas facilita la lettura e la scrittura di fogli di lavoro Excel, supportando formati come .xls e .xlsx. È possibile specificare il foglio da cui leggere o scrivere.

• Database: Pandas può interagire con database relazionali tramite SQL utilizzando read_sql() per importare dati direttamente in un DataFrame e to_sql() per esportare un DataFrame in una tabella di un database.

Queste funzionalità rendono Pandas uno strumento versatile per gestire e analizzare dati provenienti da diverse fonti.

Svolgiamo un esercizio scaricando dati dal sito Kaggle. I dati in formato CSV possono esser trattati con Pandas.

Simuliamo una lotteria con delle estrazioni e cerchiamo di trarre delle informazioni con le librerie incontrate fino ad ora.

Matplotlib è una libreria Python fondamentale per la creazione di grafici e visualizzazioni di dati. Fornisce una vasta gamma di strumenti per generare grafici 2D, consentendo di visualizzare informazioni in modo chiaro e accattivante. Con Matplotlib, è possibile creare vari tipi di grafici, tra cui:

• Grafici a linee: Ideali per rappresentare dati continui nel tempo.

• Grafici a barre: Utilizzati per confrontare valori tra diverse categorie.

• Grafici a dispersione: Utilizzati per esplorare relazioni tra due variabili.

• Grafici a torta: Utilizzati per mostrare proporzioni all'interno di un insieme.

Grazie a opzioni di personalizzazione avanzate, è possibile modificare colori, etichette, titoli e stili dei grafici. Inoltre, Matplotlib si integra facilmente con altre librerie come NumPy e Pandas, facilitando l'analisi dei dati e la loro visualizzazione in modo intuitivo e interattivo.

Hadoop è un framework open source progettato per la gestione e l'elaborazione di grandi volumi di dati distribuiti su cluster di computer. Si basa su un'architettura di tipo "big data" e consente di archiviare, elaborare e analizzare dati in modo scalabile e affidabile.

Componenti principali di Hadoop:

1. Hadoop Distributed File System (HDFS): Un sistema di file distribuito che consente di memorizzare grandi dataset su più nodi, garantendo alta disponibilità e tolleranza ai guasti.

2. MapReduce: Un modello di programmazione per l'elaborazione parallela dei dati, che consente di analizzare grandi dataset suddividendoli in compiti più piccoli (mappatura) e aggregando i risultati (riduzione).

3. YARN (Yet Another Resource Negotiator): Un sistema di gestione delle risorse che coordina e gestisce l'allocazione delle risorse nel cluster.

A cosa serve Hadoop?

Hadoop è utilizzato per diverse applicazioni nel campo del big data, tra cui:

• Analisi dei dati: elaborazione di grandi volumi di dati per scoprire tendenze e informazioni significative.

• Archiviazione di dati: memorizzazione efficiente di dati non strutturati, semi-strutturati e strutturati.

• Machine Learning: formazione di modelli predittivi su grandi dataset.

• Elaborazione di log: analisi dei file di log generati da server e applicazioni.

Grazie alla sua capacità di gestire dati su larga scala, Hadoop è diventato uno strumento fondamentale per le aziende che desiderano sfruttare al meglio le informazioni disponibili.

La lezione su Hadoop su Docker esplora come implementare e gestire un cluster Hadoop all'interno di container Docker, offrendo un ambiente isolato e facilmente configurabile. Attraverso questa configurazione, si apprenderà a installare Hadoop in modo rapido e a sfruttare i vantaggi della virtualizzazione per il testing e lo sviluppo. La lezione coprirà l'installazione di Docker,l'uso di una immagine precompilata per Hadoop e la gestione dei container. Saranno forniti esempi pratici su come avviare un cluster Hadoop, eseguire operazioni di base su HDFS.

link all'immagine docker:

https://github.com/hanashah-01/Docker-Hadoop-With-Python-Mapreduce

La lezione su MapReduce con MRJob in locale offre un'introduzione pratica al modello di programmazione MapReduce utilizzando la libreria MRJob di Python. Affrontiamo il processo di scrittura, test e esecuzione di job MapReduce in un ambiente locale, senza la necessità di un cluster Hadoop.

Si esploreranno i concetti fondamentali di mappatura e riduzione, imparando a creare script che elaborano dati in parallelo per ottenere risultati aggregati.

La lezione introduce il modello di programmazione MapReduce e la libreria MRJob su Hadoop. Utilizzando Docker, verrà creato un ambiente isolato e riproducibile per eseguire i job MapReduce, consentendo di gestire facilmente le dipendenze e garantire la compatibilità.

Apache Spark è un framework open source per l'elaborazione dei dati che consente di gestire e analizzare grandi volumi di informazioni in modo veloce e scalabile. Progettato per superare le limitazioni di Hadoop, Spark offre un'architettura in-memory, il che significa che i dati vengono elaborati direttamente nella memoria RAM, riducendo notevolmente i tempi di accesso e aumentando le prestazioni rispetto ai sistemi basati su disco come Hadoop MapReduce.

A cosa serve Spark?

• Elaborazione dei dati: Spark è ideale per l'elaborazione batch e in tempo reale, permettendo di eseguire analisi su dataset di grandi dimensioni.

• Machine Learning: Include la libreria MLlib, che offre strumenti per il machine learning e l'analisi predittiva, semplificando la costruzione e l'addestramento di modelli.

• Elaborazione dei flussi: Con Spark Streaming, è possibile analizzare flussi di dati in tempo reale, utile per applicazioni come l'analisi di log e la gestione di eventi.

• Analisi dei grafi: Grazie a GraphX, Spark supporta l'analisi e la manipolazione di dati strutturati come grafi.

• Integrazione con diverse fonti di dati: Spark può interagire con vari sistemi di storage e database, come HDFS, Cassandra, e Amazon S3.

In sintesi, Apache Spark è uno strumento potente per l'elaborazione dei big data, utilizzato in diversi ambiti, dalla business intelligence all'analisi avanzata dei dati.

MapReduce con PySpark è un modello di programmazione che consente di elaborare grandi volumi di dati in modo distribuito utilizzando Python e Apache Spark. Questo approccio si basa su due fasi principali:

1. Map: Nella fase di mappatura, i dati di input vengono suddivisi in parti più piccole e trasformati in coppie chiave-valore. Questo processo è gestito da funzioni di mappatura che possono applicare trasformazioni, filtri o calcoli ai dati originali.

2. Reduce: Nella fase di riduzione, le coppie chiave-valore generate nella fase di mappatura vengono raggruppate per chiave. Le funzioni di riduzione aggregano i risultati, combinando i valori associati a ciascuna chiave in un output finale.

PySpark offre un'interfaccia Python per lavorare con Spark, rendendo il modello MapReduce accessibile agli sviluppatori che preferiscono utilizzare Python. Grazie alla sua architettura in-memory, PySpark consente di eseguire queste operazioni in modo veloce e scalabile, facilitando l'analisi di dataset di grandi dimensioni. Le operazioni di MapReduce in PySpark possono essere realizzate utilizzando metodi come map(), flatMap(), reduceByKey(), e groupByKey(), rendendo l'implementazione semplice e intuitiva.

Uno dei concetti fondamentali di PySpark è il Resilient Distributed Dataset (RDD), una struttura dati fondamentale per l'elaborazione distribuita. Gli RDD sono collezioni di dati distribuiti su un cluster, progettati per tollerare i guasti e per consentire operazioni parallele.

Componenti chiave:

1. RDD (Resilient Distributed Dataset): Rappresenta una collezione immutabile di oggetti distribuiti, che possono essere elaborati in parallelo. Gli RDD possono essere creati a partire da dati esistenti o da file esterni, come CSV o JSON.

2. Filtri: PySpark consente di applicare filtri agli RDD per estrarre solo i dati che soddisfano determinate condizioni. L'operazione di filtro è eseguita in modo distribuito, ottimizzando l'elaborazione e riducendo i dati da analizzare.

3. Partizioni: Gli RDD sono suddivisi in partizioni, che rappresentano sottoinsiemi di dati distribuiti su vari nodi del cluster. Ogni partizione viene elaborata indipendentemente, consentendo una scalabilità e un'elaborazione parallela efficienti. PySpark consente di gestire il numero di partizioni, influenzando le prestazioni e l'efficienza delle operazioni.

I DataFrame in PySpark sono una struttura dati simile a una tabella in un database relazionale o a un DataFrame in Pandas, progettati per facilitare l'elaborazione di dati distribuiti. I DataFrame in PySpark sono ottimizzati per l'elaborazione parallela su cluster, consentendo di gestire grandi volumi di dati in modo efficiente.

Caratteristiche principali dei DataFrame in PySpark:

• Schema definito: Ogni DataFrame ha uno schema che definisce i nomi delle colonne e i tipi di dati, consentendo operazioni più strutturate e tipo-sicure.

• Operazioni distribuite: Le operazioni sui DataFrame vengono eseguite in modo distribuito su un cluster, sfruttando la potenza del calcolo parallelo.

• Interfaccia intuitiva: PySpark fornisce un'API simile a quella di Pandas, rendendo più semplice l'interazione con i dati tramite operazioni come selezioni, filtraggio, aggregazioni e join.

• Integrazione con altre librerie: I DataFrame possono essere utilizzati insieme a librerie di machine learning come MLlib e strumenti di analisi dei dati.

  
  

PySpark offre funzionalità per eseguire query SQL sui DataFrame attraverso il modulo pyspark.sql. Ciò consente di:

• Registrare DataFrame come tabelle temporanee: Permettendo di utilizzare comandi SQL standard per interrogare i dati.

• Eseguire query SQL: Utilizzando la sintassi SQL familiare, rendendo l'analisi dei dati accessibile a chi ha esperienza con SQL.

In questo esercizio generiamo un file csv con dei dati bancari e Pandas.

Poi caricheremo i dati su pySpark per ricavare delle informazioni

Elaboriamo dei dati in formato parquet con PySpark

Il machine learning è un ramo dell'intelligenza artificiale che si concentra sullo sviluppo di algoritmi e modelli che permettono ai computer di apprendere dai dati e fare previsioni o prendere decisioni senza essere esplicitamente programmati. In altre parole, il machine learning consente ai sistemi di migliorare automaticamente le loro prestazioni in base all'esperienza.

Tipi di machine learning:

1. Apprendimento supervisionato: In questo approccio, il modello viene addestrato su un dataset etichettato, dove ogni esempio di input è associato a un output desiderato. L'obiettivo è prevedere l'output per nuovi dati.

2. Apprendimento non supervisionato: Qui il modello lavora con dati non etichettati, cercando di identificare pattern o gruppi all'interno dei dati. È spesso utilizzato per clustering e riduzione della dimensionalità.

3. Apprendimento per rinforzo: Questo approccio si basa su un sistema di ricompense e punizioni. Il modello apprende attraverso interazioni con l'ambiente, ottimizzando le sue azioni per massimizzare le ricompense nel tempo.

Applicazioni del machine learning:

Il machine learning trova applicazione in numerosi settori, tra cui:

• Riconoscimento vocale e traduzione automatica

• Diagnosi medica e analisi delle immagini

• Raccomandazioni di prodotti (come nei servizi di streaming e e-commerce)

• Previsione delle vendite e analisi del rischio finanziario

  
  

Scikit-learn è una libreria open source per il machine learning in Python, progettata per essere semplice da usare e altamente efficiente. È costruita su librerie fondamentali come NumPy, SciPy e Matplotlib, e offre una vasta gamma di strumenti per l'analisi dei dati e l'apprendimento automatico.

Caratteristiche principali di Scikit-learn:

1. Modelli di machine learning: Include implementazioni di vari algoritmi di apprendimento supervisionato (come regressione, classificazione e alberi decisionali) e non supervisionato (come clustering e riduzione della dimensionalità).

2. Preprocessing dei dati: Fornisce strumenti per la preparazione dei dati, come la normalizzazione, la codifica delle variabili categoriche e la gestione dei valori mancanti.

3. Valutazione e selezione del modello: Include metodi per la valutazione delle prestazioni dei modelli (ad esempio, cross-validation) e tecniche per la selezione e l'ottimizzazione degli iperparametri.

4. Facilità d'uso: L'API di Scikit-learn è coerente e intuitiva, rendendo facile l'implementazione di vari modelli e tecniche di machine learning.

5. Integrazione con altre librerie: Si integra perfettamente con altre librerie scientifiche di Python, facilitando l'analisi dei dati e la visualizzazione.

La regressione lineare è un metodo statistico utilizzato per modellare la relazione tra una variabile dipendente (risultato) e una o più variabili indipendenti (predittori) attraverso una linea retta. L'obiettivo principale è trovare la migliore retta che minimizzi la somma dei quadrati delle differenze (residui) tra i valori osservati e quelli previsti.

Usiamo la libreria Scikit-learn per implementare un modello di regressione lineare semplice.

Generiamo una sequenza di dati di temperatura, in Celsius e Fahrenheit e ricaviamo la regola di conversione con la regressione lineare.

Ripercorriamo l'esercizio aggiungendo del rumore sui dati.

Le metriche delle regressioni lineari in Scikit-learn forniscono strumenti per valutare le prestazioni dei modelli di regressione e la loro capacità di fare previsioni accurate. Ecco alcune delle metriche più comuni:

1. Errore quadratico medio (RMSE): Calcola la radice quadrata della media dei quadrati degli errori (differenze tra valori osservati e previsti). Un RMSE più basso indica una migliore accuratezza del modello.

2. Coefficiente di determinazione (R²): Misura la proporzione della varianza nella variabile dipendente che può essere spiegata dalle variabili indipendenti. Un valore R² vicino a 1 indica che il modello spiega bene i dati, mentre un valore vicino a 0 suggerisce che il modello non ha potere predittivo.

3. Errore medio assoluto (MAE): Calcola la media degli errori assoluti, ovvero la media delle differenze assolute tra valori osservati e previsti. È un'ulteriore misura della precisione del modello.

Vediamo un esempio di regressione lineare multipla utilizzando i dati sugli iris.

I classificatori ad albero sono algoritmi di machine learning utilizzati per la classificazione e la regressione, che modellano le decisioni tramite una struttura ad albero. Ogni nodo dell'albero rappresenta una condizione su una variabile di input, mentre i rami conducono a nodi foglia che rappresentano le classi previste.

Caratteristiche principali:

1. Facilità di interpretazione: Gli alberi decisionali sono facili da visualizzare e comprendere, rendendo le decisioni del modello trasparenti e interpretative.

2. Gestione dei dati non lineari: Possono gestire relazioni non lineari tra le variabili senza la necessità di trasformazioni complesse.

3. Preprocessing minimo: Non richiedono una normalizzazione dei dati e possono gestire variabili sia numeriche che categoriche.

In Scikit-learn, i classificatori ad albero possono essere implementati utilizzando la classe  DecisionTreeClassifier. La libreria offre funzionalità per addestrare il modello, effettuare previsioni e valutare le prestazioni utilizzando metriche come la precisione e la matrice di confusione.