Data Science con Python e IA: dai dati grezzi agli insight

Installiamo il gestore delle versioni Python e l'ultima versione di Python

Procediamo con l'installazione di Cursor, l'editor AI first che ci accompagnerà lungo tutto il corso

Creiamo a titolo di esempio un primo Jupyter Notebook in Cursor e, a seguire, uno script Python Jupiter-like

Scopri dove trovare i dataset per esercitarti

Per cominciare a esplorare il dataset: calcoliamo media e deviazione standard utilizzando il pacchetto numpy

In questa lezione imparerai i principali tipi e strutture di dati di Python utili per la Data Science: numeri, stringhe, liste, tuple, set e dizionari. Mostri casi d’uso pratici (categorie, mapping ID→descrizione, insiemi di valori unici) e come queste strutture si collegano a colonne, record e tabelle dei dataset reali.

Procedi verso l'effettiva manipolazione dei dati: definisci funzioni riutilizzabili per pulire e trasformare valori, usi cicli e condizioni per elaborare collezioni e introduci le list/set/dict comprehension per scrivere trasformazioni compatte. Gli esempi sono pensati in ottica data science: normalizzare categorie testuali, arricchire record (es. calcolo di totali) e preparare i dati per l’analisi successiva.

Cosa imparerai:

• Lavorare con liste, dizionari, tuple e set per organizzare i dati

• Scrivere funzioni riusabili per pulire e trasformare i dati

• Usare cicli for e condizioni if per filtrare e analizzare dataset

• Applicare list e dict comprehension per operazioni efficienti

• Pulire e normalizzare dati grezzi (rimozione spazi, formattazione)

• Eseguire analisi base: somme, medie, massimi, minimi

• Raggruppare dati per categorie e calcolare statistiche

• Trasformare strutture dati complesse (liste di dizionari)

Contenuto della lezione:

Questa lezione pratica include 20 esempi guidati e oltre 30 esercizi organizzati in 9 livelli di difficoltà crescente. Ogni esempio è commentato e mostra come applicare i concetti Python alla manipolazione dei dati.

Argomenti trattati:

• Tipi di dato e strutture Python (numeri, stringhe, liste, dizionari, tuple, set)

• Funzioni per incapsulare logica riusabile

• Cicli for per iterare su dati

• Condizioni if per filtrare record

• List e Dict Comprehension per codice compatto ed efficiente

• Trasformazioni dati: pulizia, normalizzazione, arricchimento

• Analisi base: statistiche e raggruppamenti

Cosa imparerai:

• Comprendere la differenza tra programmazione funzionale e orientata agli oggetti

• Utilizzare i metodi incorporati degli oggetti Python per manipolare i dati

• Applicare metodi delle stringhe per pulire e normalizzare testi (.strip(), .title(), .upper(), .lower(), .replace(), .split())

• Sfruttare i metodi delle liste per modificare e analizzare collezioni (.append(), .remove(), .pop(), .sort(), .count())

• Utilizzare i metodi dei dizionari per accedere e gestire dati strutturati (.keys(), .values(), .items(), .get())

• Lavorare con set e operazioni su insiemi per trovare valori unici e relazioni tra dati

• Concatenare metodi per operazioni complesse in modo elegante e leggibile

• Applicare funzioni built-in (len(), str(), int(), type(), isinstance()) per validazione e conversione

• Sviluppare un approccio orientato agli oggetti per la pulizia e trasformazione di dataset

Contenuto della lezione:

Questa lezione pratica introduce il paradigma della programmazione orientata agli oggetti in Python, mostrando come sfruttare i metodi incorporati negli oggetti per manipolare i dati in modo più intuitivo ed efficiente. Include oltre 25 esempi guidati e più di 30 esercizi organizzati in 10 livelli di difficoltà crescente. Ogni esempio confronta l'approccio tradizionale (funzionale) con quello orientato agli oggetti, aiutandoti a comprendere quando e perché usare i metodi degli oggetti. Imparerai a scrivere codice più pulito, conciso e Pythonico per le tue attività di Data Science.

Argomenti trattati:

• Paradigma orientato agli oggetti: differenza tra funzione(dato) e dato.metodo()

• Metodi delle stringhe per pulizia e formattazione dati testuali

• Metodi delle liste per gestione dinamica di collezioni di dati

• Metodi dei dizionari per accesso sicuro e iterazione su dati strutturati

• Set e operazioni su insiemi (unione, intersezione) per analisi di dati categorici

• Concatenazione di metodi per operazioni complesse in una singola riga

• Funzioni built-in per validazione, conversione e verifica di tipi

• Pattern di pulizia dati usando metodi degli oggetti

• Best practices per codice orientato agli oggetti in contesti di Data Science

In questa lezione impari a eseguire un'analisi esplorativa dei dati (EDA) sui prezzi di un dataset di vendita online usando Python e OpenPyXL.

Cosa imparerai:

• Installare e configurare OpenPyXL con pip

• Caricare e leggere file Excel (.xlsx) in Python

• Navigare tra fogli e celle di un workbook Excel

• Identificare automaticamente le colonne di interesse nel dataset

• Estrarre e pulire i dati dei prezzi

• Calcolare statistiche descrittive: media, deviazione standard, prezzo minimo e prezzo massimo

• Organizzare il codice in celle Jupyter-like per un workflow modulare

Obiettivi pratici:

Al termine della lezione sarai in grado di:

• Gestire file Excel con OpenPyXL

• Eseguire analisi statistiche di base su dati reali

• Strutturare il codice per l'analisi esplorativa dei dati

Prerequisiti:

Conoscenza base di Python e familiarità con i concetti di statistica descrittiva.

Dataset utilizzato:

Online Retail Dataset - un dataset reale di transazioni di vendita online.

In questa lezione entreremo nel cuore pulsante del calcolo numerico in Python: NumPy. Se Pandas, come vedremo, è lo strumento per manipolare tabelle, NumPy è il motore ad altissime prestazioni che ne permette il funzionamento.

Non ci limiteremo a imparare la sintassi; impareremo a "sentire" i dati numerici attraverso l'analisi statistica prima ancora di visualizzarli graficamente.

Cosa imparerai in questo modulo:

• Le Fondamenta dell'Efficienza: Scoprirai perché gli array NumPy sono superiori alle liste Python, approfondendo i concetti di shape, dtype e la potenza del Broadcasting per eseguire operazioni massive senza l'uso di loop lenti.

• Manipolazione Avanzata dei Dati: Imparerai a estrarre esattamente ciò che ti serve attraverso lo Slicing e le Maschere Booleane, una tecnica fondamentale che ritroverai identica in Pandas.

• Statistica Descrittiva e Distribuzioni: Andremo oltre il semplice calcolo di Media e Mediana. Analizzeremo come la loro divergenza segnali la presenza di outlier e asimmetrie nelle distribuzioni. Approfondiremo la Deviazione Standard ($\sigma$) e l'uso strategico dei Percentili per isolare casi estremi.

• Mini Laboratorio Pratico: Concluderemo con una sessione pratica di analisi su una colonna di un dataset reale, trasformando i numeri grezzi in insight strategici.

Perché questa lezione è fondamentale:

Un vero Data Scientist non si fida ciecamente di un grafico; sa interpretare i numeri che lo generano. Al termine di questa lezione, avrai sviluppato l'intuizione numerica necessaria per capire la qualità e la struttura di qualsiasi dataset ti venga sottoposto.

Analizziamo con NumPy un vero dataset di vendite. Scarica il dataset in autonomia e ripercorri i passaggi della lezione per fare pratica

Questa lezione combina teoria avanzata e pratica su NumPy per l'analisi statistica dei dati.

Cosa imparerai:

• Statistica descrittiva avanzata: calcolo e interpretazione di skewness, kurtosis, coefficiente di variazione e range interpercentile

• Analisi multivariata: correlazione tra variabili e costruzione di matrici di correlazione con NumPy

• Esercizi pratici progressivi: 7 livelli di difficoltà (da principiante a esperto) su dataset reali

• Tecniche avanzate: normalizzazione, binning, identificazione di outlier, analisi per categoria

• Ottimizzazione delle performance: confronto tra operazioni vettorizzate NumPy e loop Python

Contenuti principali:

• Teoria con formule matematiche e interpretazioni pratiche

• 30+ esercizi pratici con soluzioni commentate

• Dataset Amazon Sale Report per applicazioni reali

• Analisi completa multi-colonna e identificazione di anomalie

• Esempi di codice pronti all'uso

In questa lezione faremo il grande salto dal calcolo puramente numerico alla manipolazione di tabelle dati complesse. Capirai perché Pandas è lo standard assoluto per ogni Data Scientist e come sfrutta la potenza di NumPy per gestire dati reali, sporchi e variegati.

Non è solo una lezione di codice, ma un percorso metodologico per trasformare un file grezzo in una base solida per modelli di Machine Learning o Business Intelligence.

Cosa imparerai in questo modulo:

• L'Eredità di NumPy: Scoprirai il legame tecnologico inscindibile tra NumPy e Pandas. Capirai come Pandas mantenga le performance del calcolo vettoriale aggiungendo però la flessibilità di indici e nomi di colonna.

• Oltre l'Omogeneità: Imparerai a superare il limite più grande di NumPy. Vedremo come un DataFrame permetta di gestire dati di tipo diverso (stringhe, date, numeri) garantendo l'omogeneità solo all'interno della singola colonna: la chiave per gestire database reali.

• Workflow di Ispezione e Pulizia: Imparerai le tecniche dei professionisti per esplorare un dataset appena caricato (head, info, describe) e come costruire un glossario delle variabili per non perdere mai il senso del business.

• Data Cleaning Avanzato: Affronteremo il problema dei Missing Values (NaN) e degli Outlier. Imparerai quando eliminare un dato e quando invece "imputarlo" (riempirlo) senza distorcere la statistica del dataset.

• Feature Engineering e Aggregazione: Vedremo come creare nuove colonne calcolate e come usare il GroupBy per trasformare migliaia di transazioni in pochi insight decisivi per gli stakeholder.

Perché questa lezione è fondamentale:

La maggior parte degli errori nei modelli predittivi non deriva dall'algoritmo, ma da dati puliti male o interpretati peggio. Al termine di questa lezione, avrai una checklist mentale (e pratica) per "bonificare" qualsiasi dataset e renderlo pronto per l'analisi statistica avanzata.

In questa lezione pratica imparerai a usare pandas per pulire, trasformare e analizzare un dataset reale di vendite. Attraverso un tutorial guidato e esercizi progressivi, acquisirai le competenze essenziali per gestire dati reali.

Cosa imparerai:

• Caricare e ispezionare dataset con pandas

• Identificare e gestire missing values con strategie appropriate

• Applicare filtri e rimuovere errori logici e outlier

• Creare feature derivate (prezzo per unità, stagioni, categorie premium)

• Eseguire aggregazioni con groupby per analisi multi-livello

• Costruire report analitici tipo dashboard

Contenuti della lezione:

• Tutorial completo con codice commentato passo-passo

• Dataset reale: Sale Report (120K+ ordini)

• 7 livelli di esercizi pratici (da base a master)

• Tecniche di data cleaning applicate a casi reali

• Feature engineering per preparare i dati all'analisi

Per chi è questa lezione:

• Chi vuole passare dalla teoria alla pratica con pandas

• Chi deve gestire dataset reali con problemi comuni (missing values, outlier, errori logici)

• Chi vuole costruire report analitici professionali

In questa lezione introduciamo il dataset della competizione Kaggle "Rossmann Store Sales", un caso d'uso reale per il time series forecasting in ambito retail. Esploreremo la struttura dei file forniti (train, test e store), analizzeremo il significato delle variabili chiave come vendite, promozioni e festività, e definiremo il workflow di Exploratory Data Analysis (EDA) necessario per trasformare i dati grezzi in insight strategici con Matplotlib e Seaborn.

Perché alcuni modelli di Machine Learning falliscono nonostante algoritmi complessi? La risposta è quasi sempre una EDA (Exploratory Data Analysis) carente. In questa lezione, utilizzeremo il celebre dataset Rossmann Store Sales per imparare a esplorare i dati con metodo scientifico e rigore analitico.

Non ci limiteremo a creare grafici: impareremo a porre ai dati le "domande giuste" per orientare le future scelte di modellazione.

Cosa imparerai in questo modulo:

• L'Obiettivo dell'EDA: Capiremo perché l'analisi esplorativa è il ponte tra i dati grezzi e un modello di successo. Analizzeremo struttura, qualità, dinamiche temporali e driver di business.

• Analisi della Distribuzione (Target): Esploreremo la distribuzione delle vendite (Sales), imparando a identificare l'asimmetria e capendo quando (e perché) una trasformazione logaritmica può salvare il tuo modello.

• Dinamiche Temporali e Stagionalità: Visualizzeremo i trend e la stagionalità settimanale. Scoprirai come isolare l'effetto dei giorni di chiusura e delle festività per non inquinare le tue previsioni.

• Driver di Business: Analizzeremo l'impatto reale delle promozioni e le differenze strutturali tra diversi tipi di store e assortimento, utilizzando grafici a barre e boxplot avanzati.

• Insight Tecnici: Gestiremo casi pratici come i valori mancanti nella colonna Open e vedremo come le assunzioni fatte durante l'EDA debbano essere documentate per la fase di produzione.

Perché questa lezione è fondamentale:

La visualizzazione non è estetica, è comprensione. Al termine di questo modulo, saprai come utilizzare Matplotlib per trasformare migliaia di righe di transazioni retail in evidenze visive chiare, pronte per essere comunicate agli stakeholder o utilizzate per il feature engineering.

In questa lezione faremo un salto di qualità nella visualizzazione dei dati, passando da Matplotlib a Seaborn. Se Matplotlib è il pennello del Data Scientist, Seaborn è il suo studio di design statistico: una libreria costruita sopra Matplotlib che permette di creare grafici complessi e orientati ai dati con una frazione del codice.

Continueremo l'esplorazione del dataset Rossmann Store Sales, ma questa volta utilizzeremo un'API "data-oriented" per estrarre insight che le sole medie numeriche non possono rivelare.

Cosa imparerai in questo modulo:

• API Data-Oriented: Scoprirai come lavorare direttamente con i DataFrame Pandas e i nomi delle colonne, riducendo il "boilerplate" e focalizzandoti sull'interpretazione del dato.

• Analisi della Distribuzione con displot: Imparerai a visualizzare facilmente l'istogramma delle vendite, per capire se le tue vendite seguono una distribuzione normale o se presentano asimmetrie critiche.

• Correlazioni e Heatmap: Imparerai a calcolare matrici di correlazione e a visualizzarle tramite Heatmap, identificando a colpo d'occhio quali variabili (come il numero di clienti o le promozioni) guidano realmente il fatturato.

• Confronti Multidimensionali: Utilizzeremo i Boxplot e i Bar Chart di Seaborn per confrontare le performance tra diverse categorie di store e assortimento, isolando l'effetto delle promozioni sulla variabilità delle vendite.

• Analisi Temporale Evoluta: Vedremo come tracciare serie temporali aggregate in modo elegante per identificare stagionalità settimanali e trend di lungo periodo.

Perché questa lezione è fondamentale:

Nel mondo del lavoro, un Data Scientist deve saper comunicare risultati complessi in modo semplice. Seaborn non solo rende i tuoi grafici più belli (grazie a temi professionali come whitegrid), ma ti permette di eseguire analisi statistiche visive (come le correlazioni) che sono il punto di partenza obbligatorio per ogni fase di Feature Engineering e Modeling.

In questa lezione non aggiungeremo nuovi grafici; faremo un salto di qualità metodologico. È la fase di transizione fondamentale in cui consolidiamo quanto appreso nell'Analisi Esplorativa (EDA) per definire la strategia di modellazione predittiva.

Cosa faremo in questa fase di "passaggio":

• Riflessione Critica sui KPI: Espliciteremo le metriche che guideranno il nostro modello. Analizzeremo perché lo scontrino medio (Basket) e il volume di clienti (Customers) sono i veri motori delle vendite totali.

• Approfondimento sulla Segmentazione: Ripasseremo la segmentazione già vista (per tempo, negozio e promo) non più solo per descrivere, ma per capire come la "media" possa ingannare le previsioni. Vedremo come la Baseline vari drasticamente tra diversi StoreType e Assortment.

• Dall'Osservazione alla Sperimentazione: Introdurremo il concetto di A/B Testing applicato agli store. Impareremo a formulare ipotesi verificabili sull'efficacia delle Promo per determinare se il loro impatto è causale o puramente correlato.

• Sintesi e Roadmap Strategica: Concluderemo con le raccomandazioni finali e un piano operativo che trasforma i risultati dell'EDA in una struttura pronta per la fase di Machine Learning.

I pilastri della lezione:

1. Consolidamento: Definizione rigorosa dei KPI a livello store-day.

2. Validazione: Uso della Media Mobile e del filtro Open=1 per depurare i trend dal rumore.

3. Progettazione: Creazione di esperimenti per isolare l'effetto delle leve di marketing (Lift).

4. Azione: Trasformazione degli insight in raccomandazioni per il management.

A chi è rivolta:

Questa lezione è pensata per chi ha già completato l'analisi iniziale e vuole capire come si passa concretamente dall'avere dei grafici all'avere una strategia di previsione e intervento aziendale.

In questa lezione analizzeremo i pilastri logici e strategici che rendono la modellazione predittiva un elemento indispensabile per il successo aziendale. Commenteremo insieme i punti chiave del workflow operativo per capire come la capacità di "prevedere" si traduca direttamente in un aumento di vendite e margini.

I Temi Trattati

Attraverso l'analisi del nostro documento di riferimento, vedremo perché non possiamo fare a meno di un modello predittivo:

• L'Obiettivo Finale: Capiremo che modellare non serve solo a fare calcoli, ma a supportare decisioni strategiche informate che aumentano il profitto.

• Ottimizzazione delle Scorte: Discuteremo come la previsione accurata per store-day sia vitale per evitare sia le rotture di stock che le inutili sovrascorte.

• Pianificazione del Marketing: Vedremo come la modellazione permetta di simulare scenari promozionali prima di spendere il budget, scegliendo le strategie con il maggior incremento atteso.

• Gestione Operativa: Analizzeremo l'importanza di prevedere i volumi di vendita per coordinare correttamente lo staffing, la logistica e la produzione.

• Il Ruolo dei Driver: Vedremo come identificare driver cruciali (come le promozioni) permetta di quantificare l'uplift reale sui KPI aziendali.

• Dalla Teoria all'Azione: Vedremo come il modello diventi un "abilitatore" che indica dove testare nuove strategie di prezzo o assortimento.

Comprendere come una foresta di alberi decisionali può essere utilizzata per fare previsioni: utilizziamo scikit-learn comprendendo come lavora l'algoritmo

Contenuti principali

• EDA completo: effetto promozioni, analisi per giorno/store, visualizzazioni boxplot

• Feature engineering: encoding categoriche, date→year/month/day/week, gestione missing

• Modello Random Forest: tuning parametri (max_depth=30, n_estimators=100), feature importance

• Metriche valutazione: R², MAE, RMSE, analisi errori per promo​

Risultati pratici

• Submission Kaggle-ready

• Business insight: le top teatures individuate col Random Forest

• Codice pronto scikit-learn