AI Prompt Engineering - corso completo

In questa serie di video esploreremo alcune tecniche e alcuni concetti più avanzati per sfruttare al meglio i risultati ottenuti in output da un LLM. Vedremo inoltre come è possibile analizzare le risposte date in output da un modello nell'ottica di migliorare i migliorare i prompt in base alle capacità del modello e alle risposte che si vogliono ottenere.

In questo video ci immergiamo in diverse tecniche che amplificano il potenziale dei modelli linguistici (LLM). Iniziamo con n-shot prompting, un approccio straordinario che consente agli LLM di apprendere da un numero limitato di esempi, ampliando la loro capacità di generalizzare e generare risposte significative. Successivamente, esploriamo l'affascinante concetto di suggerimento della catena di pensieri (CoT), in cui gli LLM percorrono una serie di passaggi autoconsistenti, rispecchiando processi di pensiero simili a quelli umani. Ci avventuriamo quindi nel regno del generated knowledge prompting, una tecnica che sfrutta la vasta conoscenza incorporata negli LLM. Sfruttando le conoscenze preesistenti durante la generazione di prompt, gli LLM possono offrire risposte approfondite e accurate, rendendoli risorse preziose per attività di ricerca di informazioni. Successivamente sposteremo la nostra attenzione verso la tecnica detta "directed stimulus prompting": fornendo indicazioni o istruzioni specifiche nei prompt, possiamo guidare gli LLM a generare risposte personalizzate e mirate.

Infine, approfondiamo una serie di tecniche emergenti che spingono i confini delle capacità LLM. Questi includono il campionamento Gumbel Softmax, e la raccolta di dati controfattuali.

Adesso proponiamo un processo critico di valutazione e tecniche di miglioramento dei modelli linguistici. La valutazione delle prestazioni di un modello è essenziale per garantirne l'accuratezza, la pertinenza e la qualità. Approfondiamo varie tecniche di valutazione, inclusa la repeat prompting evaluation, che misura la coerenza delle risposte di un modello a prompt specifici, l'inter annotator agreement, in cui gli annotatori umani valutano gli output del modello per consenso e affidabilità. La valutazione umana svolge un ruolo cruciale nella valutazione delle prestazioni del modello dal punto di vista dell'utente. Inoltre, il confronto dei riferimenti ci consente di confrontare le risposte del modello con riferimenti attendibili per pertinenza e qualità.

Per migliorare e ottimizzare i modelli, approfondiamo il perfezionamento iterativo, in cui feedback e aggiornamenti continui perfezionano le capacità di risposta del modello; parleremo delle tecniche di data augmentation per arricchire i dati di addestramento, migliorando le prestazioni del modello. Infine, il suggerimento attivo coinvolge attivamente gli utenti per fornire suggerimenti che migliorano l'apprendimento e l'adattamento del modello.

In questo video hands-on e a zero contenuto teorico esploriamo alcune fra le più note ed utilizzate piattaforme che ci permettono di lavorare online, facilmente e gratuitamente con degli LLM. Inizieremo con Huggingface, il "GitHub del machine learning", come viene spesso definito. In realtà questa definizione attualmente è anche riduttiva, essendo Huggingface molto più di un semplice repository di modelli liberamente scaricabili e utilizzabili. Altra piattaforma molto utilizzata è OpenAssistant, che oltre a darci la possiblità di usare vari LLM per sessioni di prompting con anche un tuning di base di alcuni parametri, ha anche una interessantissima fase di raccolta feedback da parte degli utenti; grazie a questo processo di etichettatura e gamification da parte degli utenti, OpenAssistant è in grado di rifinire sempre di più gli LLM messi a disposizione in un meccanismo che rispetta alla perfezione il loop virtuoso del Machine Learning. Passeremo poi ad usare Chatbot Arena, uno strumento in grado di farci comparare direttamente le risposte di più modelli allo stesso prompt. Stesso principio ma con modelli diversi per Vercel AI Playground. Chiudiamo tornando alle origini, tornando su Huggingface e usando il loro LLM, con interfaccia in tutto e per tutto simile a ChatGPT.

Benvenuto in questo video introduttivo ai modelli linguistici (LLM), i modelli di Machine Learning che ci permettono di elaborare il linguaggio naturale. In questo video, esploreremo cosa sono gli LLM, sveleremo i loro concetti sottostanti e approfondiremo le loro applicazioni ad ampio raggio. Dai chatbot ai servizi di traduzione, dalla generazione di contenuti all'analisi del sentiment, gli LLM sono diventati strumenti indispensabili in vari domini. Unisciti a noi mentre sveliamo pian piano i loro meccanismi interni, scoprendo il loro incredibile potenziale per rivoluzionare il mondo in cui viviamo.

In questo video, approfondiremo le basi e il significato degli embedding, la chiave per comprendere come i LLM elaborano e rappresentano il linguaggio. Gli embedding sono rappresentazioni matematiche del significato semantico e contestuale di singole parole o intere frasi. Consentono agli LLM di cogliere le intricate sfumature del linguaggio, facilitando attività come la classificazione del testo, l'analisi del sentiment e la traduzione automatica. Gli embedding sono il modo con cui gli LLM prendono vita e riescono realmente a comprendere quello che viene loro dato in pasto: unisciti a noi mentre scopriamo le tecniche utilizzate per generarli e studiamo il loro impatto sulle capacità di comprensione dei modelli linguistici.

In questo video esploreremo l'affascinante viaggio che i LLM affrontano per acquisire la capacità di comprendere e generare il linguaggio naturale. Il processo di apprendimento di un LLM è fatto da una complessa orchestrazione di dati, algoritmi e tecniche di ottimizzazione. Approfondiremo le basi dell'addestramento, dalla raccolta e preelaborazione iniziale dei dati agli algoritmi di addestramento notevoli che consentono al modello di apprendere i modelli e le strutture del linguaggio. Andremo a svelare i passi alla base del processo di addestramento, menzionando le trasformazioni che si verificano durante l'addestramento del modello e acquisendo una comprensione più profonda delle straordinarie capacità che gli LLM apprendono in questo processo. Preparati a intraprendere un'affascinante esplorazione nel processo di formazione di un modello linguistico, dove l'intelligenza viene coltivata e il linguaggio prende vita.

In questo video forniremo una panoramica dell'architettura GPT (Generative Pre-trained Transformer), un progresso rivoluzionario nel campo dell'elaborazione del linguaggio naturale. In particolare scopriremo la sua storia e accenneremo all'architettura interna, comprendendo come rivoluziona la comprensione e la generazione del linguaggio. GPT si basa sul potere di trasformazione del modello Transformer, che gli consente di elaborare e generare il linguaggio umano con fluidità e coerenza senza precedenti. Approfondiremo con parole molto semplici le complessità dell'architettura GPT e scopriremo il suo design ingegnoso, ovvero i fattori che hanno spostato anche per il grande pubblico i confini di ciò che è possibile nell'elaborazione del linguaggio naturale.

Lo Split Learning è una tecnica all'avanguardia che consente l'apprendimento automatico distribuito e che preserva la privacy; è una delle tecniche su cui si basa l'architettura GPT per gli LLM. Split Learning rivoluziona il modo in cui i modelli vengono addestrati decentralizzando il processo, consentendo ai dati di rimanere sui dispositivi locali mentre i calcoli vengono eseguiti sui server remoti. Questo approccio risolve i problemi di privacy, riduce i costi di comunicazione e consente l'apprendimento collaborativo su più dispositivi. Sveleremo le complessità dello Split Learning, comprendendo i suoi vantaggi e assistendo al suo potenziale enorme in domini come l'assistenza sanitaria, l'edge computing e le industrie sensibili ai dati. Con lo Split Learning privacy, tecniche di collaborazione e tecniche avanzate di ML convergono.

In questo video esploreremo un concetto molto importante nel mondo degli LLM: la distillazione, un potente metodo per comprimere e trasferire la conoscenza da un modello ampio e complesso a uno più piccolo ed efficiente. La distillazione ci consente di "distillare" l'essenza di un modello complesso in una versione semplificata, preservandone le prestazioni riducendo le risorse computazionali. Questa tecnica ha applicazioni ad ampio raggio, dalla distribuzione di modelli su dispositivi con risorse limitate all'accelerazione dell'inferenza in sistemi su larga scala. Comprendere il processo di distillazione è fondamentale per capire l'impatto di questa tecnica nel mondo del ML, e in particolare nel rendere i modelli sofisticati più accessibili ed efficienti.

In questo video esploreremo le potenti tecniche di transfer learning e pre-training, che hanno rivoluzionato il campo del machine learning. Il transfer learning ci consente di sfruttare le conoscenze e le intuizioni acquisite da un'attività o un dominio per migliorare le prestazioni su un'altra attività o dominio correlato. Il pre-training, dall'altro lato, prevede l'addestramento di un modello su un set di dati di grandi dimensioni per apprendere rappresentazioni generali del linguaggio o delle immagini, che possono quindi essere perfezionate per compiti specifici. Queste tecniche si sono dimostrate rivoluzionarie, consentendo uno sviluppi più rapidi di architetture di reti neurali moderne a prestazioni migliorate e sono state applicate a vari campi, non solo agli LLM.

BERT è l'acronimo di "Bidirectional Encoder Representations from Transformers" e rappresenta un'enorme conquista nel campo dell'elaborazione del linguaggio naturale. In questo breve video, esploreremo i suoi fondamenti teorici e scopriremo come BERT sia riuscito a superare molte delle sfide che gli algoritmi precedenti dovevano affrontare. Ci addentreremo nei meandri di BERT, esaminando come la sua capacità di comprensione bidirezionale e l'uso della mascheratura casuale abbiano consentito di ottenere risultati straordinari nella comprensione del linguaggio umano. Presenteremo anche alcune varianti di BERT, come Roberta, Albert e DistilBERT, che hanno ulteriormente affinato e migliorato questa potente architettura. Sarete affascinati dalle loro caratteristiche uniche e dalle applicazioni che rendono possibile.

Transformer-XL è un modello che ha conquistato l'attenzione di molti ricercatori nel campo dell'elaborazione del linguaggio naturale. Ciò che lo differenzia da altri modelli è la sua abilità di catturare le dipendenze di lungo termine all'interno del testo, superando una delle sfide principali affrontate dagli algoritmi precedenti. Ma come riesce a farlo? Ed è davvero possibile incorporare una "memoria" all'interno di un modello di apprendimento automatico? In questo appassionante video guarderemo "dallo spazio" il concetto di memoria a lungo termine di posizione di Transformer-XL. Capiremo come questa architettura innovativa sia in grado di trattenere informazioni cruciali, consentendo una comprensione più approfondita del contesto nel quale le parole sono collocate. Esploreremo le tecniche di modellazione delle dipendenze di lungo termine e scopriremo come questo modello riesce a superare i limiti temporali imposti dai modelli tradizionali. Immaginate di poter analizzare un testo mantenendo una memoria dettagliata delle informazioni che avete acquisito nel corso della lettura, proprio come farebbe una mente umana. Ebbene, Transformer-XL ci offre una prospettiva affascinante su come l'intelligenza artificiale possa avvicinarsi a questa capacità.

In questo video di pochi minuti, metteremo a confronto alcune delle architetture più famose di LLM: GPT, ChatGPT, T5, LLaMA, BARD e LaMDA. Esploreremo le loro caratteristiche uniche e le applicazioni reali. Sarete affascinati da GPT, noto per la generazione di testi coerenti, e da ChatGPT, che si distingue per l'interazione conversazionale. T5 vi sorprenderà con la sua versatilità, affrontando una vasta gamma di compiti di linguaggio naturale. Inoltre, scoprirete LLaMA, che integra il linguaggio con la visione artificiale, BARD per dialoghi creativi e coinvolgenti, e LaMDA per conversazioni più naturali.

Nel video odierno, esploreremo i plugin di ChatGPT, che hanno rivoluzionato l'esperienza di interazione degli utenti con questo LLM. Questi plugin consentono di personalizzare l'esperienza con ChatGPT, offrendo una vasta gamma di applicazioni come assistenti virtuali, traduzioni istantanee e altro ancora. Scopriremo come questi plugin si integrano con ChatGPT e ci immergeremo nel futuro delle interazioni uomo-macchina.

L'hallucination rappresenta un aspetto affascinante e allo stesso tempo complesso dell'elaborazione del linguaggio naturale. Talvolta i modelli di apprendimento automatico possono produrre risultati che sembrano straordinariamente reali, ma che in realtà non hanno un fondamento nella realtà. Esamineremo i meccanismi che portano a questo fenomeno, analizzando come le reti neurali possono generare contenuti che sembrano autentici, ma che non sono basati su dati reali. Esploreremo le sfide e le implicazioni etiche associate all'hallucination, ponendo l'accento sul bisogno di comprensione e controllo di questo fenomeno nel contesto dell'intelligenza artificiale.

Nel video odierno, affronteremo le sfide e i comuni casi d'uso di queste tecnologie. Esploreremo sfide come l'interpretabilità, il bias algoritmico e l'etica, analizzando le implicazioni che queste problematiche pongono nel contesto dell'intelligenza artificiale.

Inoltre, esamineremo i vari casi d'uso comuni dei modelli di LLM. Scopriremo come vengono impiegati nella ricerca scientifica per analizzare grandi quantità di dati e scoprire nuovi risultati, oppure come possano essere utilizzati nel campo dell'assistenza clienti con la creazione di chatbot intelligenti, che offrono assistenza virtuale in diverse situazioni, dalla consulenza ai clienti all'interazione conversazionale. Esploreremo anche il data mining, un ambito in cui i modelli di LLM sono in grado di estrarre informazioni preziose da enormi quantità di dati non strutturati, e altri use case comuni degli LLM nel mondo attuale.