Transformer Modelle und Deep Learning

Dieser Kurs beschäftigt sich mit dem Thema Encoder-Decoder-Modellarchitekturen im Deep Learning und darauf basierenden Anwendungsfällen im Bereich Natural Language Understanding.

Wir besprechen, wie Encoder-Decoder Modelle (insbesondere Transformer Modelle wie GPT2 oder BERT-Architekturen) aufgebaut sind und welche Schritte während des Trainings eines solchen Modells ablaufen.

Der große Nutzen dieser vortrainierten Modellarchitekturen besteht in der Anwendung des Transfer-Learning Konzepts. Das bedeutet, wir können uns riesige, vortrainierte Modellarchitekturen zu Nutze machen und mit relativ wenig Aufwand für unseren konkreten Anwendungsfall trainieren.

Wie können wir mittel one-shot-classification Texte einer bestimmten Kategorie zuordnen?

Wie integrieren wir Modelle aus dem Hugging Face Projekt in unsere eigenen Deep Learning Projekt auf Basis der fastai Bibliothek?

Neben dem theoretischen Input entwickeln wir anhand von Jupyther Notebooks Anwendungsbeispiele und gehen den implementierten Code unserer KI-Anwendungen Schritt für Schritt gemeinsam durch.

Lernziele Transformer Modelle, Deep Learning und fastai

Folgende Lernziele verfolgen wir mit dem Kurs Transformer Modelle (Encoder/Decoder Architekturen) und Deep Learning:

- Du lernst das erforderliche theoretische Basiswissen, um Transformer Modellarchitekturen im Deep Learning zu verstehen.
- Du kannst das Funktionsprinzip von Transformer Modellen wie BERT oder GPT2 verstehen.
- Du lernst, wie du Transformer Modelle in fastai Projekt integrieren kannst
- Du lernst verschiedene Bibliotheken wie `Blurr` oder `FastHugs` kennen.
- Mithilfe von Bibliotheken integrieren wir vortrainierte Transformermodelle mittels Hugging-Face und fastai Framework.

"Transformers (früher bekannt als pytorch-transformers und pytorch-pretrained-bert) bietet Allzweckarchitekturen (BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet…) für Natural Language Understanding (NLU) und Natural Language Generation (NLG) mit über 32+ vortrainierten Modellen in über 100 Sprachen und umfassender Interoperabilität zwischen Jax, PyTorch und TensorFlow." (Quelle: huggingface)

Wir zeigen in diesem Kurs, wie wir Transformer (Encoder / Decoder) Modelle aus dem Hugging Face Model Zoo mithilfe von verschiedenen Bibliotheken in das fastai Framework integrieren können.

Insbesondere die Erfolge von künstlicher Intelligenz und Deep Learning im Bereich der Textanalyse und Textgenerierung ist den Transformer Modellarchitekturen zu verdanken. Modellnamen wie BERT oder GPT2 sind wohl allen ein Begriff.

In diesem Kurs präsentieren wir verschiedene Bibliotheken und Projekte, die es uns ermöglichen, vortrainierte Modelle via Hugging Face Model Hub gemeinsam mit der fastai Bibliothek einsetzen können.

Das Transformer Modell stellt im Wesentlichen eine Serie von hintereinander verknüpften Encodern dar. Ein Embedding Layer ist für die Tranformation der Eingabedaten in eine Vektorrepräsentation verantwortlich. Die Weights dieser Schicht werden während des Trainings angepasst.

Nachdem die Eingabedaten durch den Embedding Layer in eine Vektorrepräsentation übergeführt worden sind, erstellt das Modell eine interne Repräsentation. Der Decoding Layer ist dann wiederum für die Überführung der internen Repräsentation im Modell in die Ergebnisschicht verantwortlich.

Unterschiedliche Längen der Eingabesequenzen werden durch Padding-Mechanismen angepasst.

Zusätzlich wurden in den Encoder / Decoder Modellen Attention Layer eingeführt.