Udemy
    •  
    •  
    •  
    •  
    •  
    •  
    •  
    •  
Turn what you know into an opportunity and reach millions around the world.
Learn More
Your cart is empty.
Keep shopping
Open-Source LLMs: Unzensierte & sichere KI lokal auf dem PC
Bestseller
Highest Rated
Rating: 4.6 out of 5(353 ratings)
2,711 students

Open-Source LLMs: Unzensierte & sichere KI lokal auf dem PC

Private ChatGPT-Alternativen: Llama, Mistral, DeepSeek, Function Calling, RAG, Vektordatenbanken, LangChain & KI-Agenten
Last updated 11/2025
German

What you'll learn

  • Warum Open-Source LLMs? Unterschiede, Vorteile und Nachteile von Open-Source und Closed-Source LLMs
  • Was sind LLMs wie ChatGPT, Llama, Mistral, Phi3, Qwen2-72B-Instruct, Grok usw.
  • Welche LLMs gibt es und was soll ich verwenden? "Die besten LLMs" finden
  • Voraussetzungen für die lokale Nutzung von Open-Source LLMs
  • Installation und Verwendung von LM Studio, Anything LLM, Ollama und alternative Methoden zum Betrieb von LLMs
  • Zensierte vs. unzensierte LLMs
  • Finetuning eines Open-Source-Modells mit Huggingface oder Google Colab
  • Vision (Bilderkennung) mit Open-Source LLMs: Llama3, Llava & Phi3 Vision
  • Details zur Hardware: GPU Offload, CPU, RAM und VRAM
  • Alles zu HuggingChat: Ein Interface für die Nutzung von Open-Source LLMs
  • Systemprompts im Prompt Engineering + Function Calling
  • Prompt Engineering Basics: Semantic Association, strukturierte & Rollen-Prompts
  • Groq: Open-Source LLMs mit schnellem LPU-Chip statt GPU nutzen
  • Vektordatenbanken, Embedding-Modelle & Retrieval-Augmented Generation (RAG)
  • Erstellen eines lokalen RAG-Chatbots mit Anything LLM & LM Studio
  • Verknüpfen von Ollama & Llama 3, und Nutzung von Function Calling mit Llama 3 & Anything LLM
  • Function Calling zur Datenzusammenfassung, Speicherung und Diagrammerstellung mit Python
  • Nutzung weiterer Funktionen von Anything LLM und externe APIs.
  • Tipps für bessere RAG-Apps mit Firecrawl für Webseiten-Daten, effizienteres RAG mit LlamaIndex & LlamaParse für PDFs und CSVs.
  • Definition und verfügbare Tools für KI-Agenten, Installation und Nutzung von Flowise lokal mit Node (einfacher als Langchain und LangGraph).
  • Erstellung eines KI-Agenten, der Python-Code und Dokumentationen erstellt, sowie Nutzung von KI-Agenten mit Function Calling, Internetzugriff und drei Experten.
  • Hosting und Nutzung: Welchen KI-Agenten solltest du bauen und externes Hosting, Text-to-Speech (TTS) mit Google Colab.
  • Finetuning von Open-Source LLMs mit Google Colab (Alpaca + Llama-3 8b, Unsloth)
  • Mieten von GPUs bei Runpod oder Massed Compute.
  • Sicherheitsaspekte: Jailbreaks und Sicherheitsrisiken durch Angriffe auf LLMs mit Jailbreaks, Prompt Injections und Data Poisoning
  • Datenschutz und Sicherheit deiner Daten, sowie Richtlinien zur kommerziellen Nutzung und dem Verkauf generierter Inhalte.

Course content

9 sections72 lectures8h 11m total length
  • Willkommen0:19
  • Kurs Überblick7:51
  • Updates0:07
  • Mein Ziel und ein paar Tipps3:55
  • Erklärung zu den Links2:52
  • Wichtige Links0:38
  • Dozentenvorstellung: Arnold Oberleiter (Arnie)1:56

Requirements

  • Keine Vorkenntnisse nötig, alles wird Schritt für Schritt gezeigt
  • Es ist von Vorteil, einen PC mit einer guten Grafikkarte, 16 GB RAM und 6 GB VRAM zu haben (die Apple M Serie, Nvidia und AMD sind ideal), jedoch ist dies nicht zwingend erforderlich.

Description

ChatGPT ist gut und recht. Aber ist dir schon mal aufgefallen, dass es sehr viele Zensuren gibt, man in politische Richtungen gedrückt wird, teilweise harmlose Fragen nicht beantwortet werden und dass unsere Daten bei OpenAI eventuell nicht sicher sind?

Genau hier können Open-Source LLMs wie Llama3, Mistral, Grok, Falkon, Phi3 und Command R+ helfen!

Bist du bereit, die Feinheiten von Open-Source LLMs zu meistern und ihr volles Potenzial für verschiedene Anwendungen zu nutzen, von Datenanalyse bis zur Erstellung von Chatbots und KI-Agenten? Dann ist dieser Kurs für dich!

Einführung in Open-Source LLMs

Dieser Kurs bietet eine umfassende Einführung in die Welt der Open-Source LLMs. Du lernst die Unterschiede zwischen Open-Source und Closed-Source Modellen kennen und erfährst, warum Open-Source LLMs eine attraktive Alternative darstellen. Themen wie ChatGPT, Llama, und Mistral werden ausführlich behandelt. Außerdem wirst du lernen, welche LLMs es gibt und wie du die besten Modelle für deine Bedürfnisse auswählst. Ein besonderes Augenmerk liegt auf den Nachteilen von Closed-Source LLMs und den Vor- und Nachteilen von Open-Source LLMs wie Llama3 und Mistral.

Praktische Anwendung von Open-Source LLMs

Der Kurs zeigt dir den einfachsten Weg, Open-Source LLMs lokal auszuführen und was du dafür benötigst. Du erfährst alles über die Voraussetzungen, die Installation von LM Studio und alternative Methoden zum Betrieb von LLMs. Zudem wirst du lernen, wie du Open-Source-Modelle in LM Studio nutzt, den Unterschied zwischen zensierten und unzensierten LLMs verstehst und verschiedene Anwendungszwecke erkundest. Auch das Finetuning eines Open-Source-Modells mit Huggingface oder Google Colab sowie die Nutzung von Vision-Modellen zur Bilderkennung werden behandelt.

Prompt Engineering und Cloud-Einsatz

Ein wichtiger Teil des Kurses ist das Prompt Engineering für Open-Source LLMs. Du wirst lernen, wie du HuggingChat als Interface nutzt, Systemprompts im Prompt Engineering einsetzt und grundlegende sowie fortgeschrittene Techniken des Prompt Engineerings anwendest. Der Kurs bietet dir auch Einblicke in die Erstellung eigener Assistenten in HuggingChat und die Nutzung von Open-Source LLMs mit schnellen LPU-Chips statt GPUs.

Function Calling, RAG und Vektordatenbanken

Erfahre, was Function Calling bei LLMs ist und wie du Vektordatenbanken, Embedding-Modelle und Retrieval-Augmented Generation (RAG) implementierst. Der Kurs zeigt dir, wie du Anything LLM installierst, einen lokalen Server einrichtest und einen RAG-Chatbot mit Anything LLM und LM Studio erstellst. Du wirst auch lernen, Function Calling mit Llama 3 und Anything LLM durchzuführen und Daten zusammenzufassen, zu speichern und mit Python zu visualisieren.

Optimierung und KI-Agenten

Für die Optimierung deiner RAG-Apps erhältst du Tipps zur Datenvorbereitung und effizienten Nutzung von Tools wie LlamaIndex und LlamaParse. Darüber hinaus wirst du in die Welt der KI-Agenten eingeführt. Du lernst, was KI-Agenten sind, welche Tools zur Verfügung stehen und wie du Flowise lokal mit Node.js installierst und nutzt. Der Kurs bietet dir auch praktische Einblicke in die Erstellung eines KI-Agenten, der Python-Code und Dokumentationen erstellt, sowie die Nutzung von Function Calling und Internetzugriff.

Weitere Anwendungen und Tipps

Abschließend bietet der Kurs eine Einführung in Text-to-Speech (TTS) mit Google Colab und das Finetuning von Open-Source LLMs mit Google Colab. Du erfährst, wie du GPUs bei Anbietern wie Runpod oder Massed Compute mietest, wenn dein lokaler PC nicht ausreicht. Zudem lernst du innovative Werkzeuge wie Microsoft Autogen und CrewAI kennen und wie du LangChain für die Entwicklung von KI-Agenten nutzt.

Nutze die transformative Kraft der Open-Source LLM-Technologie, um innovative Lösungen zu entwickeln und dein Verständnis ihrer vielfältigen Anwendungen zu erweitern. Melde dich noch heute an und beginne deine Reise, ein Experte in der Welt der großen Sprachmodelle zu werden!

Who this course is for:

  • An alle, die etwas neues lernen wollen und tief in die Opensource LLMs einblicken wollen
  • An Unternehmer die effizienter werde wollen und Geld sparen möchten
  • Entwickler, Programmierer und Technik-Interessierte
  • Alle, die nicht die Restriktionen der Big-Tech-Unternehmen haben wollen und unzensierte KI verwenden möchten