Large Language Models (LLM) - RAG-Tuning und Evaluation
Kursdauer: 2 Tage
Das lernen Sie im Kurs
- RAG Systeme optimieren und Tuning Strategien anwenden
- Retrieval Metriken analysieren und Qualität bewerten
- Evaluation Methoden und Monitoring umsetzen
Termine & Preise
Zahlen, die Vertrauen schaffen - überzeugen Sie sich selbst.
Unsere Schulungsformen kurz erklärt
Offener Kurs
- 2 Tage
- ab 1.490,00 € zzgl. MwSt.
- An 32 Standorten oder online
Diesen Kurs als offenes Seminar buchen
Gemeinsam mit Teilnehmenden aus verschiedenen Unternehmen.
Als Präsenzseminar oder Live-Online-Training zu festen Terminen – ideal für den Erfahrungsaustausch und neue Impulse.
Firmenschulung
- 2 Tage - anpassbar
- Termin nach Wunsch
- Preis auf Angebot
- In ihrem Hause, online, bei PC-COLLEGE
Diesen Kurs als Firmenschulung anfragen
Exklusiv für mehrere Mitarbeitende Ihres Unternehmens.
Bei Ihnen, an einem PC-COLLEGE Standort oder als Live-Online-Training - Inhalte und Termine stimmen wir individuell ab.
Einzelcoaching
- 2 Tage - anpassbar
- Termin nach Wunsch
- Preis auf Angebot
- In ihrem Hause, online, bei PC-COLLEGE
Diesen Kurs als Einzelcoaching anfragen
Individuell für eine Person aus Ihrem Unternehmen.
Als Präsenztermin oder Live-Online-Training - Inhalte, Lerntempo und Termine richten sich nach Ihren persönlichen Anforderungen.
Large Language Models (LLM) - RAG-Tuning und Evaluation
Kurs-ID: LMEWas erwartet Sie in diesem Kurs?
Dieser Kurs zeigt, wie Sie Retrieval-basierte LLM-Systeme optimieren und evaluieren. Sie lernen wichtige Metriken, Tuning-Strategien und automatisierte Evaluationsverfahren kennen und entwickeln praxisnah robuste, überprüfbare RAG-Pipelines für produktive Anwendungen.
Für wen ist der Kurs geeignet?
In diesem Kurs lernen Sie, wie Sie die Qualität von LLM-Anwendungen mit Retrieval-Augmented Generation (RAG) gezielt verbessern und bewerten. Sie analysieren Retrieval-Metriken wie Recall, Precision oder nDCG und verstehen, wie Chunking, Embedding-Auswahl und Indexparameter die Systemleistung beeinflussen.
Der Fokus liegt auf praxisnahen Tuning-Strategien für semantische und hybride Suchsysteme, dem Einsatz von Re-Ranking-Modellen sowie der Kombination klassischer IR-Techniken mit modernen LLM-Ansätzen. Sie lernen automatisierte und manuelle Evaluationsmethoden kennen und erstellen aussagekräftige Benchmarks. Abschließend behandeln Sie Monitoring, Drift Detection, KPI-Tracking und Feedback-Loops zur kontinuierlichen Verbesserung von produktiven LLM-Systemen.
Angesprochener Teilnehmerkreis:
Entwickler, Data Scientists, MLOps-Teams, Produktverantwortliche und QA-Fachkräfte, die RAG-Systeme optimieren oder betreiben und deren Leistung zuverlässig bewerten möchten.
Kursziel:
Sie kennen Metriken, Methoden und Werkzeuge zur Evaluation von LLM-basierten Systemen und verbessern gezielt die Qualität und Zuverlässigkeit Ihrer RAG-Anwendungen.
Kursvoraussetzungen
Grundkenntnisse in NLP oder Vektorsuche sowie erste Erfahrungen mit RAG, LangChain oder LLM-Entwicklung sind von Vorteil. Basiswissen in Python wird empfohlen.
Ist die Teilnahme vor Ort und online möglich?
Dieses Seminar können Sie als Präsenzseminar oder als Live-Online-Training (virtuelles Präsenzseminar) buchen. Schauen Sie sich die technischen Voraussetzungen für Live-Online-Schulungen an. Sie können Ihre Auswahl bei der Anmeldung treffen.
Welche Themen werden im Seminar behandelt?
- Grundlagen von Retrieval-Qualität
- Metriken: Recall, Precision, nDCG
- Warum klassisches IR- und LLM-Tuning zusammengehören
- Tuning-Strategien
- Chunking-Varianten (Overlaps, Semantik-basiert)
- Embedding-Modelle vergleichen
- Index-Parameter optimieren (z. B. k, Abstandsmessung)
- Re-Ranking & Hybrid Search
- Lexikalische + semantische Suche kombinieren
- Einsatz von Cross-Encodern
- Trade-offs zwischen Qualität und Kosten
- Evaluationstechniken
- Human-in-the-loop Verfahren
- Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
- Benchmark-Sets aufbauen
- Qualitätssicherung im Betrieb
- Bias-Checks, Halluzinationsanalyse
- Drift Detection bei Embeddings
- Canary-Tests für neue Pipelines
- Monitoring & Reporting
- KPI-Tracking: Retrieval-Präzision, Factuality
- Dashboards für Stakeholder
- Feedback Loops und kontinuierliche Verbesserung
Ihre Vorteile
- Nachbetreuung
Auch nach dem Seminar sind wir für Sie da. Vier Wochen nach jedem Training stehen wir Ihnen kostenfrei für programmspezifische Fragen zur Verfügung. Wir möchten Sie auch nach der Schulung bei der sicheren Anwendung des Erlernten unterstützen. - Bildungsanbieterauszeichnung
Auch 2026 wurde PC-COLLEGE im International Training Center Rating® (ITCR) der PerformNet AG erneut mit der Höchstbewertung von fünf Sternen ausgezeichnet. Besonders hervorgehoben wurden unsere hohe Kundenorientierung und dauerhaft exzellente Qualitätsstandards. Übersicht "PC-COLLEGE-Auszeichnungen" - Autorisierter Trainingspartner
PC-COLLEGE ist autorisierter Trainingspartner zahlreicher führender Softwarehersteller und Technologieanbieter, darunter Google, Autodesk, cobra, Corel und weitere.