Large Language Models (LLM) - RAG-Tuning und Evaluation

• Was erwartet Sie in diesem Kurs?

  Dieser Kurs zeigt, wie Sie Retrieval-basierte LLM-Systeme optimieren und evaluieren. Sie lernen wichtige Metriken, Tuning-Strategien und automatisierte Evaluationsverfahren kennen und entwickeln praxisnah robuste, überprüfbare RAG-Pipelines für produktive Anwendungen.

Anmeldung

• Für wen ist der Kurs geeignet? (Kurs-ID: LME)

  In diesem Kurs lernen Sie, wie Sie die Qualität von LLM-Anwendungen mit Retrieval-Augmented Generation (RAG) gezielt verbessern und bewerten. Sie analysieren Retrieval-Metriken wie Recall, Precision oder nDCG und verstehen, wie Chunking, Embedding-Auswahl und Indexparameter die Systemleistung beeinflussen.

  Der Fokus liegt auf praxisnahen Tuning-Strategien für semantische und hybride Suchsysteme, dem Einsatz von Re-Ranking-Modellen sowie der Kombination klassischer IR-Techniken mit modernen LLM-Ansätzen. Sie lernen automatisierte und manuelle Evaluationsmethoden kennen und erstellen aussagekräftige Benchmarks. Abschließend behandeln Sie Monitoring, Drift Detection, KPI-Tracking und Feedback-Loops zur kontinuierlichen Verbesserung von produktiven LLM-Systemen.

  Angesprochener Teilnehmerkreis:
  Entwickler, Data Scientists, MLOps-Teams, Produktverantwortliche und QA-Fachkräfte, die RAG-Systeme optimieren oder betreiben und deren Leistung zuverlässig bewerten möchten.

  Kursziel:
  Sie kennen Metriken, Methoden und Werkzeuge zur Evaluation von LLM-basierten Systemen und verbessern gezielt die Qualität und Zuverlässigkeit Ihrer RAG-Anwendungen.

• Welche Themen werden im Seminar behandelt?

  • Grundlagen von Retrieval-Qualität
    • Metriken: Recall, Precision, nDCG
    • Warum klassisches IR- und LLM-Tuning zusammengehören
  • Tuning-Strategien
    • Chunking-Varianten (Overlaps, Semantik-basiert)
    • Embedding-Modelle vergleichen
    • Index-Parameter optimieren (z. B. k, Abstandsmessung)
  • Re-Ranking & Hybrid Search
    • Lexikalische + semantische Suche kombinieren
    • Einsatz von Cross-Encodern
    • Trade-offs zwischen Qualität und Kosten
  • Evaluationstechniken
    • Human-in-the-loop Verfahren
    • Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
    • Benchmark-Sets aufbauen
  • Qualitätssicherung im Betrieb
    • Bias-Checks, Halluzinationsanalyse
    • Drift Detection bei Embeddings
    • Canary-Tests für neue Pipelines
  • Monitoring & Reporting
    • KPI-Tracking: Retrieval-Präzision, Factuality
    • Dashboards für Stakeholder
    • Feedback Loops und kontinuierliche Verbesserung

• Welche Vorkenntnisse benötigen Sie für den Kurs?

  Grundkenntnisse in NLP oder Vektorsuche sowie erste Erfahrungen mit RAG, LangChain oder LLM-Entwicklung sind von Vorteil. Basiswissen in Python wird empfohlen.

• Ist die Teilnahme vor Ort und online möglich?

  Dieses Seminar können Sie als Präsenzseminar oder als Live-Online-Training (virtuelles Präsenzseminar) buchen. Schauen Sie sich die technischen Voraussetzungen für Live-Online-Schulungen an. Sie können Ihre Auswahl bei der Anmeldung treffen.

• Terminübersicht

  KursNr.	Kurs	Termin	Dauer	Standorte
  LME 251117	Large Language Models (LLM) - RAG-Tuning und Evaluation	17.11. - 18.11.2025	2 Tage	Hamburg
  LME 251120	Large Language Models (LLM) - RAG-Tuning und Evaluation	20.11. - 21.11.2025	2 Tage	Standort wählenBerlinBremenDortmundDresdenDüsseldorfErfurtEssenFrankfurtHannoverJenaKasselKoblenzKölnKrefeldLeipzigMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 251120	Large Language Models (LLM) - RAG-Tuning und Evaluation	20.11. - 21.11.2025	2 Tage	Live-Online-Training
  LME 251125	Large Language Models (LLM) - RAG-Tuning und Evaluation	25.11. - 26.11.2025	2 Tage	Live-Online-Training
  LME 251215	Large Language Models (LLM) - RAG-Tuning und Evaluation	15.12. - 16.12.2025	2 Tage	Standort wählenBerlinBremenDortmundDresdenDüsseldorfErfurtEssenFrankfurtHamburgHannoverJenaKasselKoblenzKölnKrefeldLeipzigMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 251215	Large Language Models (LLM) - RAG-Tuning und Evaluation	15.12. - 16.12.2025	2 Tage	Live-Online-Training
  LME 260112	Large Language Models (LLM) - RAG-Tuning und Evaluation	12.01. - 13.01.2026	2 Tage	Standort wählenBerlinBremenDortmundDresdenDüsseldorfErfurtEssenFrankfurtHamburgHannoverJenaKasselKoblenzKölnKrefeldLeipzigMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 260112	Large Language Models (LLM) - RAG-Tuning und Evaluation	12.01. - 13.01.2026	2 Tage	Live-Online-Training
  LME 260212	Large Language Models (LLM) - RAG-Tuning und Evaluation	12.02. - 13.02.2026	2 Tage	Standort wählenBerlinBremenDortmundDresdenDüsseldorfErfurtEssenFrankfurtHamburgHannoverJenaKasselKoblenzKölnKrefeldLeipzigMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 260212	Large Language Models (LLM) - RAG-Tuning und Evaluation	12.02. - 13.02.2026	2 Tage	Live-Online-Training
  LME 260309	Large Language Models (LLM) - RAG-Tuning und Evaluation	09.03. - 10.03.2026	2 Tage	Standort wählenBerlinBremenDortmundDresdenDüsseldorfErfurtEssenFrankfurtHamburgHannoverJenaKasselKoblenzKölnKrefeldLeipzigMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 260309	Large Language Models (LLM) - RAG-Tuning und Evaluation	09.03. - 10.03.2026	2 Tage	Live-Online-Training
  LME 260409	Large Language Models (LLM) - RAG-Tuning und Evaluation	09.04. - 10.04.2026	2 Tage	Standort wählenBerlinBremenDortmundDresdenDüsseldorfErfurtEssenFrankfurtHamburgHannoverJenaKasselKoblenzKölnKrefeldLeipzigMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 260409	Large Language Models (LLM) - RAG-Tuning und Evaluation	09.04. - 10.04.2026	2 Tage	Live-Online-Training
  LME 260504	Large Language Models (LLM) - RAG-Tuning und Evaluation	04.05. - 05.05.2026	2 Tage	Standort wählenBerlinBremenDortmundDresdenDüsseldorfErfurtEssenFrankfurtHamburgHannoverJenaKasselKoblenzKölnKrefeldLeipzigMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 260504	Large Language Models (LLM) - RAG-Tuning und Evaluation	04.05. - 05.05.2026	2 Tage	Live-Online-Training
  LME 260601	Large Language Models (LLM) - RAG-Tuning und Evaluation	01.06. - 02.06.2026	2 Tage	Standort wählenDortmundDüsseldorfEssenFrankfurtKasselKoblenzKölnKrefeldMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 260604	Large Language Models (LLM) - RAG-Tuning und Evaluation	04.06. - 05.06.2026	2 Tage	Standort wählenBerlinBremenDresdenErfurtHamburgHannoverJenaLeipzig
  LME 260604	Large Language Models (LLM) - RAG-Tuning und Evaluation	04.06. - 05.06.2026	2 Tage	Live-Online-Training
  LME 260629	Large Language Models (LLM) - RAG-Tuning und Evaluation	29.06. - 30.06.2026	2 Tage	Standort wählenBerlinBremenDortmundDresdenDüsseldorfErfurtEssenFrankfurtHamburgHannoverJenaKasselKoblenzKölnKrefeldLeipzigMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 260629	Large Language Models (LLM) - RAG-Tuning und Evaluation	29.06. - 30.06.2026	2 Tage	Live-Online-Training
  LME 260730	Large Language Models (LLM) - RAG-Tuning und Evaluation	30.07. - 31.07.2026	2 Tage	Standort wählenBerlinBremenDortmundDresdenDüsseldorfErfurtEssenFrankfurtHamburgHannoverJenaKasselKoblenzKölnKrefeldLeipzigMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 260730	Large Language Models (LLM) - RAG-Tuning und Evaluation	30.07. - 31.07.2026	2 Tage	Live-Online-Training
  LME 260824	Large Language Models (LLM) - RAG-Tuning und Evaluation	24.08. - 25.08.2026	2 Tage	Standort wählenBerlinBremenDortmundDresdenDüsseldorfErfurtEssenFrankfurtHamburgHannoverJenaKasselKoblenzKölnKrefeldLeipzigMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 260824	Large Language Models (LLM) - RAG-Tuning und Evaluation	24.08. - 25.08.2026	2 Tage	Live-Online-Training
  LME 260924	Large Language Models (LLM) - RAG-Tuning und Evaluation	24.09. - 25.09.2026	2 Tage	Standort wählenBerlinBremenDortmundDresdenDüsseldorfErfurtEssenFrankfurtHamburgHannoverJenaKasselKoblenzKölnKrefeldLeipzigMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 260924	Large Language Models (LLM) - RAG-Tuning und Evaluation	24.09. - 25.09.2026	2 Tage	Live-Online-Training
  LME 261019	Large Language Models (LLM) - RAG-Tuning und Evaluation	19.10. - 20.10.2026	2 Tage	Standort wählenBerlinBremenDortmundDresdenDüsseldorfErfurtEssenFrankfurtHamburgHannoverJenaKasselKoblenzKölnKrefeldLeipzigMünchenMünsterNürnbergPaderbornRegensburgSaarbrückenSiegenStuttgartWienBaselBernZürich
  LME 261019	Large Language Models (LLM) - RAG-Tuning und Evaluation	19.10. - 20.10.2026	2 Tage	Live-Online-Training

• Seminarübersichten

  • Nach Schlagworten
  • Nach Herstellern
  • Nach Kategorien

Welche weiteren Schulungen könnten Sie interessieren?

• Large Language Models (LLM) - No/Low-Code Automatisierungen
• LLMOps - Sprachmodelle produktiv einsetzen
• LLM-Entwicklung und Deployment - Kompaktkurs
• LangChain und LangGraph - Professionelle LLM-Workflows
• Python - Grundkurs für Programmieranfänger