Large Language Models (LLM) - RAG-Tuning und Evaluation

Für wen ist der Kurs geeignet?

In diesem Kurs lernen Sie, wie Sie die Qualität von LLM-Anwendungen mit Retrieval-Augmented Generation (RAG) gezielt verbessern und bewerten. Sie analysieren Retrieval-Metriken wie Recall, Precision oder nDCG und verstehen, wie Chunking, Embedding-Auswahl und Indexparameter die Systemleistung beeinflussen.

Der Fokus liegt auf praxisnahen Tuning-Strategien für semantische und hybride Suchsysteme, dem Einsatz von Re-Ranking-Modellen sowie der Kombination klassischer IR-Techniken mit modernen LLM-Ansätzen. Sie lernen automatisierte und manuelle Evaluationsmethoden kennen und erstellen aussagekräftige Benchmarks. Abschließend behandeln Sie Monitoring, Drift Detection, KPI-Tracking und Feedback-Loops zur kontinuierlichen Verbesserung von produktiven LLM-Systemen.

Angesprochener Teilnehmerkreis:
Entwickler, Data Scientists, MLOps-Teams, Produktverantwortliche und QA-Fachkräfte, die RAG-Systeme optimieren oder betreiben und deren Leistung zuverlässig bewerten möchten.

Kursziel:
Sie kennen Metriken, Methoden und Werkzeuge zur Evaluation von LLM-basierten Systemen und verbessern gezielt die Qualität und Zuverlässigkeit Ihrer RAG-Anwendungen.