Large Language Models (LLM) - RAG-Tuning und Evaluation
Kursdauer: 2 Tage
Das lernen Sie im Kurs
- RAG Systeme optimieren und Tuning Strategien anwenden
- Retrieval Metriken analysieren und Qualität bewerten
- Evaluation Methoden und Monitoring umsetzen
Termine & Preise
Zahlen, die Vertrauen schaffen - überzeugen Sie sich selbst.
Unsere Schulungsformen kurz erklärt
Offener Kurs
- 2 Tage
- ab 1.490,00 € zzgl. MwSt.
- An 32 Standorten oder online
Diesen Kurs als offenes Seminar buchen
Gemeinsam mit Teilnehmenden aus verschiedenen Unternehmen.
Als Präsenzseminar oder Live-Online-Training zu festen Terminen – ideal für den Erfahrungsaustausch und neue Impulse.
Firmenschulung
- 2 Tage - anpassbar
- Termin nach Wunsch
- Preis auf Angebot
- In ihrem Hause, online, bei PC-COLLEGE
Diesen Kurs als Firmenschulung anfragen
Exklusiv für mehrere Mitarbeitende Ihres Unternehmens.
Bei Ihnen, an einem PC-COLLEGE Standort oder als Live-Online-Training - Inhalte und Termine stimmen wir individuell ab.
Einzelcoaching
- 2 Tage - anpassbar
- Termin nach Wunsch
- Preis auf Angebot
- In ihrem Hause, online, bei PC-COLLEGE
Diesen Kurs als Einzelcoaching anfragen
Individuell für eine Person aus Ihrem Unternehmen.
Als Präsenztermin oder Live-Online-Training - Inhalte, Lerntempo und Termine richten sich nach Ihren persönlichen Anforderungen.
Large Language Models (LLM) - RAG-Tuning und Evaluation
Kurs-ID: LMEWas erwartet Sie in diesem Kurs?
Dieser Kurs zeigt, wie Sie Retrieval-basierte LLM-Systeme optimieren und evaluieren. Sie lernen wichtige Metriken, Tuning-Strategien und automatisierte Evaluationsverfahren kennen und entwickeln praxisnah robuste, überprüfbare RAG-Pipelines für produktive Anwendungen.
Für wen ist der Kurs geeignet?
In diesem Kurs lernen Sie, wie Sie die Qualität von LLM-Anwendungen mit Retrieval-Augmented Generation (RAG) gezielt verbessern und bewerten. Sie analysieren Retrieval-Metriken wie Recall, Precision oder nDCG und verstehen, wie Chunking, Embedding-Auswahl und Indexparameter die Systemleistung beeinflussen.
Der Fokus liegt auf praxisnahen Tuning-Strategien für semantische und hybride Suchsysteme, dem Einsatz von Re-Ranking-Modellen sowie der Kombination klassischer IR-Techniken mit modernen LLM-Ansätzen. Sie lernen automatisierte und manuelle Evaluationsmethoden kennen und erstellen aussagekräftige Benchmarks. Abschließend behandeln Sie Monitoring, Drift Detection, KPI-Tracking und Feedback-Loops zur kontinuierlichen Verbesserung von produktiven LLM-Systemen.
Angesprochener Teilnehmerkreis:
Entwickler, Data Scientists, MLOps-Teams, Produktverantwortliche und QA-Fachkräfte, die RAG-Systeme optimieren oder betreiben und deren Leistung zuverlässig bewerten möchten.
Kursziel:
Sie kennen Metriken, Methoden und Werkzeuge zur Evaluation von LLM-basierten Systemen und verbessern gezielt die Qualität und Zuverlässigkeit Ihrer RAG-Anwendungen.
Kursvoraussetzungen
Grundkenntnisse in NLP oder Vektorsuche sowie erste Erfahrungen mit RAG, LangChain oder LLM-Entwicklung sind von Vorteil. Basiswissen in Python wird empfohlen.
Ist die Teilnahme vor Ort und online möglich?
Dieses Seminar können Sie als Präsenzseminar oder als Live-Online-Training (virtuelles Präsenzseminar) buchen. Schauen Sie sich die technischen Voraussetzungen für Live-Online-Schulungen an. Sie können Ihre Auswahl bei der Anmeldung treffen.
Welche Themen werden im Seminar behandelt?
- Grundlagen von Retrieval-Qualität
- Metriken: Recall, Precision, nDCG
- Warum klassisches IR- und LLM-Tuning zusammengehören
- Tuning-Strategien
- Chunking-Varianten (Overlaps, Semantik-basiert)
- Embedding-Modelle vergleichen
- Index-Parameter optimieren (z. B. k, Abstandsmessung)
- Re-Ranking & Hybrid Search
- Lexikalische + semantische Suche kombinieren
- Einsatz von Cross-Encodern
- Trade-offs zwischen Qualität und Kosten
- Evaluationstechniken
- Human-in-the-loop Verfahren
- Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
- Benchmark-Sets aufbauen
- Qualitätssicherung im Betrieb
- Bias-Checks, Halluzinationsanalyse
- Drift Detection bei Embeddings
- Canary-Tests für neue Pipelines
- Monitoring & Reporting
- KPI-Tracking: Retrieval-Präzision, Factuality
- Dashboards für Stakeholder
- Feedback Loops und kontinuierliche Verbesserung
Ihre Vorteile
- Qualitätsgarantie
Wir möchten Sie mit unseren Kursen begeistern. Sollten Sie mit einer PC-COLLEGE- Schulung nicht zufrieden sein und uns dies innerhalb von 14 Tagen schriftlich mitteilen, können Sie das Seminar selbstverständlich am selben Standort kostenfrei wiederholen. - Kundenauszeichnung
PC-COLLEGE begeistert mit "exzellenten Seminaren" – das bestätigen zahlreiche positive Bewertungen unserer Teilnehmenden auf dem unabhängigen Bewertungsportal eKomi. - Nachbetreuung
Auch nach dem Seminar sind wir für Sie da. Vier Wochen nach jedem Training stehen wir Ihnen kostenfrei für programmspezifische Fragen zur Verfügung. Wir möchten Sie auch nach der Schulung bei der sicheren Anwendung des Erlernten unterstützen.