LLM als Richter: wie (nicht) die Qualitätsbewertung automatisieren

Wenn ein Team uns fragt, wie man überprüfen kann, ob ihr KI-Assistent nach jedem Prompt-Rebuild bessere Antworten liefert, lautet der häufigste Vorschlag: „Lass GPT-4 bewerten.“ Das ist intuitiv sinnvoll. Das Problem entsteht, wenn der Richter unabhängig von der Relevanz längere Antworten bevorzugt oder wenn dieselbe Rubrik mit einer anderen Formulierung Ergebnisse liefert, die um 20 Prozentpunkte voneinander abweichen. Bei Cashcrown testen wir LLM-as-a-judge in jedem neuen Projekt und sehen dieselben Fehlermuster, unabhängig davon, welches Modell als Richter dient. Im Folgenden beschreiben wir, was tatsächlich funktioniert und was versagt.

Das Prinzip ist einfach: Statt einen Menschen zu bitten, hundert Antworten eines Modells zu bewerten, schreibst du einen Prompt mit einer Rubrik (Treue, Prägnanz, faktische Richtigkeit) und überlässt die Bewertung einem anderen Modell. Der Richter gibt eine Punktzahl oder ein Label zurück, die du zu einer Metrik aggregieren kannst.

Dieser Ansatz hat echte Vorteile. Die Bewertung von Hunderten von Antworten pro Tag durch Menschen ist teuer und langsam. Ein LLM-Richter arbeitet sofort, kostet einen Bruchteil davon und ist innerhalb einer Session konsistent: Wenn Antwort A laut Rubrik besser ist als B, bestätigt er das jedes Mal mit demselben Prompt. Das reicht aus, um Varianten eines Systems miteinander zu vergleichen. Genau dafür eignet sich LLM-as-a-judge am besten: für A/B-Tests von Prompt-Varianten, für Regressionstests nach Änderungen des Basismodells und für die tägliche Überwachung der Qualitätsentwicklung. Nicht jedoch für die Ausstellung eines Qualitätszertifikats für eine konkrete Antwort.

Forschungen zu LLM-as-a-judge (Meta/Stanford, 2023-2024) haben vier wiederkehrende Fehler dokumentiert. Jeder von ihnen verändert die Bewertung unabhängig von der tatsächlichen Qualität der Antwort.

Verbosity Bias (Bevorzugung von Länge). LLM-Richter neigen dazu, längere, ausführlichere Antworten höher zu bewerten, selbst wenn eine kürzere und präzisere Antwort objektiv besser ist. In der Praxis: Ein System, das „Fülltext“ statt einer treffenden Antwort generiert, erhält höhere Bewertungen. Milderung: Die Rubrik muss unnötige Weitschweifigkeit direkt bestrafen, oder der Richter bewertet das Antwort-Frage-Paar statt nur die Antwort.

Self-Preference (Bevorzugung eigener Ausgaben). Das als Richter eingesetzte Modell bevorzugt Antworten, die seinen eigenen Ausgaben ähneln. GPT-4 als Richter bewertet Ausgaben von GPT-4 höher als die anderer Modelle. Claude als Richter verhält sich analog. Milderung: Verwende einen Richter aus einer anderen Modellfamilie als das zu bewertende Modell oder überprüfe die Bewertungen durch kreuzweise paarweise Vergleiche.

Position Bias (Reihenfolgeeffekt). Wenn der Richter ein Paar (A, B) bewertet, tendiert er dazu, die zuerst oder zuletzt gesehene Antwort zu bevorzugen. Ein Experiment mit umgekehrter Reihenfolge auf demselben Datensatz liefert andere Ergebnisse. Milderung: Bewerte jedes Paar in beiden Reihenfolgen und bilde den Durchschnitt, oder verwende absolute Bewertungen pro Antwort statt paarweiser Vergleiche.

Prompt Sensitivity (Empfindlichkeit gegenüber Formulierung). Eine kleine Änderung der Rubrik, z. B. der Wechsel von „bewerte von 1 bis 10“ zu „bewerte von 1 bis 5“ oder das Hinzufügen des Wortes „kurz“ zur Anweisung, verändert die Verteilung der Bewertungen um 15-25 Prozentpunkte. Das bedeutet, dass Ergebnisse aus verschiedenen Versionen der Rubrik nicht vergleichbar sind. Milderung: Versioniere den Prompt des Richters wie Code und vergleiche niemals Ergebnisse aus verschiedenen Versionen ohne Rekalibrierung.

Kalibrierung anhand menschlicher Labels ist der einzige harte Anker. Bevor du den Richter einsetzt, sammle 100-200 Frage-Antwort-Paare mit manueller Bewertung durch Fachexperten. Überprüfe dann die Pearson-Korrelation zwischen der Bewertung des Richters und der menschlichen Bewertung. Eine Korrelation unter 0,70 bedeutet, dass der Richter etwas anderes misst als beabsichtigt. Passe die Rubrik an oder wechsle den Richter.

Paarweise Vergleiche (pairwise) sind zuverlässiger als absolute Bewertungen. Statt zu fragen „bewerte diese Antwort von 1 bis 10“, fragst du „welche dieser beiden Antworten erfüllt die folgenden Kriterien besser“. Pairwise ist weniger empfindlich gegenüber der Formulierung der Rubrik und liefert stabilere relative Rankings, sagt dir aber nicht, wie gut die Antwort in absoluten Werten ist.

Strukturierte Rubriken schlagen offene Fragen. Definiere statt „bewerte die Qualität dieser Antwort“ konkrete Dimensionen: den Fakten im Kontext treu (ja/nein), beantwortet die Frage (ja/nein), unnötig lang (ja/nein). Jede Dimension separat, jeweils mit Definition eines positiven und negativen Falls. Ein Richter, der durch structured output konfiguriert wird, erzwingt dieses Format und verhindert, dass die Bewertung in beliebigen Text abdriftet.

Ein Richter ist keine statische Komponente. Mit der Veränderung der Verteilung von Nutzeranfragen sinkt seine Konsistenz mit menschlichen Labels. Behandle die Rekalibrierung wie eine regelmäßige technische Wartung: Alle 4-6 Wochen ziehe eine Stichprobe von 50 zufälligen Bewertungen aus der Produktion, bewertete sie manuell und berechne die Korrelation neu. Fällt sie unter den Akzeptanzschwellenwert, passe die Rubrik an oder sammle eine neue Kalibrierungsstichprobe.

Halte einen konstanten Kontrolldatensatz mit manuellen Labels vor. Das sind 50-100 Paare, die du nicht anfasst und dem Richter nicht als Beispiele im Prompt zeigst. Sie dienen ausschließlich zur Messung von Drift. Wenn das Ergebnis auf dem Kontrolldatensatz sinkt, ist das ein Handlungssignal, kein Grund zur Ignoranz. Wie sich das in ein umfassenderes Observability-System des Assistenten einfügt, vertiefen wir im Artikel über Monitoring der Qualität eines KI-Agenten.

Logge die Begründungen des Richters zusammen mit den Bewertungen. Die textuelle Begründung ist der einzige Weg zu verstehen, was der Richter tatsächlich misst, wenn das Ergebnis überrascht. Ein paar Dutzend Begründungen, die einmal pro Woche gelesen werden, decken oft systematische Fehler schneller auf als die Korrelation selbst. Prüfe nebenbei, ob der Richter keine Halluzinationen in den Begründungen produziert, also ob er sich nicht auf etwas beruft, das nicht in der bewerteten Antwort stand.

LLM-as-a-judge ist ein Skalierungswerkzeug, kein Werkzeug für endgültige Urteile. Einige Grenzen, die wir nicht überschreiten:

Entscheidungen mit hoher Tragweite (Kündigung eines Mitarbeiters, Kreditablehnung, medizinische Diagnose, rechtliche Stellungnahme) erfordern eine manuelle Bewertung, unabhängig davon, wie gut der Richter ist. Guardrails im System sollten solche Fälle automatisch aus dem automatischen Pfad ausschließen und an einen Menschen weiterleiten. Wie diese Grenzen architektonisch gesetzt werden, beschreiben wir im Artikel über Validierung von LLM-Ausgaben.

Neue Domänen ohne Kalibrierungsdaten. Wenn du keinen Satz menschlicher Labels für eine neue Inhaltskategorie hast, weißt du nicht, ob der Richter das misst, was du beabsichtigst. Der Einsatz eines Richters ohne Kalibrierung bedeutet, einen unbekannten systematischen Fehler zu akzeptieren.

Bewertung des Richters selbst. Ein LLM-Richter sollte keine Varianten seines eigenen Prompts oder seiner eigenen Konfiguration bewerten. Das ist eine sich selbst erfüllende Schleife, die von der Variante gewonnen wird, die dem Richter stilistisch am nächsten steht – nicht von der tatsächlich besten.

Wie diese Grenzen in der Praxis einer ganzheitlichen Evaluation eines Assistenten aussehen, erläutern wir detailliert im Artikel über Evaluation eines KI-Agenten, Tests und Benchmarks.

LLM-as-a-judge ist eine Schicht in der Evaluations-Pipeline, nicht das Ganze. In den RAG-Systemen, die wir bauen, arbeitet es neben Retrieval-Metriken (Recall@k, MRR) und spezialisierter Faithfulness-Bewertung. Wie sich diese Schichten zusammenfügen, beschreiben wir im Artikel über Evaluation der Qualität von RAG-Antworten. Der LLM-Richter eignet sich besonders für die Bewertung von Dimensionen, die deterministische Metriken nicht abdecken: Tonfall, Stil, Vollständigkeit der Erklärung, Angemessenheit für den Geschäftskontext.

Die Ergebnisse des Richters behandeln wir als eines von mehreren Signalen, nicht als einziges. Wenn der Richter eine Antwort als schwach flaggt, aber Nutzer keine Eskalationen melden und der CSAT hoch ist, gewinnen die menschlichen Signale. Umgekehrt: Eine hohe Bewertung des Richters bei niedrigem CSAT bedeutet, dass der Richter die falsche Dimension misst. Dann kehren wir zur Rubrik zurück.

Nein. Es ersetzt manuelles Labeling im großen Maßstab bei Vergleichen von Varianten und der Überwachung von Trends. Für Entscheidungen mit hoher Tragweite, neue Domänen ohne Kalibrierung und Bewertungen mit rechtlichen oder ethischen Konsequenzen bleibt der Mensch unverzichtbar. Der automatische Richter ergänzt, ersetzt aber nicht die manuelle Überprüfung.

Es gibt keine pauschale Antwort, da es von der Domäne und den zu bewertenden Modellen abhängt. Die allgemeine Regel: Der Richter sollte aus einer anderen Modellfamilie stammen als das bewertete Modell, um Self-Preference zu vermeiden. Ein stärkeres Modell als Richter ist nicht immer besser, da die Empfindlichkeit gegenüber der Rubrik eine Architektureigenschaft ist, kein Größenmerkmal. Die Kalibrierung anhand menschlicher Labels ist wichtiger als die Wahl des Modells.

Aus unserer Praxis reicht eine Rekalibrierung alle 4-6 Wochen bei stabiler Anfrageverteilung. Bei der Einführung neuer Funktionen, Änderungen der Wissensbasis oder der Hinzufügung neuer Inhaltskategorien sollte die Rekalibrierung sofort erfolgen, bevor der Richter wieder in der Produktion eingesetzt wird.

Pairwise ist stabiler beim Vergleich zweier Systemvarianten und weniger empfindlich gegenüber der Formulierung der Rubrik. Absolute Bewertung ist notwendig, wenn du die absolute Qualität im Zeitverlauf messen (Trend über eine Woche) oder Antworten unterhalb eines Schwellenwerts unabhängig von Vergleichen flaggen möchtest. In der Praxis nutzen wir beides: Pairwise für A/B-Tests, absolute Bewertung für kontinuierliches Monitoring.

Das bedeutet, dass der Richter eine andere Dimension misst als der menschliche Experte. Das ist nicht immer ein Fehler des Richters: Es kann bedeuten, dass die Rubrik schlecht beschreibt, worauf es dem Team ankommt. Unter 0,70 setzen wir den Richter nicht in der Produktion ein. Zwischen 0,70 und 0,80 setzen wir ihn mit begrenztem Umfang und wöchentlicher Prüfung der Begründungen ein. Über 0,80 kann der Richter als Hauptqualitätssignal mit monatlicher Rekalibrierung arbeiten.