Gemessen, nicht behauptet.

Wie oft trifft der Pflegegeld-Prüfer die Referenzstufe aus dem Urteil?

Der Pflegegeld-Prüfer bereitet vor. Die Stufe legt die Behörde oder das Gericht fest. Lassen Sie sich vor einer Klage beraten.

Zahlen aus dem Eval-Lauf vom 26.09.2026

Stand der Messung

Rechnen mit feststehenden Angaben
22 von 22
Ziel 22: erreicht (Formular-Pfad, vorregistriert §4)
Mit den richtigen Stunden trifft das Programm die Stufe, ohne KI.
Mit einer Rückfrage
13 von 15
Ziel 13: erreicht (vorregistriert §2)
Stufe getroffen oder die entscheidende Frage gestellt.
Erfundene Beispielfälle
7 von 7
Ziel 6: erreicht (vorregistriert H1)
Die KI liest die Erzählung, das Programm rechnet.

Lag er daneben, dann zu niedrig: 3 von 4, keiner zu hoch. Einmal erkannte er einen Kinderfall nicht.

Anders erzählt: Keine von 35 Umformulierungen änderte die Stufe, bei 7 erfundenen Fällen. (nicht vorregistriert)

Erster Durchgang
10 von 14
Ziel 12: verfehlt, 95 %: 45–88 %
So oft traf der Pflegegeld-Prüfer die Referenzstufe, unsere Lesart des Urteils.
Wenige Fälle machen diesen Bereich breit.
Getroffen heißt: Die Mehrheit von 3 Läufen trifft die Stufe.
Hauptzahl: Fälle mit Stufe und Fälle außerhalb des Umfangs, X8 zählt getrennt. (Vorregistrierung §1)
Weitere Gerichtsfälle, schon gesehen (X16 bis X30)
5 von 15
95-%-Intervall: 15 bis 58 %.
Wir kennen diese Fälle schon, bessern an ihnen aber nichts mehr nach. Das Ergebnis zeigen wir auch, wenn es schlecht ist. (Holdout)
Ursprünglicher Bescheid
16 von 29
55 % richtig, über alle 29 Gerichtsfälle mit Bescheid (Bescheid-Baseline)

Mit Rückfragen je Thema: 14 von 14 (Obergrenze mit richtigen Antworten, nicht vorregistriert)

Der Code rechnet, die KI ordnet zu, Sie entscheiden.

Schritt	heute ohne Pflegegeld-Prüfer	mit Pflegegeld-Prüfer	wer entscheidet
RechnenStunden, Stufe, Euro, Frist	Angehörige oder Beratung, von Hand	Code rechnet, jede Zeile nachlesbar	Code
ZuordnenAlltag einer Verrichtung zuordnen	Ankreuz-Rechner, ohne Beleg	KI schlägt vor, mit wörtlichem Zitat	Sie: abwählen oder Rückfrage beantworten
EntscheidenKlage einreichen, Behörde anschreiben	oft ohne Grundlage	nie durch den Pflegegeld-Prüfer	Sie

Ein Durchgang, in dem das Programm alle Testfälle rechnet und wir das Ergebnis mit dem Urteil vergleichen. (Eval-Lauf)

pnpm sk eval --pfad text --split kalibrierung --runs 3 --route cli

Die Online-Demo liest eigenen Text mit einem günstigeren Modell, mehr unter Methodik.