Eval-Verifier: possible_retrieval_miss blaeht Halluzinationsrate auf — 5/6 FP-Anker handverifiziert (Hrastinski, v0.3.143)

[TillQuandel]

Befund aus der 5-Lauf-Serie 2026-07-12 (v0.3.143, Lauf 20260712-215118, Hrastinski 2008, Note „Synchronous E-Learning"):

Gemessene Halluzinationsrate 42,9 % (6/14 Anker) — aber per pdftotext-Gegenprobe stehen 5 der 6 als halluziniert markierten Claims nachweislich (nahezu) wörtlich im Quelltext. Der Eval-Verifier fand sie nicht: Bei 3 Claims dominierte durchgehend dieselbe generische Titel-Chunk (S. 51) die Cosine-Rangliste; das System flaggte selbst possible_retrieval_miss. Nur 1 Anker (idx 8) ist ein echter Fehler (Table-3-Attribution vertauscht, korrekt per audit_override als contradicted erkannt). Faktische Fehlerquote der Note: ~7 % statt 42,9 %.

Warum das mehr als ein Einzelfall sein könnte

• Historien-Vergleich derselben Note: 24.06. = 0,0 % bei gleicher Anker-Zahl → jetzt 42,9 %. Für das PDF insgesamt Aufwärtstrend seit v0.3.140→v0.3.143 — deutet auf verändertes Eval-/Retrieval-Verhalten der neuen Version, nicht auf schlechtere Generierung.
• Gleiches Muster in Lauf 20260712-205627 (Sühl-Strohmenger): Treiber-Note „Learning Library" 20 % mit not_in_context bei moderater Cosine (0,49–0,78) und possible_retrieval_miss-Flag.
• Konsequenz für KPIs: Die Dashboard-Fehlerquote (inkl. des neuen Wilson-CI aus Dashboard-Kennzahlen belastbar machen: Wilson-CI-Anzeige, Kosten/akzeptierte Note, Waisen-Banner, Delta-Semantik #196) misst dann teilweise Retrieval-Recall des Evals statt Faithfulness der Notes — genau die Verzerrung, vor der der Cluster-Caveat warnt, aber systematisch.

Fix-Richtung (zu verifizieren, keine Vorfestlegung)

1. Reproduzieren: betroffene Claims gegen _verify_evidence/Chunk-Ranking debuggen (dominiert die Titel-Chunk wegen Chunking-/Ranking-Änderung zwischen v0.3.140 und v0.3.143?).
2. possible_retrieval_miss-geflaggte Anker gesondert ausweisen (nicht stillschweigend als halluziniert zählen) ODER Retrieval-Fallback (z. B. Volltext-Fuzzy-Zweitprüfung wie im Verifier-Prepass) vor dem Halluzinations-Verdikt.
3. Kalibrierungs-Datenpunkt: die 6 Anker dieses Falls sind hand-verifiziert (5 FP / 1 TP) — als Testfall konservieren (Belege in Atomic notes notizen/2026-07-12 Lauf 5 Hrastinski-2008/LAUF-INFO.md).

Quellen: Lauf-Kontrolle 2026-07-12 (Sonnet-Subagent, pdftotext-Gegenprobe), note_evals/quality_history der genannten run_ids.