Skip to content

[MITTEL] Stiller Konzeptverlust via <!--END--> ohne Retry — traf Kernkonzepte in 3 von 6 Läufen #280

Description

@TillQuandel

Prio: MITTEL

Befund: Wenn der Extractor entscheidet, dass ein zugewiesenes Konzept im Textfenster nicht ausreichend belegt ist, antwortet er (prompt-konform) nur mit <!--END-->. Diese None-Rückgabe wird ohne jeden Retry als dropped/empty_extraction verbucht — im Gegensatz zum vorhandenen Retry-Mechanismus für abgeschnittene (truncated) Bodies. Wurzel-These (bestätigt in Lauf 6b, wo Sonnet 5 einen erklärenden Kommentar statt stummem <!--END--> lieferte): Die Planner-Konzept-zu-Chunk-Zuordnung weist Konzepten teils Textfenster zu, die die eigentlichen Belegstellen nicht enthalten — kein Modellfehler, sondern ein Zuordnungsproblem vorgelagert im Funnel.

Beleg:

  • Lauf 2 (Deci & Ryan): 3/11 Konzepte stumm weggefallen, darunter „Amotivation" — ein [high]-priorisiertes SDT-Kernkonzept, das im PDF sicher vorkommt und in keiner der 5 finalen Notes abgedeckt ist.
  • Lauf 3 (Schüller): 1/6 Konzepte betroffen („Kompetenzniveaus am Beispiel Datenanalyse", [medium]).
  • Lauf 6b (Jockisch, Sonnet 5): 2/4 Konzepte betroffen (TTFM: reines <!--END-->; „TAM-Anwendungsbeispiel Vertrieb": erklärender Meta-Kommentar statt Notiz — liefert die Wurzel-These).
  • Lauf 4 (Gäde): Variante ohne Datenverlust — extractor-empty trat im Refine statt der Erstextraktion auf, Fallback auf Vor-Refine-Draft griff (nur fehlende Log-Bestätigungszeile).
  • Code: generative/agents/extractor.py:138 (Prompt-Instruktion „stummes Weglassen"), generative/agents/extractor.py:408-424 (Rückgabe None ohne Retry), generative/agents/extractor.py:428-450 (vorhandener Retry-Mechanismus für Truncation, zum Vergleich).

Wirkung: Planner-priorisierte Kernkonzepte können ohne jedes Warnsignal aus dem Endprodukt verschwinden — in Lauf 2 explizit ein „high"-Kernkonzept der Quelltheorie.

Fix-Richtung: (a) Retry-Pfad auch für den <!--END-->-Fall einführen, ggf. mit erweitertem/neu geranktem Textfenster. (b) Root Cause in der Planner-Konzept-zu-Chunk-Zuordnung untersuchen (concept_text_window()), damit Konzepte seltener Textfenster ohne ihre Belegstellen zugewiesen bekommen.

Quelle: Testlauf-Serie 2026-07-14; Details im OneDrive-Serienordner.

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions