Skip to content

[MITTEL] Stiller Konzeptverlust via <!--END--> ohne Retry — traf Kernkonzepte in 3 von 6 Läufen #280

Description

@TillQuandel

Prio: MITTEL

Befund: Wenn der Extractor entscheidet, dass ein zugewiesenes Konzept im Textfenster nicht ausreichend belegt ist, antwortet er (prompt-konform) nur mit <!--END-->. Diese None-Rückgabe wird ohne jeden Retry als dropped/empty_extraction verbucht — im Gegensatz zum vorhandenen Retry-Mechanismus für abgeschnittene (truncated) Bodies. Wurzel-These (bestätigt in Lauf 6b, wo Sonnet 5 einen erklärenden Kommentar statt stummem <!--END--> lieferte): Die Planner-Konzept-zu-Chunk-Zuordnung weist Konzepten teils Textfenster zu, die die eigentlichen Belegstellen nicht enthalten — kein Modellfehler, sondern ein Zuordnungsproblem vorgelagert im Funnel.

Beleg:

  • Lauf 2 (Deci & Ryan): 3/11 Konzepte stumm weggefallen, darunter „Amotivation" — ein [high]-priorisiertes SDT-Kernkonzept, das im PDF sicher vorkommt und in keiner der 5 finalen Notes abgedeckt ist.
  • Lauf 3 (Schüller): 1/6 Konzepte betroffen („Kompetenzniveaus am Beispiel Datenanalyse", [medium]).
  • Lauf 6b (Jockisch, Sonnet 5): 2/4 Konzepte betroffen (TTFM: reines <!--END-->; „TAM-Anwendungsbeispiel Vertrieb": erklärender Meta-Kommentar statt Notiz — liefert die Wurzel-These).
  • Lauf 4 (Gäde): Variante ohne Datenverlust — extractor-empty trat im Refine statt der Erstextraktion auf, Fallback auf Vor-Refine-Draft griff (nur fehlende Log-Bestätigungszeile).
  • Code: generative/agents/extractor.py:138 (Prompt-Instruktion „stummes Weglassen"), generative/agents/extractor.py:408-424 (Rückgabe None ohne Retry), generative/agents/extractor.py:428-450 (vorhandener Retry-Mechanismus für Truncation, zum Vergleich).

Wirkung: Planner-priorisierte Kernkonzepte können ohne jedes Warnsignal aus dem Endprodukt verschwinden — in Lauf 2 explizit ein „high"-Kernkonzept der Quelltheorie.

Fix-Richtung: (a) Retry-Pfad auch für den <!--END-->-Fall einführen, ggf. mit erweitertem/neu geranktem Textfenster. (b) Root Cause in der Planner-Konzept-zu-Chunk-Zuordnung untersuchen (concept_text_window()), damit Konzepte seltener Textfenster ohne ihre Belegstellen zugewiesen bekommen.

Quelle: Testlauf-Serie 2026-07-14; Details im OneDrive-Serienordner.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions