Skip to content

STG-DE v0.4.0

Choose a tag to compare

@github-actions github-actions released this 12 Nov 17:09
65046bc

Neue Nummerierung der Releases

  • Die Releases heißen jetzt 0.1.0 (vorher 0.4.0), 0.2.0 (vorher 0.5.0) und 0.3.0 (vorher 0.6.0). Die Entwürfe vor dem öffentlichen Repository heißen 0.0.1 bis 0.0.3.
  • Die Historie des Repositorys ist umgeschrieben. Die Dateien der alten Stände nennen die neuen Nummern. Die Tags v0.1.0, v0.2.0 und v0.3.0 zeigen auf diese Stände.

Aufräumen

  • ROADMAP.md nennt nur noch offene Arbeit. Erledigte Arbeit steht in diesem Änderungsprotokoll.
  • Die Vale-Regeln in vale/ sind entfernt. Der Linter prüft dieselben Fälle.
  • Die Dateien des alten Korpus aus 0.1.0 sind entfernt, auch tools/corpus_validate.py.
  • Neue Namen ohne Version: corpus/fulltext-sources.yaml, corpus/fulltext-metrics.yaml, tools/build_corpus.py.
  • Die Werte von review_status im Wörterbuch haben keine Version mehr, zum Beispiel provisional.
  • Ein Test prüft die Daten von Wörterbuch und Regelindex gegen die JSON-Schemas in schemas/.
  • build_standalone.py --check prüft in der CI, dass STG-DE.md zu den Quelldateien passt.

Modalität von Empfehlungen (STG-2026-002)

  • STG-GR-5 bleibt eine Empfehlung. Der Text verwendet jetzt den Imperativ statt „dürfen nicht“.
  • STG-DE-4.5: Ein Validator muss ein Pronominaladverb mit ungeklärtem Bezug zur Prüfung melden. Vorher war diese Meldung eine Empfehlung.
  • Spezifikation Abschnitt 10: Veröffentlichte Regel-IDs müssen auch vor 1.0 stabil bleiben. Ein Satz mit „Wir empfehlen“ ist auch in einer Pflichtregel eine Empfehlung.
  • dictionary/README.md nennt jetzt dieselbe Reihenfolge der Auflösung wie dictionary/MORPHOLOGY.md: zuerst die Morphologie, danach die Sperrliste.
  • dictionary/DECISIONS.md nennt den Autorenkern bis Version 0.1.

Korpus: Branchen und Textsorten (Issue #18)

  • 15 neue öffentliche Quellen in corpus/v0.2-sources.yaml. Die neuen Domänen sind Embedded und IoT, funktionale Sicherheit, Produktsicherheit, Messtechnik, IIoT und Energietechnik, Finanzen, B2B-Software und Texte für Agenten. Eine neue Quelle ist ein zweites Medizinprodukt. Neue Textsorten sind Release Notes, Anleitungen für Firmware-Updates, Anforderungsspezifikationen, FAQ für Hersteller und Anweisungen für Agenten.
  • Das Korpus hat jetzt 359.075 Token aus 28 Quellen.
  • Jede Quelle hat jetzt die Felder text_type, organization, accessed_on und extraction_method.
  • Eine Obergrenze von 10.000 Token je Quelle gleicht die Kennzahlen aus (capped_tokens, capped_coverage). Die größte Quelle hat jetzt 9,4 % der begrenzten Token. Vorher hatte das Medizinhandbuch 59 % aller Token.
  • Neue Holdout-Partition mit 7 Quellen. Die 4 Quellen der Messung für Linter 0.3.0 sind jetzt in der Entwicklungspartition (previous_partition: holdout, Protokoll Abschnitt 9).
  • build_corpus_v02.py liest Textdateien auch in der Kodierung cp1252, meldet Kennzahlen je Textsorte und liest die Version aus pyproject.toml.

Evaluation und Beispiele

  • 7 neue Fälle in evals/cases.yaml. Die Fälle sind eine Anforderung nach dem Muster EARS, eine Sicherheitsanforderung mit SIL, Release Notes, eine Meldung einer Schwachstelle und eine Prüfanweisung. Dazu kommen eine Anleitung für ein Firmware-Update und ein Audit.
  • Vier Beispiel-Glossare in examples/glossaries/: Embedded und IoT, funktionale Sicherheit, Produktsicherheit, Medizinprodukte.

Werkzeug für die Präzisionsmessung (Issue #19)

  • Fehler korrigiert: Die Stichprobe der Sätze ohne Befund konnte Sätze mit einem gemeldeten Wort enthalten. Der Linter meldet ein Wort aus der Sperrliste nur einmal je Dokument. Das Werkzeug prüft jetzt jeden Satz der Stichprobe einzeln.
  • Die Bewertungsdatei enthält jetzt die Quellen mit Hash und die Version des Linters. score verwendet diese Quellen.
  • Neue Bewertung skip: Ein Eintrag zählt dann nicht in den Kennzahlen.
  • Neue Optionen --sources und --prefill für sample.

Präzision auf dem Holdout (Issue #3)

  • Neues Werkzeug tools/holdout_precision.py: Stichprobe von Befunden auf dem Holdout, Bewertung und Kennzahlen. Fremder Text bleibt außerhalb des Repositorys.
  • Erste Messung für Linter 0.3.0 in corpus/HOLDOUT-PRECISION.md und corpus/holdout-precision.yaml: 92,9 % Präzision ohne Extraktionsfehler, 57 % der Befunde sind Extraktionsfehler. Ein Modell hat bewertet, ein Mensch hat die Bewertung noch nicht geprüft.

Linter

  • Befunde zu STG-1.1 nennen jetzt den ersten Satz mit dem Wort und die Zahl der Sätze mit dem Wort (occurrences).
  • •, ‣, ◦, ▪, ▸, → und – am Zeilenanfang gelten als Listenpunkte.
  • Abkürzungen wie bzw., z. B., ca., Nr. 5, Abb. 3 und Datumsangaben wie 31. Dezember beenden keinen Satz mehr. Linter und Analysewerkzeug verwenden dieselbe Satztrennung aus stg_markdown.py.
  • Der Linter wertet das Feld surface_forms der Sperrliste aus. 20 gesperrte Adjektive haben gebeugte Formen erhalten, zum Beispiel aktuellen und einfache.

Ergebnisse der Evaluation

  • Erste veröffentlichte Ergebnisse in evals/results/2026-11-12.md: Claude Code und Codex, jeweils mit Skill und ohne Skill. Mit Skill bestehen 94,8 % und 97,4 % der Prüfungen, ohne Skill 81,7 % und 82,6 %.
  • run_evals.py startet die CLI jetzt in einem leeren temporären Verzeichnis (--workdir). Der Agent liest dann nicht die Regeln des Repositorys.
  • Skill: Konformer Text bleibt in WRITE und REWRITE ohne Kommentar. Ein allgemeiner Vorschlag für mehr Genauigkeit ergibt im AUDIT kein PASS WITH REVIEW.

Zweite Messung der Präzision

  • Messung des Linters nach 0.3.0 auf den 7 neuen Holdout-Quellen: 79,8 % Präzision ohne Extraktionsfehler, 197 Befunde.
  • Zwei Modelle von zwei Anbietern bewerten jeden Befund unabhängig. Die Modelle hatten bei 93 % der Einträge dasselbe Label.
  • Die Prüfung STG-8.1 meldet Semikolons in Listen von Namen und Normen. 10 von 12 dieser Befunde sind falsch. Die Korrektur steht in ROADMAP.md.

Ordnung und Konsistenz

  • validate_release.py prüft die Zahl der Quellen gegen die Daten des Korpus statt gegen eine feste Zahl.
  • AGENTS.md enthält jetzt die einzige Liste der Prüfungen vor einem Commit. CONTRIBUTING.md und README.md verweisen auf diese Liste.
  • VERSIONING.md legt fest: schema_version ist die Version des Dateiformats. profiles/profiles.yaml hat jetzt schema_version 0.2.
  • Veraltete Titel mit „v0.1“ und englische Überschriften sind korrigiert. validator-contract.md beschreibt jetzt die echten Statuswerte und Schweregrade des Linters.
  • quality/RULE-COVERAGE.md stimmt jetzt mit quality/rule-coverage.yaml überein (19 implementierte Regeln).
  • Der Vorschlag STG-2026-001 hat den Dateinamen STG-2026-001-form-of-address.md.
  • CI prüft jetzt auch CHANGELOG.md mit dem Linter.

Verpackung

  • pyproject.toml verwendet die Lizenzangabe nach PEP 639.