Skip to content

1CijferHO v0.1.3 – Flexibelere pipeline, verbeterde UI en MinIO/Postgres ondersteuning

Choose a tag to compare

@Tomeriko96 Tomeriko96 released this 08 Apr 09:02
· 27 commits to main since this release

Configureerbare pipeline

De verwerkingspipeline is volledig configureerbaar gemaakt via OutputConfig:

  • EV- en VAKHAVW-bestanden zijn nu afzonderlijk in/uit te schakelen als conversiestap
  • Decoder configureerbaar: kies per kolom welke Dec-opzoekbestanden worden toegepast
  • Verrijking configureerbaar: kies per variabele welke labels worden ingevuld
  • get_fwf_params en list_fwf_tables toegevoegd als publieke API voor pandas read_fwf() integratie

MinIO & Postgres ondersteuning (experimenteel)

De data-laag is ontkoppeld van de verwerkingslogica via een storage-decorator patroon:

  • Lokale opslag, MinIO (S3-compatibel) en Postgres worden ondersteund als backend
  • Docker-configuratie toegevoegd voor lokaal testen met MinIO en Postgres
  • Interne functies gebruiken @with_storage, @reads_from en @writes_to decorators

UI verbeteringen

  • Kolomselectie werkt nu via een modaal venster (dialog) in plaats van een aparte pagina — instellingen blijven correct bewaard
  • run_config.json wordt na elke conversie opgeslagen met een volledige snapshot van alle instellingen, inclusief de gekozen decode-kolommen en verrijkvariabelen
  • Verbeterde meldingen en taalgebruik voor niet-technische gebruikers
  • Demo-modus instelling blijft nu correct bewaard bij paginanavigatie

Bugfixes

  • Encoding-mismatch opgelost — utf-8 wordt nu consistent gebruikt door de hele pipeline
  • Hardcoded DEMO-bestandsnaam verwijderd uit pipeline en extractor
  • Dubbele logica voor kolomnormalisatie verwijderd

Refactoring & tests

Decoder, extractor en converter zijn opgesplitst in kleinere, testbare modules. De testdekking is uitgebreid met tests voor de nieuwe componenten.


Heb je feedback of wensen? Maak een issue aan: https://github.com/cedanl/1cijferho/issues


What's Changed

  • fix(#94): hardcoded DEMO-bestandsnaam verwijderd uit pipeline en extractor by @Tomeriko96 in #109
  • fix(#93): encoding-mismatch opgelost — utf-8 door de hele pipeline by @Tomeriko96 in #110
  • refactor(#58,#63,#95): decoder en extractor opgesplitst, tests toegevoegd by @Tomeriko96 in #111
  • refactor(#60): converter opgesplitst in helpers, tests toegevoegd by @Tomeriko96 in #112
  • feat(#100): OutputConfig voor configureerbare pipeline-uitvoer by @Tomeriko96 in #113
  • feat(#108): EV en VAKHAVW als aparte optionele pipeline-stappen by @Tomeriko96 in #114
  • feat(#59): configureerbare decoder via OutputConfig by @Tomeriko96 in #115
  • feat: get_fwf_params en list_fwf_tables voor pandas.read_fwf() integratie by @Tomeriko96 in #116
  • Decorator io - scheiding van data input/output van backend + toevoegen van MinIO & PostGres + docker configuratie by @oinkspook in #118
  • fix(#120): demo modus persist niet bij paginanavigatie by @Tomeriko96 in #123
  • feat(#121): sla turbo convert instellingen op als run_config.json by @Tomeriko96 in #124
  • UI verbeteringen en bugfixes (kolomselectie dialog, run_config, hidden files) by @Tomeriko96

Full Changelog: v0.1.2...v0.1.3