1CijferHO v0.1.3 – Flexibelere pipeline, verbeterde UI en MinIO/Postgres ondersteuning
Configureerbare pipeline
De verwerkingspipeline is volledig configureerbaar gemaakt via OutputConfig:
- EV- en VAKHAVW-bestanden zijn nu afzonderlijk in/uit te schakelen als conversiestap
- Decoder configureerbaar: kies per kolom welke Dec-opzoekbestanden worden toegepast
- Verrijking configureerbaar: kies per variabele welke labels worden ingevuld
get_fwf_paramsenlist_fwf_tablestoegevoegd als publieke API voor pandasread_fwf()integratie
MinIO & Postgres ondersteuning (experimenteel)
De data-laag is ontkoppeld van de verwerkingslogica via een storage-decorator patroon:
- Lokale opslag, MinIO (S3-compatibel) en Postgres worden ondersteund als backend
- Docker-configuratie toegevoegd voor lokaal testen met MinIO en Postgres
- Interne functies gebruiken
@with_storage,@reads_fromen@writes_todecorators
UI verbeteringen
- Kolomselectie werkt nu via een modaal venster (dialog) in plaats van een aparte pagina — instellingen blijven correct bewaard
- run_config.json wordt na elke conversie opgeslagen met een volledige snapshot van alle instellingen, inclusief de gekozen decode-kolommen en verrijkvariabelen
- Verbeterde meldingen en taalgebruik voor niet-technische gebruikers
- Demo-modus instelling blijft nu correct bewaard bij paginanavigatie
Bugfixes
- Encoding-mismatch opgelost — utf-8 wordt nu consistent gebruikt door de hele pipeline
- Hardcoded DEMO-bestandsnaam verwijderd uit pipeline en extractor
- Dubbele logica voor kolomnormalisatie verwijderd
Refactoring & tests
Decoder, extractor en converter zijn opgesplitst in kleinere, testbare modules. De testdekking is uitgebreid met tests voor de nieuwe componenten.
Heb je feedback of wensen? Maak een issue aan: https://github.com/cedanl/1cijferho/issues
What's Changed
- fix(#94): hardcoded DEMO-bestandsnaam verwijderd uit pipeline en extractor by @Tomeriko96 in #109
- fix(#93): encoding-mismatch opgelost — utf-8 door de hele pipeline by @Tomeriko96 in #110
- refactor(#58,#63,#95): decoder en extractor opgesplitst, tests toegevoegd by @Tomeriko96 in #111
- refactor(#60): converter opgesplitst in helpers, tests toegevoegd by @Tomeriko96 in #112
- feat(#100): OutputConfig voor configureerbare pipeline-uitvoer by @Tomeriko96 in #113
- feat(#108): EV en VAKHAVW als aparte optionele pipeline-stappen by @Tomeriko96 in #114
- feat(#59): configureerbare decoder via OutputConfig by @Tomeriko96 in #115
- feat: get_fwf_params en list_fwf_tables voor pandas.read_fwf() integratie by @Tomeriko96 in #116
- Decorator io - scheiding van data input/output van backend + toevoegen van MinIO & PostGres + docker configuratie by @oinkspook in #118
- fix(#120): demo modus persist niet bij paginanavigatie by @Tomeriko96 in #123
- feat(#121): sla turbo convert instellingen op als run_config.json by @Tomeriko96 in #124
- UI verbeteringen en bugfixes (kolomselectie dialog, run_config, hidden files) by @Tomeriko96
Full Changelog: v0.1.2...v0.1.3