Skip to content

fix: rispetta mode all ed explicit nel clean#21

Merged
Gabrymi93 merged 1 commit intomainfrom
fix/clean-multisource-selection
Mar 6, 2026
Merged

fix: rispetta mode all ed explicit nel clean#21
Gabrymi93 merged 1 commit intomainfrom
fix/clean-multisource-selection

Conversation

@Gabrymi93
Copy link
Copy Markdown
Member

Obiettivo

Closes #20
Correggere la selezione degli input RAW nel layer clean quando il dataset usa casi multi-source.

In alcuni casi, la presenza di primary_output_file nel manifest RAW finiva per scavalcare il comportamento richiesto da:

  • clean.read.mode: all
  • clean.read.mode: explicit

Problema

Il risultato era che il clean poteva leggere un solo file RAW anche quando il config chiedeva esplicitamente:

  • tutti i file candidati (all)
  • oppure una selezione esplicita via include / exclude (explicit)

Questo comportamento è emerso su un caso reale nel filone SIOPE in fase di test, ma il bug è generale e non dipende dal dataset.

Cosa cambia

Il fix mantiene il comportamento standard nel caso semplice, ma evita che primary_output_file scavalchi:

  • mode: all
  • mode: explicit

In pratica:

  • latest continua a usare la logica standard
  • largest continua a usare la logica standard
  • all legge tutti i file selezionati
  • explicit rispetta include / exclude

File toccati

  • toolkit/clean/input_selection.py
  • tests/test_clean_input_selection.py

Test

Eseguiti:

py -m pytest tests/test_clean_input_selection.py

@Gabrymi93 Gabrymi93 merged commit 8fe30f2 into main Mar 6, 2026
5 checks passed
@Gabrymi93 Gabrymi93 deleted the fix/clean-multisource-selection branch March 6, 2026 11:20
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

clean.read.mode=all|explicit viene scavalcato da primary_output_file nel RAW manifest

1 participant