Skip to content

Data Generation: HPC cluster & scripts

Diego Calanzone edited this page Jul 4, 2021 · 2 revisions

All'interno della cartella scripts sono presenti gli script bash per lanciare una simulazione completa.

Avvio: sbatch run

Attenzione: è necessario collocare gli scripts nella stessa cartella in cui sono presenti i file "swegpu" e tutti gli input per la simulazione specifica.

Requisiti di simulazione

Attualmente lo script richiede:

  • 16 GB di RAM
  • 1 nodo di calcolo x 1 GPU NVIDIA A100
  • Tempo di simulazione: 24h

Fase 1-2: simulazione e decode

Avviato lo script principale, sarà generata una cartella apposita per la simulazione corrente, "output_yyyy_mm_dd_hh_ii", contenente le seguenti sotto-cartelle:

  • simulation/: frames generati dal simulatore
  • decode/: frames codificati in formato ASCII
  • mini/: raccolta di frames di simulazione ritagliati per ogni sotto-area selezionata. Una sotto-area è identificata dalla cartella mini-xmin-xmax-ymin-ymax

Fase 3: cropping e organizzazione

In questa fase si assume che i frames generati dal simulatore (files .DEP/.VVX/.VVY/.WSE/.BTM) siano stati decodificati. Lo script conv-cut legge la matrice .MAWSE e comincia a scorrere la matrice con un filtro 256x256, verificando se la percentuale di celle bagnate oltre una certa soglia fissata è sufficiente (soglia attuale: 10%). Per ciascuna sottomatrice 256x256 sufficientemente "ricca di informazione" (celle bagnate), lo script memorizza le coordinate (xmin, xmax, ymin, ymax), quindi lo script bulk-but esegue il crop e organizza i frames di simulazione per ogni sotto-area.

Clone this wiki locally