Data Loading & Preprocessing

In questa fase i dataset generati (= raccolte di cartelle con files di simulazione per ogni area) vengono caricati in memoria per il preprocessing e il successivo training del modello generativo. Nella cartella utils/ sono raccolti gli oggetti principali utilizzati per il preprocessing.

The DataPartitions Object

Sulla base del modello di Custom Dataloader di Keras sono stati create due classi per la generazione del dataset, una di queste è DataPartitions. Parametri di inizializzazione:

• past_frames: numero di frames del passato da considerare
• future_frames: numero di frames futuri da generare
• root: percorso root del dataset (contenente le cartelle per ogni area)
• partial: facoltativo, quantità parziale [0,1] di dataset da considerare (per test più brevi) Metodi dell'oggetti generato:
• get_areas(self): ritorna la lista dei nomi delle cartelle aree individuate
• get_partitions(self): genera una lista di tuple, ciascuna per area, della forma: (area, x,y), dove x è la lista di frames di partenza per ogni sequenza; y è un dizionario con le coppie id_di_partenza-lista_indici_frames_futuri. Esempio:

# L'area 0-0-0-0 contiene 40 frames (0-39), si consideri l'ottava sequenza 
che ha quindi i frames passati 7-13 (6) e i frames futuri 14-16 (4). L'oggetto
partizione è descritto come segue: 
[
...
   (
     'mini-0-0-0-0',
     [
       ...
       "id-7",
       ...
     ],
     [
       ...
       "id-7": [14, 15, 16, 16]
       ...
     ]
   )
...
]

• create_partitions(self): genera la lista di partizione descritte dal metodo precedente

The DataLoader Object

Classe per il caricamento in RAM del dataset organizzato