Questo repository è creato per condividere slide e codici affrontati durante il corso IFOA2021 su big data e analisi dati.
Il contenuto è reso disponibile e aperto, e copre argomenti che spaziano da aspetti generici riguardo ai big data, il trattamento di big data, e high performance computing.
Le slide descrivono i principali strumenti per il trattamento di big data, sistema di archiviazione basato su file system distribuito Hadoop, negoziatori delle risorse su cluster hadoop, YARN, spark, per raggiungere la principale fonte di utilizzo di big data, l'intelligenza artificiale nei suoi principi chiave.
- Lezione 1: Introduzione ai big data, hadoop e relativi strumenti software
- Lezione 2: Cenni su high performance computing, ssh, struttura di hadoop e file system distribuiti
- Lezione 3: YARN, negoziatore delle risorse, HDFS (hadoop distributed file system)
- Lezione 4: SPARK, introduzione a spark e principi base sul suo utilizzo
- Lezione 5: Rilevanza statistica dei dati, come la statistica influenza i big data e il suo significato
- Lezione 6: Data mining KDD (knowledge discovery in data), strumenti di data mininig, regole associative
- Lezione 7: Elementi di classificazione, clusterizzazione e regressione dati,
- Lezione 8: Introduzione all'intelligenza artificiale, il percettrone, algoritmi di apprendimento
- Lezione 9: Ottimizzazione nelle reti neurali, algoritmo di discesa del gradiente e training reti neurali
- Lezione 10: Reti neurali convoluzionali, sistemi di regolarizzazione delle reti
- Lezione 11: Reti neurali ricorsive, LSTM long short term memory units
- Lezione 12: Sommario e conclusione del corso
Tutti i codici esempio rilasciati sono da considerarsi aperti, ogni responsabilità connessa al loro uso non è imputabile agli autori.
Autore: Mauro Bellone, http://www.maurobellone.com