Semestr Letni 2020/21 @hbaniecki
Przedmiot ten poświęcony jest tematyce badań naukowych. Na zajęciach skupimy się na odtwarzaniu wyników artykułów naukowych, tworzeniu nowych wyników, oraz napisaniu mini-artykułu. Tematem przewodnim projektu jest wykorzystanie modeli uczenia maszynowego do predykcji śmiertelności COVID-19. Poboczne tematy: wyjaśnianie modeli uczenia maszynowego, odporność modeli predykcyjnych i związana z nią odpowiedzialność, reprodukowalność wyników naukowych, pierwsze kroki w świecie badań naukowych.
Całość przedmiotu realizowana jest w zespołach 3/4-osobowych.
Pierwsza faza projektu polega na przeanalizowaniu artykułu naukowego, odtworzeniu jego wyników, a następnie zaproponowaniu nowych wyników np. przeprowadzenie analizy danych, stworzenie nowych modeli, wyjaśnienie modeli, przeanalizowanie odpowiedzi do analizowanego artykułu (odtworzenie ich wyników, wykorzystanie dodatkowych danych itp.). Całość powinna zostać udokumentowana w postaci kodu na GitHub oraz raportu - oceniane w dwóch krokach (10 + 20 punktów).
Dobry artykuł do analizy w tematyce ML dla COVID-19:
Yan, L. et al. "An interpretable mortality prediction model for COVID-19 patients" Nature Machine Intelligence (2020) https://www.nature.com/articles/s42256-020-0180-7
Odpowiedzi do powyższego artykułu (Matters Arising):
- External validation demonstrates limited clinical utility of the interpretable mortality prediction model for patients with COVID-19
- Replication of a mortality prediction model in Dutch patients with COVID-19
- Limited applicability of a COVID-19 specific mortality prediction rule to the intensive care setting
(08/04) W drugiej fazie można kontynuować dotychczasowe analizy po zaplanowaniu dalszych prac z prowadzącym.
Druga faza projektu polega na przeprowadzeniu podobnej analizy, ale:
- Każdy zespół pracuje z innym artykułem - jeżeli artykuł okaże się mało skomplikowany i/lub zespół szybko skończy analizę to można sięgać po pozostałe artykuły z puli.
- Część projektu polega na porównaniu wyników lub/i metod lub/i odniesieniu się do artykułu z fazy 1.
- Całość powinna zostać udokumentowana w postaci mini-artykułu (razem z kodami na GitHub), w którym oprócz opisania wyników fazy 2, można opisać wyniki fazy 1 - oceniane w dwóch krokach (10 + 40 punktów).
- Zespół prezentuje najciekawsze wyniki projektu na koniec semestru (20 punktów).
Artykuły do analizy:
- Deep learning prediction of likelihood of ICU admission and mortality in COVID-19 patients using clinical variables
- A Learning-Based Model to Evaluate Hospitalization Priority in COVID-19 Pandemics
- Predicting Mortality Due to SARS-CoV-2: A Mechanistic Score Relating Obesity and Diabetes to COVID-19 Outcomes in Mexico
- inny w tej samej tematyce (z danymi)
| nr | data | plan | plan+ | deadline |
|---|---|---|---|---|
| 1 | 26/02 | wprowadzenie do przedmiotu | uczenie maszynowe (gradient descent, decision tree, gradient boosting) | |
| 2 | 04/03 | faza 1 zadanie artykułu do analizy | uczenie maszynowe dla COVID-19 / typy artykułów na przykładach związanych z ML dla COVID-19 | |
| 3 | 11/03 | wyjaśnialne uczenie maszynowe (Break Down, Feature Importance, Ceteris Paribus, Partial Dependence Plot) | ||
| 4 | 18/03 | faza 1 omówienie wstępnych wyników | raport v1 (10 pkt) | |
| 5 | 25/03 | SHAP, Responsible AI (fairness, h-c xai, security) | ||
| 6 | 01/04 | istotne artykuły z dziedziny ML dla COVID-19 | zaawansowane metody eksploracji modeli (modelStudio, Arena) | |
| 7 | 08/04 | faza 1 przedstawienie wyników | raport v2 (20 pkt) | |
| 8 | 15/04 | AUPRC, TabNet | faza 2 konsultacje - zaplanowanie dalszych prac | |
| 9 | 22/04 | guest: prof. Theodoros Zanos | faza 2 konsultacje - przedstawienie koncepcji | |
| 10 | 29/04 | Automated ML / konsultacje projektów | ||
| 11 | 06/05 | faza 2 przedstawienie wstępnych wyników | projekt v1 (10 pkt) | |
| 12 | 12/05 | * | ||
| 13 | 13/05 | konsultacje | ||
| 14 | 20/05 | faza 2 omówienie końcowych wyników | projekt v2 | |
| 27/05 | prezentacje projektów na wykładzie w czasie laboratoriów | prezentacja (20 pkt) | ||
| 12' | 28/05 | * | ||
| 05/06 | deadline oddania projektu | projekt v3 (40 pkt) | ||
Baniecki, H., and Biecek, P. (2021) "Responsible Prediction Making of COVID-19 Mortality (Student Abstract)" AAAI Conference on Artificial Intelligence (AAAI) https://ojs.aaai.org/index.php/AAAI/article/view/17874
Wynants, L. et al. (2020) "Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal" BMJ https://www.bmj.com/content/369/bmj.m1328
Barredo Arrieta, A. et al. (2020) "Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI" Information Fusion https://www.sciencedirect.com/science/article/pii/S1566253519308103
- wyjaśnianie (predykcyjnych) modeli uczenia maszynowego: Explanatory Model Analysis, dalex, Arena, modelStudio
- bazy preprintów: arXiv, 'arXiv for med', 'arXiv for bio'
- bazy konferencji/czasopism: CORE ranking, Scopus
- baza papers with code
- konferencje AI/ML
- wykaz czasopism i konferencji punktowanych przez MEN
- personal website/cv: hugo, al-folio
- AutoML: mljar, PyCaret, Microsoft Azure
- backpropagation
- AUPRC
- TabNet / in R
- YK