Warsztaty Badawcze - grupa 2021L-WB-RashomonML
Podczas warsztatów jest przejdziemy przez kolejne etapy pracy naukowej, skupimy się na odtwarzaniu wyników artykułów naukowych, tworzeniu nowych wyników, oraz napisaniu mini-artykułu. Tematem zajęć jest stworzenie modeli uczenia maszynowego dla problemów medycznych (predykcja śmiertelności, predykcja ciężkiego przebiegu choroby). Będziemy pracować na dużej, ogólnodostępnej bazie danych MIMIC.
Warszataty Badawcze składają się z:
- wykładu
- zajęć laboratoryjnych i projektowych
Terminy i tematy zajęć
| ZAJĘCIA | DATA | TEMATYKA | PRACA DOMOWA | PUNKTY | |
|---|---|---|---|---|---|
| 1 | 2021-02-26 | Jak będzie wyglądał projekt, nad czym będziemy pracować i jaki będzie efekt końcowy? Organizacja pracy. | Dostęp do bazy MIMIC. | PD1 - 5 pkt. | |
| 2 | 2021-03-04 | Wstęp do Machine Learning. | Przeanalizowanie artykułów | PD2 - 5 pkt. | |
| 3 | 2021-03-11 | Struktura bazy MIMIC. | Zbudowanie modelu predykcyjnego na demo dla bazy MIMIC | PD3 - 5 pkt. | |
| 4 | 2021-03-18 | Omówienie pracy domowej 3. | Odtworzenie modelu predykcyjnego dla artykułu | PD4 - 10 pkt. | |
| 5 | 2021-03-25 | Konsultacje dot. PD4/Rashomon Effect | |||
| 6 | 2021-04-01 | Jak analizować zbiory modeli Rashomon? (Krzywe Rashomon, Profile PDP) | |||
| 7 | 2021-04-08 | Omówienie pracy domowej 4 | Zbudowanie zbioru modeli Rashomon dla wybranego problemu | PD5 - 7 pkt. | |
| 8 | 2021-04-15 | Konsultacje/Bookdown | |||
| 9 | 2021-04-22 | Omówienie pracy domowej 5 i rozmowa co będzie ostatecznym wynikiem projektu | Przygotowanie bibliografii artykułu i studium literaturowego | PD6 - 2 pkt. | |
| 10 | 2021-04-29 | Lokalne wyjaśnienia | Napisanie wstępnej wersji abstraktu / Przygotowanie głównych rezultatów pracy (bez opisu) | PD7 - 2 pkt. / PD8 - 4 pkt. | |
| 11 | 2021-05-06 | Jak przygotować raport i prezentację projektu? | |||
| 12 | 2021-05-13 | Konsultacje | |||
| 13 | 2021-05-20 | Oddanie wstępnej wersji raportu dla chętnych/Wzajemne recenzje raportów | |||
| 2021-05-27 | Prezentacja projektu. | 20 pkt. | |||
| 14 | 2021-05-28 | Dyskusja na temat projektów - podsumowanie/uwagi/co możemy poprawić, aby nasz raport był jeszcze lepszy? | |||
| 2021-06-04 | Oddanie projektu. | 40 pkt. | |||
| 15 | 2021-06-10 | Podsumowanie projektu/konsultacje. | |||
Prace domowe
- praca domowa 1
- praca domowa 2
- praca domowa 3
- praca domowa 4
- praca domowa 5
- praca domowa 6
- praca domowa 7
- praca domowa 8
Repozytorium z raportami końcowymi
Schemat oceniania (suma 100 pkt):
- raport końcowy - 40 pkt.
- wstęp, motywacja [0-8 punktów]
- literatura [0-4 punktów]
- główne wyniki pracy [0-16 punktów]
- wnioski [0-8 punktów]
- jakość wykresów/wizualizacji/diagramów [0-4 punktów]
- prezentacja - 20 pkt.
- prezentacja wyników projektu podczas wykładu (oceniana przez wszystkich prowadzących)
- praca na laboratoriach (prace domowe) - 40 pkt.
| Ocena | 3 | 3.5 | 4 | 4.5 | 5 |
|---|---|---|---|---|---|
| Punkty | (50, 60] | (60, 70] | (70, 80] | (80, 90] | (90, ∞) |
Literatura
RashomonML
- Statistical Modeling: The Two Cultures
- A study in Rashomon curves and volumes: A new perspective on generalization and model simplicity in machine learning
- All Models are Wrong, but Many are Useful: Learning a Variable’s Importance by Studying an Entire Class of Prediction Models Simultaneously
- Predictive Multiplicity in Classification
- Interpretable Machine Learning: Fundamental Principles and 10 Grand Challenges
- prezentacja Cynthi Rudin