PyTorchXAI MVP

[tudorcebere]

PyTorchXAI MVP este functionalitatea de baza pe care vrem sa o implementam pentru PyTorch Summer Hackaton[0].

PyTorchXAI ar trebui sa implementeze in tensorboard[1] sau in orice alt tool de vizualizare un plugin care sa permita folosirea usoara a algoritmilor de tip XAI[2].

Milestones pentru PyTorchXAI:

Tensorboard Plugin

• scrierea un tensorboard plugin [3] care permite selectarea unei imagini (deja existente in tensorboard sau prin upload) si afiseaza fix aceeasi imagine.
• integrarea plugin-ului cu ce exista in torch.utils.tensorboard[4].
• logarea activarilor/gradientilor in tensorboard pe o retea convolutionala dummy si reutilizarea lor in cadrul pluginului.
• implementarea selectarii carui algoritm de XAI vrem sa il folosim printr-un dropdown menu.

Motivation, Datasets, probleme deschise:

• documentarea motivatiei existentei acestui tool pentru concurs/noi. Bias in atrenare, explicabil pentru persoane care nu cunosc literatura, etc. Ar trebui sa existe si o explicatie informala, dar si o colectie de paper-uri relevante.
• gasirea unor dataset-uri care genereaza astfel de bias-uri sa le putem evidentia cu acest plugin.
• tema de cercetare: suport pentru XAI in videoclipuri?

Algoritmi:
Daca pana aici functioneaza totul corect, putem mai departe sa incepem implementarea de diferiti algoritmi de XAI si sa cream tutoriale de folosire cu fiecare:

• saliency maps[5], gradCAM[6] ar trebui sa fie un punct de plecare bun.
• orice idee de pe blogul/slack-ul de distill[7]
• vizualizare pe NBRT[8] <- s-ar putea sa fie foarte hardcore
• Benchmark si alte idei: https://github.com/utkuozbulak/pytorch-cnn-visualizations.

Referinte:
[0]: https://pytorch2020.devpost.com/
[1]: https://github.com/tensorflow/tensorboard
[2]: https://bair.berkeley.edu/blog/2020/04/23/decisions/
[3]: https://github.com/tensorflow/tensorboard/blob/master/ADDING_A_PLUGIN.md
[4]: https://github.com/pytorch/pytorch/tree/master/torch/utils/tensorboard
[5]: https://analyticsindiamag.com/what-are-saliency-maps-in-deep-learning/
[6]: https://towardsdatascience.com/demystifying-convolutional-neural-networks-using-gradcam-554a85dd4e48
[7]: https://distill.pub/
[8]: https://bair.berkeley.edu/blog/2020/04/23/decisions/

[bcebere]

https://medium.com/multiple-views-visualization-research-explained/visualization-in-deep-learning-b29f0ec4f136#:~:text=For%20visualization%20in%20deep%20learning,in%20large%20sets%20of%20images.