Machine Learning Models

Тестирование моделей машинного обучения

Про важность машинного обучения можно не рассказывать. Оно используется повсеместно. Давно хочу сесть и написать нормальную статью про тестирование ПО на основе машинного обучения. Есть некоторый дефицит информации в этой области, но хороших докладов или статей днём с огнём не найдёшь.

И тестировать машинное обучение нужно, иначе будут такие атаки наподобие тех (One pixel attack for fooling deep neural networks), когда один измененённый пиксель на картинке вводит обученный алгоритм классификации фотографий в заблуждение.

• Книга: Interpretable Machine Learning
• Test your Machine Learning Algorithm with Metamorphic Testing
• An Application of Combinatorial Methods for Explainability in Artificial Intelligence and Machine Learning
• Automated Combinatorial Testing for Software
• https://www.slideshare.net/ThoughtWorks/machine-learning-in-software-testing
• DeepTest: automated testing of deep-neural-network-driven autonomous cars
• Machine Learning: Testing and Error Metrics
• An Approach to Software Testing of Machine Learning Applications
• Набор метрик для оценки работы алгоритмов машинного обучения

Текстовые классификаторы:

• eli5
• slundberg/shap
• marcotcr/lime