Содержание

Тема	Материалы	Задания	Проверочные	Видео
Обработка данных в python	Ноутбук Lenta Hackaton (данные) Дьяконов Базовый Python Дьяконов Pandas Дьяконов Numpy Дьяконов sklearn _________________________________ Дополнительно Дьяконов. Простые методы анализа данных Дьяконов. Генерация признаков	Курс по базовому питону Задачи на pandas Задачи на numpy и pandas (Неделя 2 - Векторы, Матрицы)		Основы анализа данных
Градиентные методы оптимизации	Основные Ноутбук ШАД Матричной дифференцирование Лекция Дьяконова Теория по матричному дифференцированию _________________________________ Дополнительно Примеры нахождения матричных производных Интерактивные визуализации методов оптимизации Математика в машинном обучении (225 страница, Continuous optimization)	Семинарские задачи Практическая
Метрические методы	Основные ШАД Метрические методы Соколов KNN Дьяконов Метрические методы ШАД кросс-валидация ШАД подбор гиперпараметров Дьяконов Валидация моделей Соколов KNN (с картинками) Соколов Обучение метрик Соколов Приближённые методы поиска ближайших соседей _________________________________ Дополнительно Ноутбук Соколов. Приближённый поиск ближайших соседей. NSW и HNSW (начиная с 40:50) Обзор методов приближённого поиска ближайших соседей	Семинарские задачи	Вариант1 _______________ Тест от Дьяконова	Запись лекции
Логические методы	Основные ШАД решающие деревья Соколов Решающие деревья Дьяконов Решающие деревья _________________________________ Дополнительно Соколов деревья с картинками Соколов Пример построения дерева Визуализация построения RF Uplift моделирование с помощью деревьев	Семинарские задачи Практическая	Вариант 1 _______________ Тест от Дьяконова	Запись лекции
Метрики качества	Основные Соколов Метрики качества бинарной классификации Дьяконов Метрики качества Соколов Метрики качества многоклассовой классификации Соколов ROC-AUC _________________________________ Дополнительно Дьяконов ROC-AUC Дьяконов Кривые в ML	Семинарские задачи	Тест от Дьяконова (AUC)
Линейные методы	Основные Соколов Обучение линейных классификаторов в общем виде Соколов SVM и Logreg Дьяконов Линейные методы ШАД Линейные методы Теория SVM (370 страница, Classification with Support Vector Machines) __________________________________ Дополнительно Ноутбук логрег Ноутбук по условной оптимизации и SVM Соколов logreg с картинками Соколов SVM с картинками __________________________________ Ликбез по условной оптимизации Условная оптимизация Теория ККТ с примерами Теория двойственности Заметки о решении задач условной оптимизации	Семинарские задачи		Запись лекции по логрегу
Ядровые методы	Основные Соколов. Ядра 1 Соколов. Ядра 2 Соколов. Ядра 3 Соколов. Ядра 4 Математика в машинном обучении (388 страница, Kernels)	Семинарские задачи
Обучение без учителя	Embeddings Снижение размерности и кластеризация (ноутбук) Соколов PCA Word2Vec Соколов t-SNE Математика в машинном обучении (стр. 317, Dimensionality Reduction with Principal Component Analysis) __________________________________ Кластеризация Соколов Кластеризация DBSCAN __________________________________ Дополнительно clustering+tsne (ноутбук) Байесовский вариант PCA Embeddings в рекомендательных системах (2.1.2 Модели со скрытыми переменными) t-SNE paper Соколов про t-SNE (Обратите внимание, что там потерян минус в определении условных вероятностей p и q)	Семинарские задачи	Вариант 1	Запись лекции по PCA
Байесовские методы	Основные Дьяконов Байесовский подход в ML Соколов ЕМ Соколов plsa Соколов ЕМ для PCA _________________________________ Дополнительно Воронцов Topic modelling (presentation) Ветров Bayes PCA Воронцов Topic modeilling (pdf) Курс ФКН по байесовским методам	Семинарские задачи		Запись лекции
Bias-variance decomposition	Основные Соколов BVD Дьяконов BVD Эмпирическая оценка BVD компонент _________________________________ Дополнительно BVD для линейной регрессии BVD для K-NN Визуализация BVD	Семинарские задачи
Ансамбли	Градиентный бустинг Соколов бутстрэп и AdaBoost Соколов Градиентный бустинг Дьяконов Градиентный бустинг Соколов Градиентный бустинг (вопросы и ответы) Соколов XGBoost Дьяконов Ансамбли Дьяконов RF & GBM Дьяконов cравнение современных реализаций бустинга (Видео) _________________________________ Стэкинг Гущин Stacking Дьяконов Stacking _________________________________ Дополнительно LighGBM paper CatBoost paper Bagging vs. Boosting Соколов Градиентный бустинг с картинками	Семинарские задания	Вариант 1
Recsys	Основные Соколов Обучение ранжированию Соколов Рекомендательные системы Дьяконов Recsys _________________________________ Дополнительно MTS. Your 1st recsys MTS. Your 2nd recsys Курс ФКН по recsys	Семинарские задачи
Нейронные сети	Введение в DL Дьяконов Backprop для полносвязных сетей Воронцов NN Пример обучения NN в pytorch _________________________________ CNN Дьяконов CNN Дьяконов Архитектуры CNN Войта RNN и CNN для классификации текстов Интерактивные свёртки _________________________________ RNN DeepBayes RNN Дьяконов RNN distill RNN colah's Understanding LSTM _________________________________ Attention & Transformer Attention & Transformer (Voita) Illustrated Transformer (Jay Alammar) Attention is all you need (оригинальная статья) Дьяконов Transformer _________________________________ Дополнительно Bishop, Deep Learning Foundations and Concepts Интерактивное введение в NN NN playground Yann LeCun Курс Войты по NLP Визуализации свёрток с различными параметрами Визуализация трансформеров (colab) Вывод LSTM	Семинарские задачи Задачи на нейронки руками

Материалы к экзамену:

1. Билеты
   • Расписанные билеты
2. Теоретический минимум
   • Расписанный теормин

Тесты:

Минитест от Дьяконова - на знание ML

Тест в компанию Plarium

Тест в компанию Алгомост

Полезные ссылки:

Учебник по ML от ШАД

Анализ малых данных - блог Дьяконова о машинном обучении

Гитхаб Дьяконова:

• IML - курс по машинному обучению для 1-2 курсов.
• MLDM - потоковый курс по ML для 3их курсов
• DL - курс по глубокому обучению

Курсы ФКН:

• Соколов. ML1
• Соколов. ML2

Книга Дмитрия Ефимова (Есть примеры реализаций ML алгоритмов на голом питоне)