Поиск структуры в данных 2018

Мои решения задач в рамках совместного МФТИ + Yandex курса в рамках специализации Машинное обучение и анализ данных

О курсе

В машинном обучении встречаются задачи, где нужно изучить структуру данных, найти в них скрытые взаимосвязи и закономерности. Например, нам может понадобиться описать каждого клиента банка с помощью меньшего количества переменных — для этого можно использовать методы понижения размерности, основанные на матричных разложениях. Такие методы пытаются сформировать новые признаки на основе старых, сохранив как можно больше информации в данных. Другим примером может служить задача тематического моделирования, в которой для набора текстов нужно построить модель, объясняющую процесс формирования этих текстов из небольшого количества тем.

Такие задачи назвают обучением без учителя. В отличие от обучения с учителем, в них не предполагают восстановление зависимости между объектами и целевой переменной.

Из этого курса вы узнаете об алгоритмах кластеризации данных, с помощью которых, например, можно искать группы схожих клиентов мобильного оператора. Вы научитесь строить матричные разложения и решать задачу тематического моделирования, понижать размерность данных, искать аномалии и визуализировать многомерные данные.

Теория

1. Введение в кластеризацию

2. Подробнее о методах кластеризации

3. Понижение размерности и отбор признаков

4. Матричные разложения

5. Поиск аномалий

6. Визуализация данных

7. Тематическое моделирование. Часть 1

8. Тематическое моделирование. Часть 2.

Ссылка на курс

Поиск структуры в данных

Обо мне

• Дзись Андрей - Стажер-исследователь ИППИ РАН - dzisandy

Заметки

1. Последняя неделя задача на программирование: непонятен вопрос 3 задания, выяснить причину, почему не засчитывает задачу.

2. Доделать дополнительное задание последней недели.