Добро пожаловать на страничку курса "Введение в глубокое обучение и вообще".
- Большая часть материалов курса нагло украдена из других курсов. В README к каждой неделе я пытался описывать что и где я спёр
- Материалы для каждого семинара лежат в папках
/week* - Курс сделан на Tensorflow 2.0
- Если вы хотите скачать из репозитория конкретную папку, просто вставьте ссылку на неё в сервис для скачки. Ну либо наконец уже разберитесь с git и сделайте pull.
Нашёл на этой страничке ошибку? Нашёл какой-то ультраполезный ресурс? Придумал какое-то интересное задание для семинара? Есть конструктивная критика? Не молчи, заводи issue, делай пулл-реквест и напиши мне на почту filfonul@gmail.com или в Telegram (@Ppilif).
- 📦 Таблица с оценками
- 📦 Видео записи семинаров и лекций
- 📦 Любые вопросы можно задать в чат курса, все важные объявлеия будут публиковаться в канале курса. Жми кнопки ниже и попадёшь в них.
Показать, что никакого искусственного интеллекта не существует. Нейросетка — это просто ансамбль из регрессий. Дать понять на каком уровне развития сейчас находится эта область машинного обучения и когда ждать нормальный искуственный интеллект, который всех поработит ну или хотябы будет присылать терминаторов.
- week01_intro От регрессии к нейросети.
- week02_backprop Алгоритм обратного распространения ошибки. 50 оттенков градиентного спуска.
- week03_matrix_diff Матричное диффириенцирование. Тут я отменил один из семинаров. Его надо возместить.
- week04_backprop_again Решаем задачи на алгорим обратного распространения ошибки и пробуем его закодить.
- week05_neuro_lego Нейросети - конструктор LEGO. Обсуждаем разные слои.
- week06 Свёрточные сети.
- week07 Нормализация по батчам, лучшие практики для обучения нейросетей
- week08 Современные архитектуры свёрточных сетей. Transfer learning.
- Мидтёрм
- week09 Рекурентные нейронные сетки: RNN, LSTM, GRU. Временные ряды.
- week10 Работа с текстами, введение в NLP, идея эмбедингов: w2v.
- week11 Автокодировщики: тексты, картинки, нейросети для графов
- week12 Seq2seq модели. Механизмы внимания. Автопереводчики. Генерация текстов. (25 мая)
- week13 Разбираемся с трансформерами. (1 июня)
- week14 Генеративные нейронные сети. (8 июня - ???)
- week15 Задачи компьютерного зрения + лекция про то, что ботать дальше, чтобы стать клёвым.
Список домашек:
- Основы tensorflow, сбор своих первых нейросетей на tensorflow (выдача 9 февраля)
- Собираем нейросеть своими руками (выдача 2-9 марта)
- Большое задание по работе с картинками (выдача в районе 23-30 марта)
- Рекурентные сетки и временные ряды (выдача в районе 13-20 апреля)
- Большое задание по работе с текстами (выдача в районе 4 -11 мая)
В домашних заданиях будет довольно много бонусных баллов. Из-за их наличия вы сможете выбирать те разделы, которые вас больше всего заинтересовали.
Предполагаемая дата контрольной: где-то в середине апреля
Итоговая оценка вычисляется по формуле:
Накоп = 0.3 СР + 0.5 ДЗ + 0.2 КР
Итог = min(10, 0.7 Накоп + 0.3 Экз)
- ДЗ - средняя оценка за домашки на python (5 заданий), одна домашка сделанная хуже всего при расчёте средней оценки, не учитывается
- СР - средняя оценка за самостоялки на семинарах (около 10 квизов), две работы, написанные хуже всего, не учитываются
- КР - балл за письменную контрольную работу
- Экз - балл за письменный экзамен
Если накопленная оценка оказалась >= 6, а также за контрольную вы получили оценку >=6, можно забрать себе накопленную оценку как автомат и не сдавать экзамен.
Правила сдачи заданий:
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опозданиии на одну секунду. Сдавайте работы заранее.
Есть исключение, и имя ему Late days policy. У каждого студента есть право отложить мягкий дедлайн на 1,2 или 3 дня. Суммарно для откладывания в запасе есть три дня. Можно отодвинуть один дедлайн на три дня, а можно три дедлайна подвинуть на один день. Распоряжаться этими днями студент может как угодно. Жёсткий дедлайн, при этом, не меняется.
При обнаружении плагиата оценки обнуляются всем, кто был задействован в списывании, а также подаётся докладная записка в учебный офис. При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
Любой из студентов может быть вызван на защиту любого домашнего задания. На защите по тексту работу ему задаётся несколько вопросов. Если студент не отвечает на них, работа обнуляется.
- 📚 Николенко: «Глубокое обучение. Погружение в мир нейронных сетей.» — книга, которую всем рекомендую читать в первую очередь.
- 📚 Гудфеллоу, Бенджио: «Глубокое обучение.» — библия глубокого обучения с ответами на многие вопросы и хорошей математикой.
- 📚 Педро Домингос: «Верховный Алгоритм.» — книга для рефлексии и мыслях о том, когда же нас поработит искуственный интеллект.
На первые две книги в README к каждой неделе есть сноски для чтения.
- 🤖 Advanced ML от Яндекса. Это для тех, кто хочет развиваться дальше. В специализации есть разные специфические курсы. Первый из них про нейронки. Код на Tensorflow. Версия библиотеки там пока что старая.
- 🤖 Курс нейронок, который читают в ШАД и сколтехе. Есть варианты кода на разных фреймворках. Есть видео лекций на русском и английском.
- 🤖 Бесплатный курс по tf от Google. Короткий. Покрывает весь базовый Keras. Все тетрадки выложены в colab. Внутри есть очень странные интервью.
- 🤖 Бесплатный курс по pytorch от Samsung. Состоит из двух частей: CV и NLP. Для тех, кто хочет писать на pytorch.
- 🤖 Deep learning на пальцах. Семён из кремниевой долины записывает лекции на youtube. Объясняет и правда на пальцах. Причём сложные вещи. Круто смотреть его стримы в метро, пока куда-то едешь.
- 🤖 Добавить ссылку на лекции Физтеха
- 🤖 Добавить сссылку на лекции Стенфорда
Весь контент, созданный для этого курса распространяются на правах лицензии MIT License Материалы публикуются как общественное достояние.
