Проекты Яндекс Практикум

Проект №2 Предобработка данных

Data set: '/datasets/data.csv'

Требуемые знания:

• Работа с пропусками;
• Изменение типов данных;
• Поиск дубликатов;
• Категоризация данных;

Описание:

Заказчик — кредитный отдел банка. Нужно разобраться, влияет ли семейное положение и количество детей клиента на факт погашения кредита в срок. Входные данные от банка — статистика о платёжеспособности клиентов. Результаты исследования будут учтены при построении модели кредитного скоринга — специальной системы, которая оценивает способность потенциального заёмщика вернуть кредит банку.

---

Проект №3 Исследовательский анализ данных

Data set: '/datasets/real_estate_data.csv'

Требуемые знания:

• Построение графиков и сводные таблицы;
  • сводные таблицы;
  • гистрограмма;
  • распределения;
  • диаграмма размаха
• Срезы данных:
  • pivot_table;
  • .query();
• Взаимосвязь данных;
  • Диаграмма рессеяния;
  • Корреляция;
  • Совместное распределение множества величин;
• Валидация результатов;

Описание:

На вход предоставляются данные сервиса Яндекс.Недвижимость — архив объявлений о продаже квартир в Санкт-Петербурге и соседних населённых пунктах за несколько лет. Нужно научиться определять рыночную стоимость объектов недвижимости. Задача — установить параметры. Это позволит построить автоматизированную систему: она отследит аномалии и мошенническую деятельность. По каждой квартире на продажу доступны два вида данных. Первые вписаны пользователем, вторые — получены автоматически на основе картографических данных.

---

Проект №4 Статистический анализ данных

Превью: Изучение объектов и их взаимосвязей методами статистики. Выборки и статистическая значимость. Выявление и обработка аномалий. Проект. Проанализировать тарифы федерального оператора сотовой связи.

Data set:

1. '/datasets/calls.csv'
2. '/datasets/internet.csv'
3. '/datasets/messages.csv'
4. '/datasets/tariffs.csv'
5. '/datasets/users.csv'

Требуемые знания:

• Описательная статистика;
• Теория вероятности;
• Проверка гипотез;

Описание:

Имеются данные федерального оператора сотовой связи. Клиентам предлагают два тарифных плана: А = «Смарт» и Б = «Ультра». Чтобы скорректировать рекламный бюджет, коммерческий департамент хочет понять, какой тариф приносит больше денег.Необходимо сделать предварительный анализ тарифов на небольшой выборке клиентов. Имеются данные 500 пользователей компании: кто они, откуда, каким тарифом пользуются, сколько звонков и сообщений каждый отправил за 2018 год. Нужно проанализировать поведение клиентов и сделать вывод — какой тариф лучше.

---

Проект №5 Сборный проект - 1

Превью: Подготовка данных для анализа. Предварительное исследование датасета. Формулирование и проверка гипотез.

Data set:

1. '/datasets/games.csv'

Требуемые знания:

• Предобработка данных;
• EDA;
• Статистика.

Описание:

Вы работаете в интернет-магазине, например «Стримчик», который продаёт по всему миру компьютерные игры. Из открытых источников доступны исторические данные о продажах игр, оценки пользователей и экспертов, жанры и платформы (например, Xbox или PlayStation). Вам нужно выявить определяющие успешность игры закономерности. Это позволит сделать ставку на потенциально популярный продукт и спланировать рекламные кампании. Комментрий к проекту: Перед вами данные до 2016 года. Представим, что сейчас декабрь 2016 г., и вы планируете кампанию на 2017-й. Нужно отработать принцип работы с данными. Неважно, прогнозируете ли вы продажи на 2017 год по данным 2016-го или же 2027-й — по данным 2026 года.

---

Проект №6 Введение в ML

Превью:

Data set:

1. 'datasets/users_behavior.csv'

Библиотеки:

Требуемые знания:

• Обучение с учителем;
• Метрики качества;
• Улучшение модели;
• Регрессия.

Описание:

Оператор мобильной связи, например «Мегалайн», выяснил: многие клиенты пользуются архивными тарифами. Они хотят построить систему, способную проанализировать поведение клиентов и предложить пользователям новый тариф: «Смарт» или «Ультра». В вашем распоряжении данные о поведении клиентов, которые уже перешли на эти тарифы (продолжение проекта №4). Нужно построить модель для задачи классификации, которая выберет подходящий тариф. Постройте модель с максимально большим значением accuracy. Accuracy не менее 0.75.

---

Проект №7 Обучение с учителем

Data set:

1. '/datasets/Churn.csv'

Библиотеки:

Требуемые знания:

• Подготовка признаков к обучению;
• Метрики классификации;
• Несбалансированная классификация;
• Метрики регрессии.

Описание:

Данные бизнеса: Из банка, например «Бета-Банка», стали уходить клиенты. Каждый месяц. Немного, но заметно. Банковские маркетологи посчитали: сохранять текущих клиентов дешевле, чем привлекать новых. Задача Нужно спрогнозировать, уйдёт клиент из банка в ближайшее время или нет. Имеются исторические данные о поведении клиентов и расторжении договоров с банком. Постройте модель с предельно большим значением F1-меры. (не менее 0.59). Дополнительно измеряйте AUC-ROC. Источник данных: https://www.kaggle.com/barelydedicated/bank-customer-churn-modeling

---

Проект №8 ML в бизнесе

Data set:

1. '/datasets/geo_data_0.csv'
2. '/datasets/geo_data_1.csv'
3. '/datasets/geo_data_2.csv'

Библиотеки:

Требуемые знания:

• Метрики в бизнесе;
• Инструменты для запуска нового функционала:
• А/В тестирование;
• Bootstrap;
• Сбор данных:
• Декомпозиция;
• Утечка целевого признака;
• Голосование по большинству;
• Кросс-валидация.

Описание:

Допустим, вы работаете в добывающей компании «ГлавРосГосНефть». Нужно решить, где бурить новую скважину. Шаги для выбора локации:

• В избранном регионе собирают характеристики для скважин: качество нефти и объём её запасов;
• Строят модель для предсказания объёма запасов в новых скважинах;
• Выбирают скважины с самыми высокими оценками значений;
• Определяют регион с максимальной суммарной прибылью отобранных скважин. Вам предоставлены пробы нефти в трёх регионах. Характеристики для каждой скважины в регионе уже известны. Постройте модель для определения региона, где добыча принесёт наибольшую прибыль. Проанализируйте возможную прибыль и риски техникой Bootstrap.

---

Проект №9 Сборный проект - 2

Data set:

1. '/datasets/gold_recovery_train.csv'
2. '/datasets/gold_recovery_test.csv'
3. '/datasets/gold_recovery_full.csv'

Библиотеки:

Требуемые знания:

• Обучение с учителем;
• ML в бизнесе.

Описание:

Подготовьте прототип модели машинного обучения для «Цифры». Модель должна предсказать коэффициент восстановления золота из золотосодержащей руды. В вашем распоряжении данные с параметрами добычи и очистки.Модель поможет оптимизировать производство, чтобы не запускать предприятие с убыточными характеристиками. Вам нужно:

1. Подготовить данные;
2. Провести исследовательский анализ данных;
3. Построить и обучить модель. Основные библиотеки pandas, matplotlib и sklearn.

---

Проект №10 Линейная алгебра

Data set:

1. '/datasets/insurance.csv'

Библиотеки:

Требуемые знания:

• Векторы и векторные операции;
• Растояние между векторами;
• Матрицы и матричные операции;
• Линейная регрессия в векторизованом представлении.

Описание:

Вам нужно защитить данные клиентов страховой компании «Хоть потоп». Разработайте такой метод преобразования данных, чтобы по ним было сложно восстановить персональную информацию. Обоснуйте корректность его работы. Нужно защитить данные, чтобы при преобразовании качество моделей машинного обучения не ухудшилось. Подбирать наилучшую модель не требуется.

---

Проект №11 Численные методы

Data set:

1. '/datasets/autos.csv'

Библиотеки:

Требуемые знания:

• Алализ алгоритмов;
• Градиентрый спуск:
• Минимизация функции потерь;
• Градиент функции;
• Градиентный спуск в линейной регрессии;
• SGD;
• Регуляризация линейной регрессии;
• Нейронные сети.
• Градиентный бустинг:
• Ансамбли и бустинг;
• Регуляризация.

Описание:

Сервис по продаже автомобилей с пробегом «Не бит, не крашен» разрабатывает приложение для привлечения новых клиентов. В нём можно быстро узнать рыночную стоимость своего автомобиля. В вашем распоряжении исторические данные: технические характеристики, комплектации и цены автомобилей. Вам нужно построить модель для определения стоимости.

Заказчику важны:

1. качество предсказания;
2. скорость предсказания;
3. время обучения.

---

Проект №12 Времянные ряды

Data set:

1. '/datasets/taxi.csv'

Библиотеки:

Требуемые знания:

• Алализ времянных рядов:
• Ресемплинг;
• Скользящее среднее;
• Тренды и сезонность;
• Стационарный ряд;
• Прогнозирование времянных рядов:
• Качество прогноза;
• Создание признаков.

Описание:

Компания «Чётенькое такси» собрала исторические данные о заказах такси в аэропортах. Чтобы привлекать больше водителей в период пиковой нагрузки, нужно спрогнозировать количество заказов такси на следующий час. Постройте модель для такого предсказания. Значение метрики RMSE на тестовой выборке должно быть не больше 48.

---

Проект №13 ML для текстов

Data set:

1. '/datasets/taxi.csv'

Библиотеки:

Требуемые знания:

• Векторизация тестов:
• Лемматизация;
• Регулярные выражения;
• Мешок слов и N-граммы;
• TD-IDF;
• Классификация тональности.
• Языковые представления:
• Embeddings;
• Word2vec;
• BERT;
• RuBERT.

Описание:

Интернет-магазин «Викишоп» запускает новый сервис. Теперь пользователи могут редактировать и дополнять описания товаров, как в вики-сообществах. То есть клиенты предлагают свои правки и комментируют изменения других. Магазину нужен инструмент, который будет искать токсичные комментарии и отправлять их на модерацию. Обучите модель классифицировать комментарии на позитивные и негативные. В вашем распоряжении набор данных с разметкой о токсичности правок. Постройте модель со значением метрики качества F1 не меньше 0.75.

---

Проект №14 Извлечение данных

Data set:

1. '/datasets/query_1.csv'
2. '/datasets/query_3.csv'
3. '/datasets/query_last.csv'

Библиотеки:

Требуемые знания:

• SQL
• Расширенные возможности SQL
• Отношение между таблицами;
• PySpark.

Описание:

Вы аналитик российской авиакомпании F9, выполняющей внутренние пассажирские перевозки. Важно понять предпочтения пользователей, покупающих билеты на разные направления. Вам предстоит изучить базу данных и проанализировать спрос пассажиров на рейсы в города, где проходят крупнейшие культурные фестивали.

Инструкция по выполнению проекта:

1. Проведите исследовательский анализ данных средствами SQL.
2. Соберите данные для анализа из базы.
3. Проанализируйте данные средствами Python.

---

---

Проект №15 Компьютерное зрение (Deep Learning)

Data set:

1. сет изображений
2. файл разметки

Библиотеки:

Требуемые знания:

• Keras
• Основные архитектуры нейронных сетей
• Сверточные сети
• Tensor Flow

Описание:

Сетевой супермаркет «Хлеб-Соль» внедряет систему компьютерного зрения для обработки фотографий покупателей. Фотофиксация в прикассовой зоне поможет определять возраст клиентов, чтобы:

1. Анализировать покупки и предлагать товары, которые могут заинтересовать покупателей этой возрастной группы;
2. Контролировать добросовестность кассиров при продаже алкоголя. Постройте модель, которая по фотографии определит приблизительный возраст человека. В вашем распоряжении набор фотографий людей с указанием возраста.

---