Piscine Python Data Science

• Чеклисты
• Установка Home brew на школьные маки.

Day 00

Инструменты командной строки UNIX

Описание: В первый день мы поможем вам приобрести навыки использования инструментов командной строки UNIX для решения базовых задач по обработке и анализу данных. Вы узнаете, как использовать curl, sort, uniq, jq, sed и cat для сбора и предварительной обработки данных.

• Команда AWK в Linux с примерами часть 1, часть 2 и часть 3
• API hh.ru часть 1, часть 2 и часть 3
• Linux инструмент JQ

Начало работы

Чтобы работала JQ подключаем в ENV home brew, которую мы установли в папку goinfre

eval "$(~/goinfre/homebrew/bin/brew shellenv)"

Запускаем hh.sh с параметром data scientist для нашего задания и любой профессией для парсинга остального

sh hh.sh "data scientist"

Сырые данне складываем в JSON файл и затем преобразовываем его в CSV файл, сортируем, заменяем строки и разделяем/объединяем по файлам.

Day 01

Введение в Python: синтаксис и семантика

Резюме: Сегодня мы поможем вам приобрести базовые знания о синтаксисе и семантикеиз Питона.

• Сортировака словаря в Python

Day 02

Введение в Python: навыки ООП

Резюме: сегодня мы поможем вам получить базовые знания об ООП-подходе в Python.

• работа с json
• работа с Requests

Day 03

Введение в Python: управление пакетами и виртуальная среда

Резюме: Сегодня мы поможем вам получить базовые знания о том, как управлять библиотеками в Python и работать с виртуальными средами (virtual environment venv).

1. Установка venv

• python3.10 -m venv venv - установка
• . venv/bin/activate - запускаем так
• source venv/bin/activate - или так
• pip install --upgrade pip - oбновляем pip
• deactivate - и выход из окружения

2. Установка библиотек:

• pip install termgraph Termgraph
• pip install beautifulsoup4 Beautiful soup часть 1 + часть 2 и часть 3
• pip install lxml lxml + еще
• pip install pytest PyTest
• pip install requests requests + еще

3. Полезное:

• Termgraph — консольная утилита для рисования графиков
• Модуль BeautifulSoup4 в Python, разбор HTML
• Профилирование и отладка Python, инструменты
• PyTest часть 1 и часть 2

Day 04

Введение в Python: эффективные методы написания кода

Резюме: Сегодня мы поможем вам написать код, который работает быстрее.

• Руководство по использованию list comprehension
• Модуль timeit в Python
• Data Structures
• Функциональное программирование в Python: lambda, zip, filter, map reduce
• Основы функционального программирования на Python
• Класс Counter модуля collections в Python.
• Resource usage information
• Генераторы в Python и их отличие от списков и функций

Day 05

Pandas: работа с фреймами данных

Резюме: сегодня мы поможем вам приобрести навыки с Pandas.

• Подборка статей о работе с библиотеками для анализа данных на языке Python
• Обзор типов данных Pandas
• еще о Pandas

Day 06

Pandas: SQL and Pandas

Резюме: сегодня мы поможем вам приобрести навыки работы с SQL

• Методы объекта Connection SQLite3.
• strftime функция SQLite

Day 07

Pandas, SQL и визуализация данных

Резюме: Сегодня мы поможем вам с визуализацией данных в Matplotlib, Seaborn и Plotly.

• Цвета в Pandas
• • An Overview of Pandas GroupBy
• pandas.DataFrame.plot

Day 08

Введение в машинное обучение

Резюме: Сегодня мы поможем вам с основными задачами, связанными с машинным обучением в Python.

Day 09

Машинное обучение: продвинутый уровень

Резюме: сегодня мы поможем вам справиться с сложными задачами, связанными с машинным обучением в Python.

Rush 00

Аналитика MovieLens

Резюме: Этот раш поможет вам укрепить навыки, полученные в предыдущие дни.

• Класс OrderedDict модуля collections в Python.

Rush 01

Продовольствие и питание

Резюме: Этот раш поможет вам укрепить навыки, полученные в предыдущие дни. Датасет epi_r.csv скачать здесь