Skip to content

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

15 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Практические работы по инженерии данных

Цель: научиться работать с данными разных форматов: xml, json, html, csv, msgpack, pkl, а также с базами данных SQLite и MongoDB.

Практическая работа 1

Задания 1-4: работа с различными форматами данных

Задание 5: Извлечение данных из таблицы html

Задание 6: Найти публичный API, который возвращает JSON с некоторыми данными, получить данные в формате JSON и преобразовать в html представление. Данные о текущем курсе криптовалюты получены через API CoinLore

Практическая работа 2

Работа с бинарными форматами данных: msgpack, npy, pkl

Задание 5: Сохранить набор данных большого объёма в разных форматах и сравнить объёмы полученных файлов на диске. Набор данных - информация о распространении Covid-2019

Практическая работа 3

Работа с html форматом. Для парсинга html-страниц использовалась библиотека BeautifulSoup

Задание 5: Самостоятельно найти и распрасить сайт с несколькими страницами - сайт по доставке еды

Практическая работа 4

Работа с реляционными базами данных (SQLite): запись данных из различных форматов в базу, написание запросов

Практическая работа 5

Работа с нереляционными базами данных (MongoDB): запись данных из различных форматов в базу, написание запросов

Задание 4

Предметная область: HLY_65 (Healthy life years in absolute value at 65) - один из показателей социальной защищённости населения.

Данные предстваляют собой средние ежегодные показатели HLY для мужчин и женщин из различных стран Европы в период с 2010 по 2019.

Источник - eurostat

Практическая работа 6

Для нескольких наборов данных оптимизировать их объём в памяти.

Построить различные типы графиков.

Для построения графиков и диаграмм были использованы библиотеки matplotlib и seaborn

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

1 watching

Forks

Releases

Packages

Contributors

Languages