Проект VolgaHack — это проект, разработанный для участия в одноименном хакатоне, который направлен на парсинг сайтов и построение визуализаций данных в виде облаков слов и других графических представлений.
VolgaHack включает в себя скрипты для автоматического сбора данных с различных веб-ресурсов и их дальнейшего анализа. Основной упор сделан на обработку текстовых данных, создание облаков слов (wordcloud) и применение алгоритмов машинного обучения для анализа полученной информации.
- Парсинг сайтов — автоматический сбор текстовых данных с указанных веб-ресурсов.
- Создание облаков слов — визуализация частотного анализа слов для наглядного представления ключевых тем в собранных данных.
- Обработка данных — предобработка текстов с использованием библиотек
pandasиsklearn. - Построение графиков — создание графиков для визуального представления данных с помощью
matplotlib.
Проект написан на Python и использует следующие библиотеки:
pandas— для работы с табличными данными и их предобработки.sklearn— для анализа и предобработки текстовых данных.matplotlib— для построения графиков и визуализации данных.wordcloud— для создания облаков слов, наглядно отображающих популярные слова и темы в тексте.
src/— основные скрипты проекта:parser.py— скрипт для парсинга сайтов и сбора текстовой информации.wordcloud_generator.py— скрипт для создания облака слов.visualization.py— скрипт для построения графиков и других визуализаций.
data/— папка для хранения собранных данных.notebooks/— Jupyter Notebooks для экспериментов и анализа данных.README.md— описание проекта и инструкции по использованию.
-
Клонируйте репозиторий:
git clone https://github.com/DoctorSB/VolgaHack.git cd VolgaHack -
Установите зависимости:
Рекомендуется использовать виртуальное окружение:
python3 -m venv venv source venv/bin/activate # для Windows используйте venv\Scripts\activate
Установите все зависимости из
requirements.txt:pip install -r requirements.txt
-
Запустите парсер:
Сбор данных с веб-ресурсов:
python src/parser.py
-
Создайте облако слов:
Постройте визуализацию облака слов по собранным данным:
python src/wordcloud_generator.py
-
Постройте графики:
Создание дополнительных графических представлений данных:
python src/visualization.py
| Облако слов | Пример графика |
|---|---|
 |
 |
Список используемых библиотек находится в requirements.txt. Основные библиотеки включают:
pandassklearnmatplotlibwordcloud
Установите их с помощью команды:
pip install -r requirements.txtЭтот проект распространяется под лицензией MIT. См. файл LICENSE для получения дополнительной информации.
Если у вас возникли вопросы по проекту или предложения по улучшению, вы можете связаться со мной через GitHub Issues или отправить запрос на добавление новых функций.
Проект разработан в рамках хакатона VolgaHack. Спасибо организаторам за возможность участвовать в мероприятии и испытать свои силы в решении интересных задач!