Django Parser Test Task

Описание проекта

Проект представляет собой тестовое задание, реализующее сбор данных с интернет-магазина. Основная задача — получить информацию о товарах с карточек товара и сохранить её в базе данных для последующего анализа или контроля.

Парсинг данных реализован тремя разными способами:

• BeautifulSoup — классический подход для статических страниц;
• Selenium — автоматизация браузера для работы с динамическим контентом;
• Playwright — современный инструмент для быстрого и надёжного парсинга динамических сайтов.

Собранные данные записываются в PostgreSQL через Django ORM. Для удобного просмотра и контроля данных используется pgAdmin, также работающий в Docker-контейнере.

Стек технологий

• Backend: Django
• Парсинг: requests + BeautifulSoup, Selenium, Playwright
• База данных: PostgreSQL
• Контейнеризация: Docker, docker-compose
• Контроль данных: pgAdmin

Структура работы

1. Запуск скрипта парсера.
2. Сбор данных о товарах тремя разными методами.
3. Сохранение данных через Django-модели в PostgreSQL.
4. Проверка и управление данными через pgAdmin.

Особенности

• Демонстрируется работа с разными подходами к парсингу (статический и динамический контент).
• Полностью контейнеризированная среда упрощает запуск и тестирование проекта.
• Проект служит примером организации пайплайна от сбора данных до хранения и контроля через веб-интерфейс.

Примечание

Проект носит демонстрационный характер как тестовое задание. Основное назначение — показать реализацию процесса парсинга и работы с базой данных в рамках Django и Docker.