Repository navigation
Feature Parser
Denis Revyagin edited this page Oct 30, 2026
·
5 revisions
Назад к Requirements.
Сервисная функция без интерфейса: периодически забирает расписание с сайта ЮУрГУ и сохраняет его в базу данных. Пользователь никогда не ждёт загрузки с сайта — он всегда читает уже сохранённые данные. Это снимает нагрузку с портала вуза (стейкхолдер с высоким влиянием, см. Stakeholders) и защищает бота от недоступности сайта.
сайт ЮУрГУ ──(Playwright + BeautifulSoup)──▶ Парсер ──▶ PostgreSQL ◀── Бот (aiogram) ◀── Пользователь
Парсер — отдельный фоновый процесс, запускаемый по расписанию. Бот и парсер общаются только через базу данных.
- FR-6. Расписание загружается для всех групп, у которых есть хотя бы один пользователь, а также обновляется список групп.
- FR-7. Бот читает расписание только из базы.
- FR-8. При ошибке загрузки сохраняется прежнее расписание, пользователь видит дату последнего успешного обновления.
- NFR-3. Не чаще одного запроса в час на группу, запросы последовательные, с паузой между ними.
- NFR-4. Используется только общедоступное расписание; учётные данные студентов не используются и не хранятся.
- NFR-7. Ошибка разбора страницы (изменение разметки) логируется, парсер переходит к следующей группе; бот продолжает работать.
- Горизонт загрузки — текущая и следующие три недели.
- Группа, добавленная пользователем, ставится в очередь на внеплановую загрузку.
Группы (название, идентификатор на сайте), занятия (группа, дата, номер пары, время, дисциплина, вид, аудитория, преподаватель), журнал обновлений (группа, время, результат, текст ошибки).
| Краткое описание | Сервис по расписанию обновляет данные всех активных групп |
| Актор | Сервис (планировщик парсера) |
| Предусловия | Есть хотя бы одна группа с пользователями; сайт ЮУрГУ доступен |
| Постусловия | Расписание активных групп на четыре недели вперёд актуально; в журнале обновлений записи об успешной загрузке; изменившиеся пары помечены для уведомлений |
Основной сценарий
- Планировщик запускает парсер (ежедневно в 06:00 и 18:00).
- Парсер получает из базы список групп, у которых есть пользователи, и очередь внеплановых групп.
- Для каждой группы по очереди парсер открывает страницу расписания, загружает четыре недели, разбирает HTML в список занятий.
- Парсер сравнивает загруженные занятия с сохранёнными и записывает добавленные, изменённые и удалённые пары.
- Парсер фиксирует в журнале успешное обновление и время.
- Между группами парсер делает паузу 5 секунд.
- После обхода всех групп парсер обновляет список групп на сайте и завершает работу.
Альтернативные сценарии
- 3а. Страница группы не найдена на сайте: записывается ошибка в журнал, парсер переходит к следующей группе.
- 3б. Разметка страницы изменилась и не разбирается: ошибка логируется с фрагментом HTML, прежнее расписание группы сохраняется, переход к следующей группе.
| Краткое описание | Сайт не отвечает в момент обновления; система продолжает работать на сохранённых данных |
| Актор | Сервис (парсер) |
| Предусловия | Запущено плановое или ручное обновление; сайт не отвечает или возвращает ошибку |
| Постусловия | Расписание в базе не изменено; в журнале зафиксирована ошибка; запланирована повторная попытка; администратору отправлено уведомление при повторных сбоях |
Основной сценарий
- Парсер обращается к сайту и получает таймаут или ошибку HTTP.
- Парсер делает до трёх повторных попыток с интервалом 1, 5 и 15 минут.
- Все попытки неудачны: парсер записывает ошибку в журнал и завершает работу без изменения базы.
- Бот при запросах пользователей показывает сохранённое расписание с датой последнего успешного обновления.
- При следующем плановом запуске парсер пробует снова.
Альтернативные сценарии
- 2а. Одна из повторных попыток успешна: парсер продолжает по UC-06.
- 3а. Сбой повторяется два плановых запуска подряд (более 24 часов): сервис отправляет администратору сообщение в Telegram с текстом ошибки.