Skip to content

Feature Parser

Denis Revyagin edited this page Oct 30, 2026 · 5 revisions

F3. Парсинг расписания с сайта ЮУрГУ

Назад к Requirements.

Назначение

Сервисная функция без интерфейса: периодически забирает расписание с сайта ЮУрГУ и сохраняет его в базу данных. Пользователь никогда не ждёт загрузки с сайта — он всегда читает уже сохранённые данные. Это снимает нагрузку с портала вуза (стейкхолдер с высоким влиянием, см. Stakeholders) и защищает бота от недоступности сайта.

Место в системе

сайт ЮУрГУ ──(Playwright + BeautifulSoup)──▶ Парсер ──▶ PostgreSQL ◀── Бот (aiogram) ◀── Пользователь

Парсер — отдельный фоновый процесс, запускаемый по расписанию. Бот и парсер общаются только через базу данных.

Требования

  • FR-6. Расписание загружается для всех групп, у которых есть хотя бы один пользователь, а также обновляется список групп.
  • FR-7. Бот читает расписание только из базы.
  • FR-8. При ошибке загрузки сохраняется прежнее расписание, пользователь видит дату последнего успешного обновления.
  • NFR-3. Не чаще одного запроса в час на группу, запросы последовательные, с паузой между ними.
  • NFR-4. Используется только общедоступное расписание; учётные данные студентов не используются и не хранятся.
  • NFR-7. Ошибка разбора страницы (изменение разметки) логируется, парсер переходит к следующей группе; бот продолжает работать.
  • Горизонт загрузки — текущая и следующие три недели.
  • Группа, добавленная пользователем, ставится в очередь на внеплановую загрузку.

Хранимые данные

Группы (название, идентификатор на сайте), занятия (группа, дата, номер пары, время, дисциплина, вид, аудитория, преподаватель), журнал обновлений (группа, время, результат, текст ошибки).

Сценарии

UC-06. Плановое обновление расписания

Краткое описание Сервис по расписанию обновляет данные всех активных групп
Актор Сервис (планировщик парсера)
Предусловия Есть хотя бы одна группа с пользователями; сайт ЮУрГУ доступен
Постусловия Расписание активных групп на четыре недели вперёд актуально; в журнале обновлений записи об успешной загрузке; изменившиеся пары помечены для уведомлений

Основной сценарий

  1. Планировщик запускает парсер (ежедневно в 06:00 и 18:00).
  2. Парсер получает из базы список групп, у которых есть пользователи, и очередь внеплановых групп.
  3. Для каждой группы по очереди парсер открывает страницу расписания, загружает четыре недели, разбирает HTML в список занятий.
  4. Парсер сравнивает загруженные занятия с сохранёнными и записывает добавленные, изменённые и удалённые пары.
  5. Парсер фиксирует в журнале успешное обновление и время.
  6. Между группами парсер делает паузу 5 секунд.
  7. После обхода всех групп парсер обновляет список групп на сайте и завершает работу.

Альтернативные сценарии

  • 3а. Страница группы не найдена на сайте: записывается ошибка в журнал, парсер переходит к следующей группе.
  • 3б. Разметка страницы изменилась и не разбирается: ошибка логируется с фрагментом HTML, прежнее расписание группы сохраняется, переход к следующей группе.

UC-07. Обработка недоступности сайта ЮУрГУ

Краткое описание Сайт не отвечает в момент обновления; система продолжает работать на сохранённых данных
Актор Сервис (парсер)
Предусловия Запущено плановое или ручное обновление; сайт не отвечает или возвращает ошибку
Постусловия Расписание в базе не изменено; в журнале зафиксирована ошибка; запланирована повторная попытка; администратору отправлено уведомление при повторных сбоях

Основной сценарий

  1. Парсер обращается к сайту и получает таймаут или ошибку HTTP.
  2. Парсер делает до трёх повторных попыток с интервалом 1, 5 и 15 минут.
  3. Все попытки неудачны: парсер записывает ошибку в журнал и завершает работу без изменения базы.
  4. Бот при запросах пользователей показывает сохранённое расписание с датой последнего успешного обновления.
  5. При следующем плановом запуске парсер пробует снова.

Альтернативные сценарии

  • 2а. Одна из повторных попыток успешна: парсер продолжает по UC-06.
  • 3а. Сбой повторяется два плановых запуска подряд (более 24 часов): сервис отправляет администратору сообщение в Telegram с текстом ошибки.

Clone this wiki locally