Skip to content

Feature Parser

Denis Revyagin edited this page Nov 12, 2026 · 5 revisions

F3. Парсинг расписания с сайта ЮУрГУ

Это целевая спецификация проекта, а не перечень уже реализованных возможностей. Фактический статус — на странице Home.

Назад к Requirements.

Результат исследования источника, 12.11.2026

В рамках #13 проверен публичный каталог https://new.susu.ru/students/schedules и расписание группы ЕТ-143. Ответ HTML доступен без учётных данных, однако наблюдены только две учебные недели. Получение четырёх недель пока не подтверждено: SRC-4W блокирует приёмку полноты загрузки #21. Требование ниже и UC-06 сохраняются; сокращение горизонта не согласовано. Для наблюдённой страницы JavaScript не требуется, окончательный способ загрузки определяется при реализации.

Исследование и обезличенный образец включены в main через PR #63 после одобрения ay1nesk и успешного CI, коммит 2b3354e: документ исследования, образец и метаданные. Это результат исследования, а не реализованный парсер; зависимость SRC-4W остаётся открытой. Итоги пункта 12 и сравнение плана с фактом учебного эксперимента — в отчёте пункта 12 и Estimation.

Назначение

Сервисная функция без пользовательского интерфейса: периодически забирает расписание с сайта ЮУрГУ и сохраняет его в базу данных. При наличии данных бот показывает их без ожидания запроса к сайту; первоначальная загрузка выполняется в фоне, а отсутствие данных явно обозначается пользователю. Такой подход уменьшает число запросов к порталу вуза и позволяет показывать сохранённое расписание при его недоступности.

Место в системе

сайт ЮУрГУ ──(Playwright + BeautifulSoup)──▶ Парсер ──▶ PostgreSQL ◀── Бот (aiogram) ◀── Пользователь

Парсер — отдельный фоновый процесс с плановыми обходами и обработкой очереди внеплановых запросов независимо от этих обходов. Очередь хранится в PostgreSQL; повторный запрос для уже ожидающей или обрабатываемой группы не создаёт параллельного обновления. Бот и парсер обмениваются данными только через базу данных.

Требования

  • FR-6. Расписание загружается для всех групп, у которых есть хотя бы один пользователь. Первичная и периодическая загрузка справочника групп выполняется независимо от числа зарегистрированных пользователей, чтобы первая регистрация не зависела от уже существующих пользователей.
  • FR-7. Бот читает расписание только из базы.
  • FR-8. При ошибке загрузки сохраняется прежнее расписание, пользователь видит дату последнего успешного обновления.
  • NFR-3. Между началами обычных плановых или внеплановых циклов обновления одной группы проходит не менее часа. Запрос, пришедший раньше, ожидает разрешённого времени в очереди. При временной недоступности сайта допускаются до трёх повторных попыток внутри этого цикла согласно UC-07. Группы обрабатываются последовательно с паузой не менее 5 секунд.
  • NFR-4. Используется только общедоступное расписание; учётные данные студентов не используются и не хранятся.
  • NFR-7. Ошибка разбора страницы (изменение разметки) логируется, парсер переходит к следующей группе; бот продолжает работать.
  • Горизонт загрузки — четыре календарные недели: с понедельника текущей недели по воскресенье третьей следующей недели. Это не обязательно 28 дней вперёд от сегодняшнего дня. Даты, время занятий и запусков интерпретируются по Asia/Yekaterinburg.
  • В базе фиксируются фактически загруженный период группы и время последнего успешного обновления. День без занятий внутри загруженного периода отличается от дня, для которого данных пока нет.
  • Группа, добавленная пользователем, ставится в очередь на внеплановую загрузку.

Хранимые данные

Группы (название, идентификатор на сайте), занятия (группа, дата, номер пары, время, дисциплина, вид, аудитория, преподаватель), фактически загруженные периоды и время последнего успешного обновления группы, очередь внеплановых запросов, журнал обновлений (группа, время, результат, текст ошибки). Эти данные относятся к схеме MVP; при ошибке прежние данные и границы успешно загруженного периода сохраняются.

Сценарии

UC-06. Плановое обновление расписания

Краткое описание Сервис по расписанию обновляет данные всех активных групп
Актор Сервис (планировщик парсера)
Предусловия Наступило время планового обхода или принят допустимый внеплановый запрос; соединение с базой доступно
Постусловия Для успешно обработанных групп сохранены расписание на заданный календарный горизонт и время обновления; результаты групп записаны в журнал, изменения доступны дальнейшей обработке. При ошибках действуют альтернативные сценарии и UC-07

Основной сценарий

  1. Планировщик инициирует обход ежедневно в 06:00 и 18:00 по Asia/Yekaterinburg. Внеплановые запросы обрабатываются фоновым процессом независимо от этих двух запусков с соблюдением NFR-3.
  2. При плановом обходе парсер получает группы с пользователями; при внеплановом — группы из принятого запроса. Повторные запросы не запускают параллельное обновление одной группы.
  3. Для каждой группы по очереди парсер открывает страницу расписания, загружает четыре недели, разбирает HTML в список занятий.
  4. Парсер сравнивает загруженные занятия с сохранёнными и атомарно записывает добавленные, изменённые и отменённые пары только в обрабатываемом периоде группы. Идентификация и отмена соответствуют модели данных и не должны уничтожать связанные заметки после появления релиза 1.1.
  5. После успешного сохранения парсер фиксирует загруженный период, время последнего успешного обновления и результат в журнале. Ошибка сохранения откатывает изменения этой группы.
  6. Между группами парсер делает паузу 5 секунд.
  7. После планового обхода парсер загружает список групп с сайта и обновляет локальный справочник, даже если активных групп нет. При первом запуске справочник загружается до первой регистрации. При ошибке ранее сохранённый справочник не очищается; ошибка фиксируется.

Альтернативные сценарии

  • 3а. Страница группы не найдена на сайте: записывается ошибка в журнал, парсер переходит к следующей группе.
  • 3б. Разметка страницы изменилась и не разбирается: ошибка логируется с фрагментом HTML, прежнее расписание группы сохраняется, переход к следующей группе.

UC-07. Обработка недоступности сайта ЮУрГУ

Краткое описание Сайт не отвечает в момент обновления; система продолжает работать на сохранённых данных
Актор Сервис (парсер)
Предусловия Запущено плановое или внеплановое обновление; сайт не отвечает или возвращает ошибку
Постусловия После исчерпания повторных попыток прежнее расписание группы, загруженный период и время последнего успешного обновления сохранены; в журнале зафиксирована ошибка; обработка остальных групп продолжается; следующий цикл выполняется при плановом или допустимом внеплановом запуске; при повторных сбоях действует правило уведомления администратора

Основной сценарий

  1. Парсер обращается к сайту и получает таймаут или ошибку HTTP.
  2. После первоначальной неудачной попытки парсер делает до трёх повторных попыток с задержками 1, 5 и 15 минут после предыдущей неудачи. После успешной попытки повторы прекращаются.
  3. Если все попытки неудачны, парсер записывает ошибку в журнал, сохраняет прежнее расписание группы, загруженный период и время последнего успешного обновления и переходит к следующей группе.
  4. Бот при запросах пользователей показывает сохранённое расписание с датой последнего успешного обновления; если данных ещё нет, явно сообщает об их отсутствии.
  5. При следующем плановом или допустимом внеплановом запуске парсер пробует снова.

Альтернативные сценарии

  • 2а. Одна из повторных попыток успешна: парсер продолжает по UC-06.
  • 3а. Обновление одной группы неудачно в двух последовательных плановых запусках: сервис отправляет администратору сообщение в Telegram с группой и текстом ошибки. Успешное обновление сбрасывает последовательность сбоев.

Clone this wiki locally