Repository navigation
Feature Parser
Это целевая спецификация проекта, а не перечень уже реализованных возможностей. Фактический статус — на странице Home.
Назад к Requirements.
В рамках #13 проверен публичный каталог https://new.susu.ru/students/schedules и расписание группы ЕТ-143. Ответ HTML доступен без учётных данных, однако наблюдены только две учебные недели. Получение четырёх недель пока не подтверждено: SRC-4W блокирует приёмку полноты загрузки #21. Требование ниже и UC-06 сохраняются; сокращение горизонта не согласовано. Для наблюдённой страницы JavaScript не требуется, окончательный способ загрузки определяется при реализации.
Исследование и обезличенный образец включены в main через PR #63 после одобрения ay1nesk и успешного CI, коммит 2b3354e: документ исследования, образец и метаданные. Это результат исследования, а не реализованный парсер; зависимость SRC-4W остаётся открытой. Итоги пункта 12 и сравнение плана с фактом учебного эксперимента — в отчёте пункта 12 и Estimation.
Сервисная функция без пользовательского интерфейса: периодически забирает расписание с сайта ЮУрГУ и сохраняет его в базу данных. При наличии данных бот показывает их без ожидания запроса к сайту; первоначальная загрузка выполняется в фоне, а отсутствие данных явно обозначается пользователю. Такой подход уменьшает число запросов к порталу вуза и позволяет показывать сохранённое расписание при его недоступности.
сайт ЮУрГУ ──(Playwright + BeautifulSoup)──▶ Парсер ──▶ PostgreSQL ◀── Бот (aiogram) ◀── Пользователь
Парсер — отдельный фоновый процесс с плановыми обходами и обработкой очереди внеплановых запросов независимо от этих обходов. Очередь хранится в PostgreSQL; повторный запрос для уже ожидающей или обрабатываемой группы не создаёт параллельного обновления. Бот и парсер обмениваются данными только через базу данных.
- FR-6. Расписание загружается для всех групп, у которых есть хотя бы один пользователь. Первичная и периодическая загрузка справочника групп выполняется независимо от числа зарегистрированных пользователей, чтобы первая регистрация не зависела от уже существующих пользователей.
- FR-7. Бот читает расписание только из базы.
- FR-8. При ошибке загрузки сохраняется прежнее расписание, пользователь видит дату последнего успешного обновления.
- NFR-3. Между началами обычных плановых или внеплановых циклов обновления одной группы проходит не менее часа. Запрос, пришедший раньше, ожидает разрешённого времени в очереди. При временной недоступности сайта допускаются до трёх повторных попыток внутри этого цикла согласно UC-07. Группы обрабатываются последовательно с паузой не менее 5 секунд.
- NFR-4. Используется только общедоступное расписание; учётные данные студентов не используются и не хранятся.
- NFR-7. Ошибка разбора страницы (изменение разметки) логируется, парсер переходит к следующей группе; бот продолжает работать.
- Горизонт загрузки — четыре календарные недели: с понедельника текущей недели по воскресенье третьей следующей недели. Это не обязательно 28 дней вперёд от сегодняшнего дня. Даты, время занятий и запусков интерпретируются по
Asia/Yekaterinburg. - В базе фиксируются фактически загруженный период группы и время последнего успешного обновления. День без занятий внутри загруженного периода отличается от дня, для которого данных пока нет.
- Группа, добавленная пользователем, ставится в очередь на внеплановую загрузку.
Группы (название, идентификатор на сайте), занятия (группа, дата, номер пары, время, дисциплина, вид, аудитория, преподаватель), фактически загруженные периоды и время последнего успешного обновления группы, очередь внеплановых запросов, журнал обновлений (группа, время, результат, текст ошибки). Эти данные относятся к схеме MVP; при ошибке прежние данные и границы успешно загруженного периода сохраняются.
| Краткое описание | Сервис по расписанию обновляет данные всех активных групп |
| Актор | Сервис (планировщик парсера) |
| Предусловия | Наступило время планового обхода или принят допустимый внеплановый запрос; соединение с базой доступно |
| Постусловия | Для успешно обработанных групп сохранены расписание на заданный календарный горизонт и время обновления; результаты групп записаны в журнал, изменения доступны дальнейшей обработке. При ошибках действуют альтернативные сценарии и UC-07 |
Основной сценарий
- Планировщик инициирует обход ежедневно в 06:00 и 18:00 по
Asia/Yekaterinburg. Внеплановые запросы обрабатываются фоновым процессом независимо от этих двух запусков с соблюдением NFR-3. - При плановом обходе парсер получает группы с пользователями; при внеплановом — группы из принятого запроса. Повторные запросы не запускают параллельное обновление одной группы.
- Для каждой группы по очереди парсер открывает страницу расписания, загружает четыре недели, разбирает HTML в список занятий.
- Парсер сравнивает загруженные занятия с сохранёнными и атомарно записывает добавленные, изменённые и отменённые пары только в обрабатываемом периоде группы. Идентификация и отмена соответствуют модели данных и не должны уничтожать связанные заметки после появления релиза 1.1.
- После успешного сохранения парсер фиксирует загруженный период, время последнего успешного обновления и результат в журнале. Ошибка сохранения откатывает изменения этой группы.
- Между группами парсер делает паузу 5 секунд.
- После планового обхода парсер загружает список групп с сайта и обновляет локальный справочник, даже если активных групп нет. При первом запуске справочник загружается до первой регистрации. При ошибке ранее сохранённый справочник не очищается; ошибка фиксируется.
Альтернативные сценарии
- 3а. Страница группы не найдена на сайте: записывается ошибка в журнал, парсер переходит к следующей группе.
- 3б. Разметка страницы изменилась и не разбирается: ошибка логируется с фрагментом HTML, прежнее расписание группы сохраняется, переход к следующей группе.
| Краткое описание | Сайт не отвечает в момент обновления; система продолжает работать на сохранённых данных |
| Актор | Сервис (парсер) |
| Предусловия | Запущено плановое или внеплановое обновление; сайт не отвечает или возвращает ошибку |
| Постусловия | После исчерпания повторных попыток прежнее расписание группы, загруженный период и время последнего успешного обновления сохранены; в журнале зафиксирована ошибка; обработка остальных групп продолжается; следующий цикл выполняется при плановом или допустимом внеплановом запуске; при повторных сбоях действует правило уведомления администратора |
Основной сценарий
- Парсер обращается к сайту и получает таймаут или ошибку HTTP.
- После первоначальной неудачной попытки парсер делает до трёх повторных попыток с задержками 1, 5 и 15 минут после предыдущей неудачи. После успешной попытки повторы прекращаются.
- Если все попытки неудачны, парсер записывает ошибку в журнал, сохраняет прежнее расписание группы, загруженный период и время последнего успешного обновления и переходит к следующей группе.
- Бот при запросах пользователей показывает сохранённое расписание с датой последнего успешного обновления; если данных ещё нет, явно сообщает об их отсутствии.
- При следующем плановом или допустимом внеплановом запуске парсер пробует снова.
Альтернативные сценарии
- 2а. Одна из повторных попыток успешна: парсер продолжает по UC-06.
- 3а. Обновление одной группы неудачно в двух последовательных плановых запусках: сервис отправляет администратору сообщение в Telegram с группой и текстом ошибки. Успешное обновление сбрасывает последовательность сбоев.