exam-reader

Documentation

---

Exam-reader – программа для извлечения и обработки данных из файлов, формирования разных отчётов и анализа данных.

Файлы протоколов проверки результатов ЕГЭ/ОГЭ/ВПР с расширением pdf представляют собой сводную таблицу по образовательной организации.

Проблема

Протоколы результатов ЕГЭ/ОГЭ/ВПР приходят ежегодно в больших объёмах.

Школа должна предоставлять Министерству образования различную статистику:

• в целом по школе,
• по параллелям,
• по классам,
• по учащимся,
• по учителям,
• по предметам и т.п.

Это трудозатратно, так как это требует много сил и времени, потому что делается вручную.

Пример: картинка, полученая с помощью ghostscript

Принцип работы

Зависимости (библиотеки).

• camelot извлечение таблиц PDF. Единственная библиотека, которая распознаёт данный вид таблиц правильно. Сравнение с другими библиотеками и инструментами для извлечения таблиц PDF.
• PyMupdf привязки Python для библиотеки рендеринга MuPDF. Основная функция (которой нет у подобных библиотек) - извлечение блоков текста.
• peewee очень удобная ORM (поддерживает postgres).
• flask микро-фреймворк для создания веб-приложений.
• click очень удобная библиотека для создание интерфейсов командной строки.
• tqdm отличный прогрессбар.

Task (job)

job - задачи, которые хранятся в бд, и worker выполняет эти задачи.

Поочередно добавляя только минимальное количество задач, которые он cможет решить, чтобы не терять задачи при выключении.

Структура job в бд:

• id
• path (CharField)

• status (SmallIntegerField)

  • 0 - не выполнилась
  • 1 - выполняется
  • 2 - закончила выполнение

Cli

python3 -m exam_reader [OPTIONS] COMMAND [ARGS]...

Добавление файлов в очередь (db).

python3 -m exam_reader add files/ege2016.pdf files/ege2016.pdf

Запуск воркера.

• -c, --count [int] количество процессов в воркере (default 3)
• -d, --debug показывает строку состояния (без -f, --files), иначе показывает обычные сообщения о задачах (dafult false)
• -f, --files [int] добавляет в очередь тестовые фалы количеством, которое вы указали. (запускается для тестов производительности, незавершённые задачи ставит в очередь снова (1) строчка)

Запуск воркера с добавлением файлов.

Для примера надо открыть два терминала (1 - для запуска воркера, 2 - добавления задачь).

TODO !! condition (sigkill) gif как в dramatiq

python3 -m exam_reader worker -c 2 -d -f 2

Запуск теста производительности:

python3 -m exam_reader worker -c 2 -d -f 2

⚙️ Installation

Если есть ошибка Failed building wheel for PyMuPDF попробуйте обновить pip.

pip3 install --upgrade pip

Процесс разработки

• Добавлена обработка pdf файлов с помощью multiprocessing JoinableQueue camelot и PyMupdf.
• 05.11.20 Добавлен воркер (db) и основная документация к нему, также некоторые примеры)