Skip to content

Версия 2.0.0

Choose a tag to compare

@dub1401 dub1401 released this 07 Jan 14:07
· 49 commits to main since this release

Список изменений:

  • полностью переписана кодовая база с нуля для лучшей производительности и меньшей подверженности ошибкам;
  • для парсинга теперь используются GET и POST запросы, а не тяжеловесная библиотека Selenium;
  • произведён переход на модуль запросов из библиотеки dublib;
  • внедрена поддержка прокси-серверов для обхода региональных ограничений;
  • произведён отказ от поддержки Legacy-формата JSON файлов в пользу унифицированного DMP-V1;
  • для всех слайдов по умолчанию установлен сервер compress;
  • улучшена поддержка парсинга других доменов;
  • реализована авторизация с поддержкой CSRF-токенов;
  • добавлена возможность парсить список алиасов из файла Collection.txt;
  • добавлена команда repair для обновления ссылок на слайды конкретной главы;
  • добавлен режим парсинга одного только описания, активирующийся флагом -onlydesc;
  • произведён переход на новый способ документирования команд.

Исправлено:

  • множество ошибок, возникавших во время работы Selenium.

Известные проблемы:

  • для команды repair не поддерживаются флаги указания домена;
  • слайды имеют двойную вложенность в список;
  • тайтлы, недоступные на территории РФ, приводят к остановке парсинга;
  • главам, не имеющим названий, в соответствующем поле проставляется пустая строка, а не null;
  • старые тайтлы с другой системой линковки глав имеют невалидные ссылки на слайды в JSON;
  • для слайдов формата GIF ошибочно выставляется сервер сжатия;
  • иногда у тайтла могут отсутствовать все типы названий сразу.