ParsKuf

ParsKuf - это скрипт, парсящий Kufar.

Требования

• Установленный Python 3.x версии
• Установленные зависимости, указанные в файле requirements.txt

pip install -r requirements.txt

Установка и настройка

• Склонируйте репозиторий
• Создайте локальный репозиторий
• В папке проекта создаётся папка utils в ней будет храниться файл errors.txt для логирования ошибок и файл stats.txt для сбора статистики.
• Папку utils и файлы errors.txt и stats.txt самому создавать не надо!

Особенности

• В скрипте есть 12 категорий товаров, при запуске программы вам будет предложено выбрать нужную категорию.

• После ввода номера категории и ключевой фразы, вам будет предложено выбрать вариант работы скрипта, после выбора вариантов работы скрипт начнёт работу, среднее время цикла парсинга ~3 секунды.

• После окончания работы скрипта в директории проекта создаётся папка content, внутри неё создаётся папка с выбранной категорией, внутри создаётся папка с названием ключевой фразы, а внутри неё создаются база данных .db и HTML страница .html.

• База данных .db содержит ссылку на товар, ссылку на изображение с обложки, местонахождение и цену товара.

• Страница .html содержит изображение, ссылку на товар, местонахождение и цену товара. Результаты отсортированы в порядке возрастания или убывания цены, в зависимости от выбранного варианта работы.

• Если в базе данных цена равна 0.0 это значит, что цена в объявлении указана как Договорная или Бесплатно.

• В файл stats.txt после каждого цикла парсинга добавляется информация об этом цикле: категория искомого товара, ключевая фраза для парсинга, дата завершения цикла, время, за которое цикл отработал.

Примечание

Данная версия скрипта не является исчерпывающей, если у вас есть идеи по его улучшению или же вы нашли баг - пишите в telegram: @kolo_id