Scraper

Overview

Scraper - простой, синхронный веб-краулер и веб-скрейпер, созданный в обущающих целях
Собирает данные об игроках, учавствующих в чемпионате мира по футболу

Install

Устанавливаем зависимости

pip install -r requirements/dev.txt

Commands

Загрузить URL и вывести результат в stdout

python -m scraper fetch <url>

Запуск краулера

python -m scraper crawl [options]

    Supported options:

• --outfile=FILE or -o FILE: файл, в который будут сохранены собранные данные
• --format=FORMAT or -f FORMAT: формат файла с собранными данными {csv, jl}