Задание

Написать web-crawler - консольное приложение, которое на вход получает:

• url входа,
• степень параллелизма (кол-во одновременно обрабатываемых url'ов)

Результат сохраняет в файл в виде: url: content-type, response length

Учитывать возможность выделения кода в компонент, который будет встраиваться в другие приложения и тестируемость.

Реализация консольного приложения

Аргументы командной строки: --urls 'url1' 'url2' --max-degree-of-parallelism 1 --output-file result.txt где: --urls - список url через пробел --max-degree-of-parallelism - количество одновременно обрабатываемых url'ов --output-file - файл с результатом