Repository navigation
Инструкция:
Галочка "Полное совпадение" означает, что будут собраны только полностью совпадающие ники, без учета регистра
Галочка "Учитывать регистр "означает, что будут собраны только полностью совпадающие ники, с учетом регистра
- Введите ник
- Нажать кнопку поиск
- Ждите
Будет создана таблица Введенный_Ник.xlsx (Введенный_Ник это ник, в котом остались только буквы, цифры и пробелы,
пробелы заменены на "_"). Если таблица с таким именем уже существует, то она будет перезаписана
Описание работы программы:
- интерфейс сделан с помощью flet
- запросы реализованы на aiohttp
- парсер с помощью bs4
- построчный экспорт в .xlsx с помощью openpyxl
для получения доступа к поиску по api steam необходимо чтобы значение sessionid в ссылке и в cookies совпали
sessionid получается в заголовках ответа от сайта "https://steamcommunity.com/"
Немножко истории)
- была быстрая версия парсера, но сбор данных был реализован через обычный список и потребление озу доходило до 12 гб
- позже я ее переделал ее на работу с sql, т.к. необходим один исполняемый файл пришлось использовать sqlite, но в
следствии большого кол-ва запросов к бд sqlite пал - затем переделал на сохранение страниц, падало без причины после записал 10-15к файлов
- в итоге результат по мере получения построчно записывается в .xlsx, но это работает относительно медленно
- а после итога переписал обратно на обычный список, ато слишком медленно получилось