Парсеры

Репозиторий содержит набор парсеров для различных задач обработки данных.

Описание

Этот проект представляет собой коллекцию инструментов для парсинга и извлечения данных из различных источников.

Структура проекта

├── gov/                  # парсер сайта zakupki.gov.ru (извлечение информации о надежных поставщиках
│                         # с поставкой закупок от 1 млрд) и list-org (загрузка информации о компании)
│
├── huggingface/          # загрузка моделей с huggingface
│                         # (download_model_subdirectory - загрузка одной модели с указанными подкаталогами,
│                         # download_model.py - загрузка всех моделей из указанного списка)
│
├── maven_mirror/         # скрипты для создания локального зеркала maven central
│
├── rust_mirror/          # скрипты для создания локального зеркала библиотек языка rust
│
├── npm-mirror/           # скрипты для создания локального зеркала библиотек javascript, typescript
│
└── python_mirror/        # скрипт для создания локального зеркала библиотек python