Python_Scanner

Автоматический сканер файлов в структуре каталогов и учёт их в PostgreSQL.

Описание

Этот скрипт на Python выполняет следующие задачи:

• Рекурсивно сканирует указанную файловую структуру (например, SFTP-каталог, смонтированный как локальный диск)
• Идентифицирует новые файлы, которых ещё нет в реестре
• Извлекает параметры из пути к файлу:
  • Поставщик данных: Сети или Дистрибьюторы
  • Год и Месяц отчёта
  • Клиент
  • Тип отчёта (Закупки, Продажи и т.д.)
• Записывает информацию в таблицу ops.file_registry PostgreSQL:
  • путь к файлу
  • дата загрузки (на основе mtime)
  • статус (NEW)
  • вышеуказанные параметры

Скрипт позволяет вести учёт файлов и отслеживать их обработку в ETL-системе.

---

Установка и настройка

1. Склонируй репозиторий

   git clone https://github.com/KKKuznetsov/Python_Scanner.git
   cd Python_Scanner

2. Установи зависимости

   pip install psycopg2

3. Настрой подключение к базе PostgreSQL
   В файле Python_Scanner.py укажи корректные параметры:

   db_config = {
     "host": "localhost",
     "database": "etl_demo",
     "user": "postgres",
     "password": "your_password"
   }