Скрипты для загрузки и выгрузки данных в Firebase

Этот репозиторий содержит скрипты для скачивания данных из репозитория на Github и загрузки их в Firebase.

Скрипты

download.py

Скрипт download.py использует библиотеки PyGithub и requests для загрузки сжатого архива репозитория GitHub, извлечения его содержимого в локальную директорию и дальнейшей обработки данных.

upload_md.py

Скрипт upload_md.py загружает файлы Markdown из указанной директории в Firestore, облачную базу данных NoSQL от Firebase. Скрипт создает объект batch для загрузки данных в Firestore и коммитит каждую партию данных после того, как размер партии достигает 500 записей.

upload_assets.py

Скрипт upload_assets.py загружает файлы из указанной директории в Firebase Storage. Скрипт создает ссылку на бакет по умолчанию в Firebase Storage и загружает каждый файл в указанную директорию внутри бакета.

Зависимости

Для запуска этих скриптов необходимы следующие библиотеки Python:

• PyGithub
• firebase-admin

Вы можете установить их с помощью следующей команды:

pip install -r requirements.txt

Учетные данные

Для использования Firebase и GitHub вам необходимо предоставить учетные данные.

Github

Для использования скриптов необходимо предоставить персональный токен доступа. Вы можете получить Github Personal Access Token и установить его как переменную окружения GITHUB_TOKEN или заменить переменную github_token в скрипте download.py на свой персональный токен.

Firebase

1. Создайте проект в Firebase и загрузите файл учетных данных служебной учетной записи в формате JSON с именем credentials.json.
2. Установите путь к этому файлу в переменную cred в скриптах upload_md.py и upload_assets.py.
3. Установите имя вашего хранилища Firebase Storage в параметре storageBucket при инициализации Firebase в скрипте upload_assets.py.

Использование

Для использования этих скриптов вам необходимо изменить код в соответствии с вашими конкретными потребностями.

download.py

1. Установите переменную github_token на ваш персональный токен доступа для GitHub.
2. Установите переменные repo_owner, repo_name и branch_name на репозиторий GitHub, который вы хотите загрузить.
3. Запустите скрипт с помощью следующей команды:

python download.py

upload_md.py

1. Установите путь к корневой директории загруженного репозитория в переменной root_path.
2. Установите имя целевой директории, содержащей файлы Markdown, в переменной target_folder.
3. Запустите скрипт с помощью следующей команды:

python upload_md.py

upload_assets.py

1. Установите путь к корневой директории загруженного репозитория в переменной root_path.
2. Установите имя целевой директории, содержащей ресурсы, в переменной target_folder.
3. Запустите скрипт с помощью следующей команды:

python upload_assets.py

Заключение

С помощью этих трех скриптов на Python вы можете легко загружать данные из репозитория GitHub и выгружать их в Firebase. Используйте это как отправную точку для создания более сложных конвейеров обработки данных или рабочих процессов автоматизации.