Assayo

Визуализация и анализ данных вашего git-репозитория (демо).

В этом репозитории находится модуль для автоматического сбора и объединения логов для списка репозиториев.

Содержание

• Архитектура приложения
  • Алгоритм работы
  • Ресурсы необходимые приложению
• Как запустить?
  • Запуск из исходников
  • Запуск Docker контейнера
• Общие настройки
  • Json файл
  • Переменные окружения
• Настройки списка задач
  • Json файл
• API
• Контакты

Архитектура приложения

1. Reports showcase UI отображает список доступных отчётов. Каждый отчёт состоит из названия, описания и списка репозиториев.
2. Crawler service (вы тут) собирает логи репозиториев для отчёта.
3. Log visualization UI отображает отчёты. Для работы ему нужен файл лога.

Алгоритм работы

1. Ожидание триггера запуска (таймер, запрос, событие);
2. Обход списка репозиториев;
3. Получение лог-файла для каждого репозитория;
4. Объединение логов в общие файлы;
5. Переход к пункту 1.

Ресурсы необходимые приложению

В ходе работы скрипт загружает репозиторий для его обработки. Репозиторий может иметь большой вес. Доступные варианты работы:

• Хранить репозитории между вызовами. В этом случае расходуется много дискового пространства, но увеличивается скорость обхода списка задач и снижаются сетевые расходы для получения изменений в репозитории.
• Удалять репозиторий сразу после получения лога. При этом подходе требуется меньший объём дискового пространства, но необходимо заново скачивать весь репозиторий. Это увеличивает время обработки списка и объём сетевого трафика.

Как запустить?

Запуск из исходников

1. Скачайте и установите NodeJS
2. Клонируйте или скачайте этот репозиторий
3. Установите зависимые пакеты npm install
4. Поправьте общие настройки приложения в файле src/configs/app.json
5. Поправьте список задач (а именно, список репозиториев для обработки) в файле /src/configs/tasks.json
6. Перейдите в папку src/
7. Выполните команду node index.js

Запуск Docker контейнера

1. Скачайте docker образ;
2. Поднимите его в локальной сети;

Общие настройки

Настройки могут быть получены сразу из нескольких источников. Приоритет выбора окончательного значения:

1. Из внешнего источника;
2. Из переменной окружения;
3. Из файла.

Файл в папке src/configs/app.json

Свойство	Тип значения	Значение по умолчание	Описание
loadConfigFromUrl	JSON		Нужно запросить настройки из внешнего источника?
loadConfigFromUrl.url	string		URL-адрес запроса.
loadConfigFromUrl.method	string		Метод запроса.
loadConfigFromUrl.headers	JSON		Заголовки запроса в виде json объекта.
loadConfigFromUrl.body	any		Тело запроса.
loadTasksFromUrl	JSON		Нужно запросить список задач из внешнего источника?
loadTasksFromUrl.url	string		URL-адрес запроса.
loadTasksFromUrl.method	string		Метод запроса.
loadTasksFromUrl.headers	JSON		Заголовки запроса в виде json объекта.
loadTasksFromUrl.body	any		Тело запроса.
output.folder	string	"logs"	Папка, в которую будут складываться логи репозиториев после обработки.
output.needCreateAfterInit	boolean	true	Нужно создать эту папку в момент инициализации приложения.
input.folder	string	"repositories"	Папка, в которую будут загружаться репизитории указанные в списке задач.
input.needCreateAfterInit	boolean	true	Нужно создать эту папку в момент инициализации приложения.
input.needClearAfterUse	boolean	false	Нужно очищать эту папку каждый раз после завершения сбора логов.

Переменные окружения

Свойство	Тип значения	Значение по умолчание	Описание
PORT	number	3007	Порт запуска приложения.
LOAD_CONFIG_URL	string		URL-адрес для запроса для настроек приложения.
LOAD_CONFIG_METHOD	string		Метод запроса.
LOAD_CONFIG_HEADERS	JSON-like string		Заголовки запроса в виде json объекта.
LOAD_CONFIG_BODY	any		Тело запроса.
LOAD_TASKS_URL	string		URL-адрес для запроса списка задач.
LOAD_TASKS_METHOD	string		Метод запроса.
LOAD_TASKS_HEADERS	JSON-like string		Заголовки запроса в виде json объекта.
LOAD_TASKS_BODY	any		Тело запроса.
OUTPUT_FOLDER	string	"logs"	Папка, в которую будут складываться логи репозиториев после обработки.
OUTPUT_NEED_CREATE_AFTER_INIT	boolean	true	Нужно создать эту папку в момент инициализации приложения.
INPUT_FOLDER	string	"repositories"	Папка, в которую будут загружаться репизитории указанные в списке задач.
INPUT_NEED_CREATE_AFTER_INIT	boolean	true	Нужно создать эту папку в момент инициализации приложения.
INPUT_NEED_CLEAR_AFTER_USE	boolean	false	Нужно очищать эту папку каждый раз после завершения сбора логов.

Настройки списка задач

Список задач может быть получен сразу из нескольких источников. Приоритет выбора окончательного значения:

1. Из внешнего источника;
2. Из файла.

Файл в папке src/configs/tasks.json

Свойство	Тип значения	Обязательный	Описание
code	string	да	Уникальный индентификатор. Используется в качестве названия итогового файла.
folder	string	нет	Дочерняя папка, в которую нужно поместить итоговый файл. По умолчанию файл помещается в папку указанную в общих настройках (output.folder)
repositories[]	object[]	да	Список репозиториев для обработки.
repositories[].url	string	да	URL-адрес для загрузки репозитория.
repositories[].folder	string	нет	Дочерняя папка, в которую нужно поместить репозиторий.
repositories[].needClearAfterUse	boolean	нет	Нужно очищать эту папку каждый раз после завершения сбора логов.

API

Метод	URL	Тело ответа	Описание
GET	/start	{ message: string }	Запустить обработку списка задач
GET	/check	{ message: string }	Получить текущий статус приложения (health check)

Пожелания, предложения, замечания

• telegramm @bakhirev (приоритетный способ связи)
• alexey-bakhirev@yandex.ru
• сайт https://assayo.online/