Skip to content

v1.3.3: optimize ClickHouse log ingestion

Latest

Choose a tag to compare

@steel-code-agent steel-code-agent released this 24 Jun 13:37
1afcdcc

Что изменено

  • Оптимизирован log-parser: убран forced flush перед incremental metrics, techlog tailer не пишет progress в idle-циклах и кэширует имена по GUID.
  • Оптимизирован clickhouse: progress/metrics переведены на INSERT-only запись без ALTER ... DELETE мутаций.
  • Добавлены latest-view для актуального состояния прогресса и метрик.
  • Добавлен скрипт deploy/clickhouse/scripts/apply_runtime_optimizations.sh для повторения runtime-операций после обновления сервисов.

Проверки

  • go test ./internal/techlog -run TestTailerProcessNewRecordsDoesNotWriteProgressWhileIdle -count=1
  • go build ./cmd/parser
  • На стенде после пересборки проверено появление свежих записей в logs.event_log и обновление logs.file_reading_progress_latest.