Поддержка буферизации при добавлении данных

[kafnevod]

Цель

Обеспечить поддержку буферизации на уровне сервиса данных

Функциональные требования

При добавлении информации в таблицы ClickHouse необходимо буферизировать данные,
так как в противном случае вставки будут неэффективными.
Обычно для этих целей используются proxy-сервера. Но все они к сожалению поддерживают только HTTP-интерфейс.
У нас же драйвер использует Native TCP интерфейс.
Поэтому задача буферизации данных в настоящее время ложится на приложение.
Необходимо реализовать простой механизм формировния буфера записей по двум параметрам:

• времени формирование буфера
• число (или объем) записей в буфере
  После исчерпания одного из параметров накопленный буфер передается ClickHouse в виде
  INSERT ... VALUES (запись1), (запись2,)...

Проект на GitHub: https://github.com/Flexberry/NewPlatform.Flexberry.ORM.ClickHouseDataService
Ветка: master

Аналоги, примеры реализации

• ClickHouse-Bulk

Примерная оценка трудоёмкости

16 часов

[bratchikov]

Используются буферные таблицы ClickHouse.