Skip to content

Test tiering. Functional. When configuring DELETE tier, data evaporates from S3 #13467

@zverevgeny

Description

@zverevgeny

Изменение настроек тиринга в части удаления данных из S3 приводит к полной очистке бакета

Сценарий:
1 создаются нужные ресурсы:
1.1 таблица

ts Timestamp,
s String,
val Int64

1.2 два бакета в s3 (или очищаются ранее созданные)
1.3 два EXTERNAL DATA SOURCE:
s3_cold
s3_frozen

  1. Таблица заполняется данными равномерно распределёнными по ts в интервале 2010-2030 год
    смотрим объём данный в .sys
  2. Настраивается тиринг в два тира:
ALTER TABLE `mytable` SET (
    TTL =
        DateTime::IntervalFromDays(1000) TO EXTERNAL DATA SOURCE `/Root/s3_cold`,
        DateTime::IntervalFromDays(3000) TO EXTERNAL DATA SOURCE `/Root/s3_frozen`
    ON ts
);

Контролируем по .sys что данные разъехались по тирам пропорционально длительности интервалов
Контролируем объём данных в бакетах s3

  1. Меняем правила тиринга
ALTER TABLE `mytable` SET (
    TTL =
        DateTime::IntervalFromDays(1000)
    ON ts
);

Проверяем по .sys, что данные удалились из всех тиров, кроме __DEFAULT
Проверяем, что все данные удалились из обоих бакетов
 

Metadata

Metadata

Assignees

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions