Подключение pg_pathman к существующему inherit партиционированию

[NikitinNikolay]

Здравствуйте!

У нас есть схемы, в которых используется стандартное партиционирование постгрес, при подключении их возникают проблемы.
Текущее партиционирование представляет из себя несколько партиционированных таблиц, связанных внешними ключами.

1. При вызове create_range_partitions(v_table.oid, 'tbs_id'::text, 1, 1, 0, false) возникает две ошибки:

1. На таблицу ссылаются внешние ключи! Не понимаю чем они могут в данном случае мешать? Удалять их и потом создавать мне кажется ненужным.
2. У потомков партиционированной таблицы нет константы pg_pathman.
   В результате приходится хакать так:

insert into public.pathman_config (partrel, expr, parttype, range_interval)
values (v_table.oid, v_attribute, 2, null);
Что очень некрасиво.

2. При вызове attach_range_partition появляется ошибка:
   У других потомков партиционированной таблицы нет константы pg_pathman.
   Тут делаю сейчас так:
   execute format('ALTER TABLE %s ADD CONSTRAINT %s CHECK (%s)',
   a_child_table,
   public.build_check_constraint_name(v_child_oid),
   public.build_range_condition(v_child_oid, 'tbs_id', a_tbs_id, a_tbs_id + 1)

В общем хотелось бы иметь штатный механизм подключения pg_pathman, чтобы не заниматься хаками.

С уважением,
Никитин Николай.

[funbringer]

Добрый день, @NikitinNikolay

В общем хотелось бы иметь штатный механизм подключения pg_pathman, чтобы не заниматься хаками.

Дело в том, что штатного партицирования в постгрес не существует (пока не вышел pg 10), а стало быть, не может существовать и штатного механизма для подключения произвольно партицированной таблицы. Мы придерживаемся мнения, что каждый случай индивидуален, и, как правило, не даем никаких общих рекомендаций по поводу миграции на pg_pathman.

В вашем случае все сильно зависит от решаемой задачи.

Если вы рассматриваете возможность миграции продакшена на pg_pathman, рекомендую вам создать полноценный тестовый стенд, при этом данные:

• будут залиты с нуля в уже отпартицированную таблицу, например, с помощью COPY;
• будут добавлены в новую таблицу, восстановленную из бекапа, которую можно отпартицировать при помощи create_range_partitions();
• останутся в ваших партициях, но вы вручную соберете нужные констрейнты, используя в качестве примера пустую таблицу, которая будет распартицирована схожим образом (при этом можно использовать такие инструменты pg_pathman, как build_range_condition(), build_check_constraint_name()) и вызовете функцию add_to_pathman_config();
• другой вариант.

Я думаю, с ненулевой вероятностью при этом вылезут определенные проблемы, которые решаются в индивидуальном порядке.

Если же хочется попробовать локально ("на своем ноутбуке"), то вполне подойдет и такой способ:

/* вариант #1 */
create table partitioned_table as (select  * from ....);
select create_range_partitions(....);

Теперь по поводу ваших вопросов:

На таблицу ссылаются внешние ключи! Не понимаю чем они могут в данном случае мешать? Удалять их и потом создавать мне кажется ненужным.

На партицированной таблице не может быть внешних ключей (foreign keys), т.к. в постгресе нет глобальных индексов (покрывающих сразу несколько таблиц), которые могли бы обеспечить быстрый поиск по произвольному критерию, а не только по ключу партицирования. Поиск (с использованием unique index) производился бы только по родительской таблице, которая никаких записей не должна содержать вообще.

У потомков партиционированной таблицы нет константы pg_pathman.

Полагаю, имелся в виду check constraint. Он создается функциями pg_pathman при создании новых партиций. Ваш способ не будет работать, т.к. create_range_partitions() призван не прикреплять произвольные существующие партиции, а создавать свои, с констрейнтами и прочими мета-данными.

В результате приходится хакать так:

insert into public.pathman_config (partrel, expr, parttype, range_interval)
values (v_table.oid, v_attribute, 2, null);
Что очень некрасиво.

Это не только некрасиво, но еще и не будет работать, по причинам, которые я указал выше.

Резюмирую:

• К сожалению, определенные хаки неизбежны, т.к. стандарного партицирования нет.
• Готовой утилитой мы не располагаем, поэтому мы готовы оказать вам всяческую поддержку при создании подобного инструмента.

Надеюсь на ваше понимание.

[NikitinNikolay]

Насчёт foreign key убедили, не нужны они. Но у нас всё равно для красоты останутся :)

Попробовал следующий алгоритм, третий в Вашем списке:
сначала для партиций создаю констрейнты с помощью build_range_condition(), build_check_constraint_name().
потом для родителя вызываю add_to_pathman_config.
Ошибок нет, Runtime Append в плане возникает.
Ничего больше делать не надо для корректной работы?

[funbringer]

Ошибок нет, Runtime Append в плане возникает.

Если add_to_pathman_config() прошел успешно - то все хорошо, можно пользоваться :) Он специально создан для валидации, чтобы не нужно было вручную делать вставку в pathman_config.

Если у вас будут какие-либо вопросы - обращайтесь, мы поможем.

Кроме того, рекомендую обновиться до версии 1.4.1 (если вы все еще этого не сделали), она содержит несколько важных исправлений.

[NikitinNikolay]

Спасибо за помощь.
Да, если в релиз пойдёт, то само собой возьмём последнюю версию.