Настройка отказоустойчивого кластера PostgreSQL в Linux

[giscus[bot]]

Настройка отказоустойчивого кластера PostgreSQL в Linux

Отказоустойчивость PostgreSQL обеспечивается переключением ролей сервера с Реплики на Мастер СУБД и механизмом потоковой репликации, позволяющим передавать изменения с ведущего сервера на ведомые так, чтобы в каждый момент времени на ведомом сервере хранилась полная и консистентная копия базы данных.

https://itdraft.ru/2023/08/14/nastrojka-otkazoustojchivogo-klastera-postgresql-v-linux/

[bullvinkl]

Михаил (23.10.2023 в 12:47) (migrated from Wordpress):
Служба Etcd не стартует, жалуется на сроку:
ExecStart=/bin/bash -c GOMAXPROCS=$(nproc) /usr/local/bin/etcd (code=exited, status=211/IOPRIO)

[bullvinkl]

Архип (19.12.2023 в 10:50) (migrated from Wordpress):
Добрый день! Postgres Pro можно использовать? есть видео инструкция?

[bullvinkl]

Скорей всего можно. Но дорого)

[bullvinkl]

Михаил (17.06.2024 в 21:40) (migrated from Wordpress):
от души

[NaughtyErica]

По параметрам для PostgreSQL (Patroni) есть бесплатный онлайн конфигуратор от Тантор Лабс. Не сравнивал конечно с теми, что посчитаны в Вашей статье, но полезной базой в будущих расчетах точно лишним не будет.

Не знаю, разрешена ли здесь вставка ссылок, поэтому постарайтесь самостоятельно найти конфигуратор на оф. сайте в шапке страницы

[bullvinkl]

Не знал о таком инструменте, поизучаю.
Спасибо.

[sytchevav38]

День добрый.
А можете описать процедуру переключения?
Она динамическая и автоматическая, или только в ручном режиме переводить ноды на мастер через patroni?
Первый раз сталкиваюсь с кластеризацией PostgreSQL. Развернул у себя 3 ноды ETCD + 3 ноды PostgreSQL с patroni. Не могу понять каким образом должно происходить соединение от клиента(приложения) к базе данных.
Приложению в качетве сервера баз данных указывается адрес pgbouncer и порт 6432? А он в свою очередь инициирует соединение с базой данных на ноде PostgreSQL которая мастер в данный момент?

[bullvinkl]

Добрый день.
Процедура переключения автоматическая. Но можно и вручную менять тип ноды, например для обслуживания какой-либо из нод.

Роли компонентов:

• Etcd - хранение метаданных кластера, включая информацию о узлах, их ролях и состоянии (можно заменить на Hashicorp Consul)
• KeepAlived - сервис, который обеспечивает управление виртуальным IP-адресом и обеспечивает перенос его между узлами кластера в случае выхода из строя одного из них.
• HAproxy - отслеживает роли узлов в кластере и автоматически направляет запросы на мастер-узел (тут в зависимости на какую роль узла будет идти обращение - мастер, синхронная реплика, асинхронная реплика - по портам)
• Partoni - Основное ПО. Автоматизирует процесс переключения мастер ноды PostgreSQL в случае ее падения.
• PGbouncer - балансировщик нагрузки PostgreSQL. В принципе можно и без него.

[sytchevav38]

Благодарю за ответ.

[alsarins]

md5 хэш для /etc/pgbouncer/userlist.txt генерируется не от пароля, а от конкатенации пароль+юзер

http://www.pgbouncer.org/config.html#authentication-file-format

[bullvinkl]

Благодарю. У меня как раз этот момент был не разобран, не получалось зашифровать.

[lNickSoN]

Добрый день. Неочень понятна механика работы KeepAlived. У вас virtual_ipaddress {10.0.2.11} фигурирует только в KeepAlived и далее нигде не используется. Я сделал все по инструкции но у меня к адресу 10.0.2.11 не подцепляется а только к 10.0.2.15 и к 10.0.2.16 но при падении одного из них переключать приходится вручную. Как мне донастроить кластер на подключение к 10.0.2.11 что бы он мигрировал? Если я в конфиги прописываю 10.0.2.11 то он его ставит на все ноды сразу и patroni отваливается либо с ошибкой реплики либо обе реплики running вместо standbye

[lNickSoN]

Я по инструкции и KeepAlived настроил и Haproxy и все корректно работает но адрес 10.0.2.11 внутренний и не имеет доступа во внешнюю сеть. Есть только внешние адреса физических машин. Тоесть мне придется сейчас каким то образом привязаться VIPом к внешнему айпи и пробросить его до VIP 10.0.2.11

[bullvinkl]

Настройка сетевого взаимодействия - это уже другой вопрос. Тут все зависит от устройства сети.
Данную инструкцию я писал, развернув стенд на 3-х ВМ в Virtualbox в одной подсети.

[NaughtyErica]

Virtual IP адрес должен находиться строго на одном из узлов в конкретный промежуток времени.
Когда добьётесь этого, выполните вход в оснастку по VIP'у с узла БД, где нет VIP адреса.

sudo -iu postgres
psql -h <VIP> и так далее

[NaughtyErica]

Или поставьте клиента postgresql (или даже pgadmin 3 или 4) на любой машине и выполните проверку подключения также по ВИПу

[lNickSoN]

С этим проблем нет. Все подключилось и VIP работает как надо но он не имеет доступа из внешней сети. Тоесть сейчас стоит вопрос либо VLAN либо статический маршрут от внешнего ip до VIP