27.2. Подготовка BiHA-кластера #
- 27.2.1. Предварительные требования и особенности
- 27.2.2. Настройка аутентификации пользователей
- 27.2.3. Подготовка BiHA-кластера с нуля
- 27.2.4. Подготовка BiHA-кластера из существующего кластера с потоковой репликацией
- 27.2.5. Подготовка BiHA-кластера из существующего сервера баз данных
- 27.2.6. Подготовка узла-рефери в BiHA-кластере
- 27.2.7. Подготовка BiHA-кластера с proxima
- 27.2.8. Настройка SSL для служебных подключений (необязательно)
- 27.2.9. Использование «магической» строки (необязательно)
- 27.2.2. Настройка аутентификации пользователей
Подготовка BiHA-кластера выполняется при помощи утилиты bihactl. Есть несколько сценариев использования утилиты:
Прежде чем начать подготовку BiHA-кластера, внимательно изучите Предварительные требования и особенности.
27.2.1. Предварительные требования и особенности #
Прежде чем начать подготовку BiHA-кластера, прочитайте следующую информацию и выполните необходимые действия:
Обеспечьте сетевую связность между всеми узлами вашего будущего BiHA-кластера.
Если необходима изоляция сети, при которой управляющий канал и передача WAL работают в одной сети, а клиентские сеансы с базой данных — в другой, настройте BiHA-кластер следующим образом:
Используйте имена узлов, которые разрешаются в IP-адреса сети для управляющего канала и WAL.
Добавьте IP-адрес для клиентских соединений в параметр конфигурации
listen_addresses.
BiHA создаёт ряд вспомогательных файлов и устанавливает некоторые параметры Postgres Pro, чтобы обеспечить корректную работу. За подробной информацией обратитесь к Конфигурация Postgres Pro.
Чтобы избежать проблем с
biha-background-worker, связанных с настройкой времени на узлах кластера, настройте синхронизацию времени на всех узлах.Не рекомендуется выполнять команды bihactl в каталоге
PGDATA. Утилитаbihactlможет создавать файлыbiha_init.logиbiha_add.logв том каталоге, откуда запускается. Однако для корректного выполнения командbihactlцелевой каталогPGDATAдолжен быть пустым.Настроить аутентификацию пользователей можно с помощью файла паролей, переменной окружения или SSL. За подробной информацией обратитесь к Настройка аутентификации пользователей.
Во время работы BiHA использует собственный механизм, чтобы динамически изменять конфигурацию Postgres Pro. Некоторые параметры Postgres Pro управляются расширением biha и изменить их с помощью ALTER SYSTEM невозможно, так как они критичны для работы biha. К таким параметрам относятся:
За подробной информацией обратитесь к Конфигурация Postgres Pro.
При использовании BiHA не рекомендуется вручную изменять какие-либо параметры конфигурации, относящиеся к применению WAL, так как это может привести к непредвиденному поведению кластера. Например, если изменить значение recovery_min_apply_delay на последователе, он может перестать принимать WAL, но при этом продолжит отображаться, как доступный и в состоянии
FOLLOWER.Не рекомендуется использовать команду
restore_commandс BiHA-кластером. За подробной информацией обратитесь к Подразделу 27.3.12.В некоторых операционных системах управление сеансами пользователей может осуществляться менеджером служб systemd. В этом случае, если сервер запущен с использованием pg_ctl и управляется удалённо, имейте в виду, что при завершении SSH-сеанса все фоновые процессы, инициированные в нём, будут также завершены демоном systemd. Чтобы избежать такого поведения, выполните одно из следующих действий:
Воспользуйтесь файлом службы
postgrespro-ent-17менеджера systemd для запуска сервера СУБД на узле кластера.Измените конфигурацию службы управления сеансами пользователей
systemd-logindв файле/etc/systemd/logind.conf, а именно установите значениеnoдля параметраKillUserProcesses.
27.2.2. Настройка аутентификации пользователей #
Роль biha_replication_user создаётся во время инициализации кластера и обладает правами на выполнение репликации в BiHA-кластере. Прежде чем приступить к инициализации кластера, вы должны выбрать метод аутентификации роли biha_replication_user и выполнить необходимую подготовку в зависимости от вашего выбора.
Важно
Если вы не настроите аутентификацию одним из перечисленных ниже методов, будет невозможно добавить последователей в BiHA-кластер.
BiHA поддерживает следующие варианты настройки аутентификации biha_replication_user:
27.2.2.1. Настройка SSL для аутентификации пользователей #
BiHA поддерживает SSL для аутентификации biha_replication_user, которую можно настроить при инициализации кластера с помощью bihactl init. За подробной информацией о защите подключений с помощью SSL обратитесь к Разделу 18.9.
Примечание
Аутентификация по SSL имеет высший приоритет. При использовании SSL файл паролей игнорируется.
При использовании SSL роль
biha_replication_userсоздаётся без пароля.
Чтобы настроить аутентификацию по SSL:
Подготовьте следующие сертификаты в формате PEM:
корневой сертификат ЦС
сертификат и ключ сервера для проверки пользователя
сертификат и ключ для аутентификации
biha_replication_userсертификат и ключ для аутентификации суперпользователя (если требуется)
Примечание
Утилита bihactl не создаёт правил аутентификации в
pg_hba*.conf.Если указаны, сертификат и ключ для суперпользователя применяются только при преобразовании существующего сервера баз данных с помощью команды
bihactlinit с параметром --convert. Так как утилита bihactl вызывает psql для подключения от имени суперпользователя через локальный сокет Unix, рекомендуется, по возможности, не указывать параметры SSL для аутентификации суперпользователя. В этом случае SSL будет использоваться только для аутентификацииbiha_replication_user.
Разместите вышеупомянутые файлы на всех узлах BiHA-кластера.
Рекомендуется размещать файлы сертификатов в одном и том же каталоге на всех узлах кластера.
Выполните команду
bihactlinit с необходимыми параметрами. Например:bihactl init \ --biha-node-id=1 \ --host=узел_1\ --port=порт_узла\ --biha-port=порт_biha\ --nquorum=количество_узлов\ --server-cert=/путь/к/сертификату_сервера\ --server-key=/путь/к/ключу_сервера\ --user-biha-cert=/путь/к/сертификату_клиента\ --user-biha-key=/путь/к/ключу_клиента\ --root-cert=/путь/к/сертификату_цс\ --biha-ssl-mode=verify-full \ --postgres-ssl-mode=verify-full \ --pgdata=каталог_PGDATA_лидераПосле завершения инициализации проверьте файл
pg_hba.biha.confи убедитесь, что используется метод аутентификацииcert.
При необходимости позже можно изменить значения, относящиеся к SSL, с помощью специальных параметров конфигурации.
27.2.2.2. Настройка аутентификации через переменные окружения #
Чтобы не хранить пароль biha_replication_user в файле паролей pgpass, можно использовать переменные окружения PGPASSWORD и BIHA_REPLICATION_PASSWORD. Пароль должен быть одинаковым в обеих переменных окружения и на всех узлах BiHA-кластера.
При инициализации кластера командой bihactl init утилита bihactl получает пароль из BIHA_REPLICATION_PASSWORD.
При добавлении узлов в кластер командой bihactl add утилита bihactl получает пароль из PGPASSWORD.
27.2.2.3. Настройка аутентификации через файл паролей #
Чтобы использовать аутентификацию через файл паролей pgpass, необходимо указать пароль для роли biha_replication_user в файлах паролей всех узлов BiHA-кластера. При инициализации кластера командой bihactl init и последующем добавлении узлов командой add утилита bihactl получает пароль из файла паролей.
Важно
Чтобы обеспечить подключение между лидером и последователями, пароль роли biha_replication_user должен быть одинаковым на всех узлах BiHA-кластера.
Для указания пароля можно использовать один из следующих способов:
Безопасный и рекомендуемый способ — добавить отдельную строку для каждого узла:
echo '
имя_узла:порт:biha_db:biha_replication_user:пароль' >> ~/.pgpass echo 'имя_узла:порт:replication:biha_replication_user:пароль' >> ~/.pgpassПростой способ — добавить одну строку для всех узлов:
echo '*:*:*:biha_replication_user:
пароль' >> ~/.pgpass
27.2.3. Подготовка BiHA-кластера с нуля #
Чтобы подготовить BiHA-кластер с нуля, выполните следующие действия.
Предварительные требования
На всех узлах будущего кластера установите пакет
postgrespro-ent-17-contrib. Не создавайте экземпляры баз данных.Убедитесь, что вы выполняете команду
bihactlот имени пользователя, который будет запускать сервер Postgres Pro Enterprise.Например, если вы запускаете сервер как пользователь
postgres, командаbihactlдолжна также выполняться пользователемpostgres.Если вы планируете использовать pg_probackup с biha, установите пакет
pg-probackup-ent-17.Выберите метод аутентификации для роли
biha_replication_userи выполните необходимую подготовку. За подробной информацией обратитесь к разделу Настройка аутентификации пользователей.
Инициализация кластера
Используйте команду bihactl init, чтобы инициализировать кластер и создать узел-лидер.
Выполните команду
bihactlinit с необходимыми параметрами:bihactl init \ --biha-node-id=1 \ --host=узел_1\ --port=порт_узла\ --biha-port=порт_biha\ --nquorum=количество_узлов\ --pgdata=каталог_PGDATA_лидераНа этом этапе можно также включить SSL для служебных подключений к кластеру, настроить кворумную синхронную репликацию и настроить аутентификацию по SSL для роли
biha_replication_user.(Необязательно) Задайте пароль для роли
biha_replication_userи введите повторно для проверки.Примечание
bihactl предлагает указать пароль для роли
biha_replication_user, только если вы не настроили какой-либо из поддерживаемых методов аутентификации. В этом случае лидер будет создан, но добавление последователей будет недоступно. Чтобы создать полноценный BiHA-кластер, настройте аутентификацию пользователей.Запускается утилита initdb, редактируются файлы postgresql.conf и pg_hba.conf.
При инициализации BiHA-кластера генерируется «магическая» строка. Об использовании «магической» строки читайте в Подразделе 27.2.9.
Запустите СУБД с помощью pg_ctl:
pg_ctl start -D
каталог_PGDATA_лидера-lфайл_журнала_лидераПроверьте статус узла в представлении biha.status_v:
SELECT * FROM biha.status_v;
Добавление узла-последователя
Примечание
Узлы необходимо добавлять по очереди. Не добавляйте новый узел, если создание ранее добавленного узла ещё не завершено и узел находится в состоянии CSTATE_FORMING. В противном случае может возникнуть следующая ошибка:
WARNING: aborting backup due to backend exiting before pg_backup_stop was
called
Убедитесь, что узел-лидер находится в состоянии
LEADER_ROилиLEADER_RW.Убедитесь, что вы настроили аутентификацию для роли
biha_replication_userс помощью одного из поддерживаемых методов.Выполните команду
bihactladd с необходимыми параметрами:bihactl add \ --biha-node-id=2 \ --host=узел_2\ --port=порт_узла\ --biha-port=порт_biha\ --use-leader "host=узел_лидерport=порт_лидераbiha-port=порт_лидера_biha" \ --pgdata=каталог_PGDATA_последователяСоздаётся резервная копия узла-лидера при помощи pg_basebackup или pg_probackup в зависимости от значения, переданного в параметре --backup-method. Также редактируются файлы postgresql.conf и pg_hba.conf.
Примечание
При выполнении этого процесса все файлы копируются с лидера на новый узел. Чем больше размер базы данных, тем дольше времени требуется для добавления последователя.
Также можно добавить данные для подключения к узлу-лидеру с помощью «магической» строки. За дополнительной информацией об использовании «магической» строки обратитесь к Подразделу 27.2.9.
Запустите СУБД с помощью pg_ctl:
pg_ctl start -D
каталог_PGDATA_последователя-lфайл_журнала_последователяПроверьте статус узла в представлении biha.status_v:
SELECT * FROM biha.status_v;
27.2.4. Подготовка BiHA-кластера из существующего кластера с потоковой репликацией #
Преобразуйте существующий кластер Postgres Pro Enterprise 17 с потоковой репликацией и настроенным экземпляром базы данных в BiHA-кластер. В результате ведущий узел кластера станет лидером, а ведомые — последователями.
Предварительные требования
Убедитесь, что вы выполняете команду
bihactlот имени пользователя, который будет запускать сервер Postgres Pro Enterprise.Например, если вы запускаете сервер как пользователь
postgres, командаbihactlдолжна также выполняться пользователемpostgres.Если вы планируете использовать pg_probackup с biha, установите пакет
pg-probackup-ent-17.Выберите метод аутентификации для роли
biha_replication_userи выполните необходимую подготовку. За подробной информацией обратитесь к разделу Настройка аутентификации пользователей.
Преобразование ведущего узла в узел-лидер
Остановите существующий ведущий узел с помощью pg_ctl:
pg_ctl stop -D
каталог_PGDATA_ведущего_узлаВыполните команду
bihactlinit с параметром --convert:bihactl init --convert \ --biha-node-id=1 \ --host=узел_1\ --port=порт_PostgresPro\ --biha-port=порт_biha\ --nquorum=количество_узлов\ --pgdata=каталог_PGDATA_лидераНа этом этапе можно также включить SSL для служебных подключений к кластеру, настроить кворумную синхронную репликацию и настроить аутентификацию по SSL для роли
biha_replication_user.Во время преобразования кластера генерируется «магическая» строка. За дополнительной информацией об использовании «магической» строки обратитесь к Подразделу 27.2.9.
(Необязательно) Задайте пароль для роли
biha_replication_userи введите повторно для проверки.Примечание
bihactl предлагает указать пароль для роли
biha_replication_user, только если вы не настроили какой-либо из поддерживаемых методов аутентификации. В этом случае лидер будет создан, но добавление последователей будет недоступно. Чтобы создать полноценный BiHA-кластер, настройте аутентификацию пользователей.Запустите СУБД с помощью pg_ctl:
pg_ctl start -D
каталог_PGDATA_лидера-lфайл_журнала_лидераПроверьте статус узла в представлении biha.status_v:
SELECT * FROM biha.status_v;
Преобразование ведомого узла в узел-последователь
Убедитесь, что вы настроили аутентификацию для роли
biha_replication_userс помощью одного из поддерживаемых методов.Остановите ведомый узел с помощью pg_ctl:
pg_ctl stop -D
каталог_PGDATA_ведомого_узлаВыполните команду
bihactladd с параметром --convert-standby:bihactl add --convert-standby \ --biha-node-id=2 \ --host=
узел_2\ --port=порт_PostgresPro\ --biha-port=5435 \ --use-leader "host=адрес_узла_лидераport=порт_лидераbiha-port=порт_лидера_biha" \ --pgdata=каталог_PGDATA_последователяПри преобразовании существующего ведомого узла в узел-последователь biha создаёт файлы
икаталог_PGDATA_последователя/pg_biha/biha.conf, необходимые для подключения узла к кластеру, и редактирует файлы postgresql.conf и pg_hba.conf.каталог_PGDATA_последователя/pg_biha/biha.stateТакже можно добавить данные для подключения к узлу-лидеру с помощью «магической» строки. За дополнительной информацией об использовании «магической» строки обратитесь к Подразделу 27.2.9.
Запустите СУБД с помощью pg_ctl:
pg_ctl start -D
каталог_PGDATA_последователя-lфайл_журнала_последователяПроверьте статус узла в представлении biha.status_v:
SELECT * FROM biha.status_v;
27.2.5. Подготовка BiHA-кластера из существующего сервера баз данных #
Если существующий сервер Postgres Pro Enterprise 17 с настроенной базой данных состоит только из одного узла, вы можете преобразовать его в узел-лидер, а затем добавить остальные узлы в BiHA-кластер с помощью команды bihactladd.
Предварительные требования
Убедитесь, что вы выполняете команду
bihactlот имени пользователя, который будет запускать сервер Postgres Pro Enterprise.Например, если вы запускаете сервер как пользователь
postgres, командаbihactlдолжна также выполняться пользователемpostgres.Если вы планируете использовать pg_probackup с biha, установите пакет
pg-probackup-ent-17.Выберите метод аутентификации для роли
biha_replication_userи выполните необходимую подготовку. За подробной информацией обратитесь к разделу Настройка аутентификации пользователей.
Преобразование существующего узла в узел-лидер
Остановите существующий узел с помощью pg_ctl:
pg_ctl stop -D
каталог_PGDATA_сервераВыполните команду
bihactlinit с параметром --convert:bihactl init --convert \ --biha-node-id=1 \ --host=узел_1\ --port=порт_PostgresPro\ --biha-port=порт_biha\ --nquorum=количество_узлов\ --pgdata=каталог_PGDATA_лидераНа этом этапе можно также включить SSL для служебных подключений к кластеру, настроить кворумную синхронную репликацию и настроить аутентификацию по SSL для роли
biha_replication_user.Редактируются файлы postgresql.conf и pg_hba.conf.
Во время преобразования узла генерируется «магическая» строка. За дополнительной информацией об использовании «магической» строки обратитесь к Подразделу 27.2.9.
(Необязательно) Задайте пароль для роли
biha_replication_userи введите повторно для проверки.Примечание
bihactl предлагает указать пароль для роли
biha_replication_user, только если вы не настроили какой-либо из поддерживаемых методов аутентификации. В этом случае лидер будет создан, но добавление последователей будет недоступно. Чтобы создать полноценный BiHA-кластер, настройте аутентификацию пользователей.Запустите СУБД с помощью pg_ctl:
pg_ctl start -D
каталог_PGDATA_лидера-lфайл_журнала_лидераПроверьте статус узла в представлении biha.status_v:
SELECT * FROM biha.status_v;
Добавление узла-последователя
Убедитесь, что узел-лидер находится в состоянии
LEADER_ROилиLEADER_RW.Убедитесь, что вы настроили аутентификацию для роли
biha_replication_userс помощью одного из поддерживаемых методов.Выполните команду
bihactladd с необходимыми параметрами:bihactl add \ --biha-node-id=2 \ --host=узел_2\ --port=порт_узла\ --biha-port=порт_biha\ --use-leader "host=адрес_узла_лидераport=порт_лидераbiha-port=порт_biha_лидера" \ --pgdata=каталог_PGDATA_последователяСоздаётся резервная копия узла-лидера при помощи pg_basebackup или pg_probackup в зависимости от значения, переданного в параметре --backup-method. Также редактируются файлы postgresql.conf и pg_hba.conf.
Также можно добавить данные для подключения к узлу-лидеру с помощью «магической» строки. За дополнительной информацией об использовании «магической» строки обратитесь к Подразделу 27.2.9.
Запустите СУБД с помощью pg_ctl:
pg_ctl start -D
каталог_PGDATA_последователя-lфайл_журнала_последователяПроверьте статус узла в представлении biha.status_v:
SELECT * FROM biha.status_v;
27.2.6. Подготовка узла-рефери в BiHA-кластере #
Узел-рефери участвует в выборах и помогает разрешить проблемы разделения кластера.
Примечание
При добавлении в кластер узла-рефери можно использовать только pg_basebackup.
По умолчанию на рефери копируются только база данных
biha_dbи системные таблицы. База данныхpostgresи пользовательские данные не копируются. Если необходимо, чтобы база данныхpostgresприсутствовала на рефери, укажите параметр --referee-with-postgres-db.
Чтобы подготовить узел-рефери:
Выполните команду
bihactladd с соответствующим значением параметра --mode:bihactl add \ --biha-node-id=3 \ --host=узел_3\ --port=порт_узла\ --biha-port=порт_biha\ --use-leader "host=адрес_узла_лидераport=порт_лидераbiha-port=порт_лидера_biha" \ --pgdata=каталог_PGDATA_рефери\ --mode=refereeили
bihactl add \ --biha-node-id=3 \ --host=узел_3\ --port=порт_узла\ --biha-port=порт_biha\ --use-leader "host=адрес_узла_лидераport=порт_лидераbiha-port=порт_лидера_biha" \ --pgdata=каталог_PGDATA_рефери\ --mode=referee_with_walПроверьте параметр конфигурации shared_buffers на рефери.
Если значение слишком высокое, установите значение по умолчанию 128 МБ.
С помощью pg_ctl запустите экземпляр Postgres Pro с настроенным узлом-рефери:
pg_ctl start -D
каталог_PGDATA_рефериПроверьте статус узла в представлении biha.status_v:
SELECT * FROM biha.status_v;
27.2.7. Подготовка BiHA-кластера с proxima #
Чтобы расширить возможности отказоустойчивости функциональностью прокси-сервера и пула соединений, можно включить расширение proxima во время подготовки BiHA-кластера.
Примечание
Расширением proxima можно также управлять в существующем BiHA-кластере. За подробной информацией обратитесь к Управление расширением proxima.
Во время инициализации BiHA-кластера с нуля в команде
bihactlinit укажите параметр --enable-proxima. Например:bihactl init \ --biha-node-id=1 \ --host=узел_1\ --port=порт_узла\ --biha-port=порт_biha\ --nquorum=количество_узлов\ --pgdata=каталог_PGDATA_лидера--enable-proximaУтилита bihactl добавляет proxima в список shared_preload_libraries в файле postgresql.conf, создаёт файл
postgresql.proxima.confи включает его в файлpostgresql.biha.conf.Так как последователи добавляются с помощью создания и восстановления резервной копии лидера, конфигурация proxima копируется на последователей так же, как и другие параметры конфигурации BiHA.
При добавлении узла-рефери конфигурация proxima не копируется на рефери.
Когда BiHA-кластер будет готов, вы сможете изменить параметры конфигурации proxima.
27.2.8. Настройка SSL для служебных подключений (необязательно) #
При инициализации BiHA-кластера можно включить SSL для служебных соединений кластера с помощью параметра --use-ssl. Чтобы включить или отключить SSL в инициализированном BiHA-кластере, воспользуйтесь инструкцией Управление SSL для служебных подключений.
Подготовка сертификата и ключа
С помощью утилиты
OpenSSLсгенерируйте сертификат и закрытый ключ и сохраните их в каталоге/PGDATA/pg_bihaна каждом узле кластера:openssl req -x509 -newkey rsa:4096 -keyout
путь_к_ключу-outпуть_к_сертификату-sha256 -daysсрок_действия-nodes -subj "/CN=домен_сертификата"Например:
openssl req -x509 -newkey rsa:4096 -keyout /PGDATA/pg_biha/biha_priv_key.pem -out /PGDATA/pg_biha/biha_pub_cert.pem -sha256 -days 365 -nodes -subj "/CN=localhost"
Будут созданы следующие файлы:
biha_priv_key.pem— закрытый ключ с доступом пользователя на чтение и запись (0600)biha_pub_cert.pem— самоподписанный сертификат, выпущенный на указанный период времени и для указанного домена
Важно
Убедитесь, что для файлов сертификата и закрытого ключа вы использовали вышеуказанные имена, так как BiHA будет искать файлы именно по этим именам.
Включение SSL
При инициализации BiHA-кластера с помощью команды
bihactlinit укажите параметр --use-ssl:bihactl init \ --biha-node-id=1 \ --host=узел_1\ --port=порт_узла\ --biha-port=порт_biha\ --nquorum=количество_узлов\ --pgdata=каталог_PGDATA_лидера--use-sslЧтобы убедиться, что SSL включён, после завершения настройки BiHA-кластера с помощью команды
SHOWпроверьте, что для параметраbiha.use_sslустановлено значениеtrue:SHOW biha.use_ssl;
27.2.9. Использование «магической» строки (необязательно) #
«Магическая» строка — это специальная строка, которая автоматически генерируется при инициализации BiHA-кластера. «Магическая» строка используется в скриптах подготовки BiHA-кластера. Строка содержит данные, необходимые для подключения узлов-последователей к узлу-лидеру.
Вы можете использовать «магическую» строку, чтобы при добавлении узлов-последователей не вводить данные для подключения к узлу-лидеру вручную.
Далее приведён пример использования «магической» строки:
При инициализации кластера перенаправьте вывод
bihactlв файл:bihactl init \ --biha-node-id=1 \ --host=
узел_1\ --port=порт_узла\ --biha-port=порт_biha\ --nquorum=количество_узлов\ --pgdata=каталог_PGDATA_лидера> /tmp/magic-fileПри добавлении узла-последователя выполните следующие действия:
Установите переменную окружения:
export MAGIC_STRING="$(cat /tmp/magic-file)"
Добавьте параметр --magic-string в
bihactladd:bihactl add \ --biha-node-id=2 \ --host=узел_2\ --port=порт_узла\ --biha-port=порт_biha\ --magic-string=$MAGIC_STRING\ --pgdata=каталог_PGDATA_последователя
Узел-последователь будет использовать закодированные данные из «магической» строки для подключения к узлу-лидеру.