27.2. Подготовка BiHA-кластера #

Подготовка BiHA-кластера выполняется при помощи утилиты bihactl. Есть несколько сценариев использования утилиты:

Прежде чем начать подготовку BiHA-кластера, внимательно изучите Предварительные требования и особенности.

27.2.1. Предварительные требования и особенности #

Прежде чем начать подготовку BiHA-кластера, прочитайте следующую информацию и выполните необходимые действия:

  • Обеспечьте сетевую связность между всеми узлами вашего будущего BiHA-кластера.

    Если необходима изоляция сети, при которой управляющий канал и передача WAL работают в одной сети, а клиентские сеансы с базой данных — в другой, настройте BiHA-кластер следующим образом:

    • Используйте имена узлов, которые разрешаются в IP-адреса сети для управляющего канала и WAL.

    • Добавьте IP-адрес для клиентских соединений в параметр конфигурации listen_addresses.

  • BiHA создаёт ряд вспомогательных файлов и устанавливает некоторые параметры Postgres Pro, чтобы обеспечить корректную работу. За подробной информацией обратитесь к Конфигурация Postgres Pro.

  • Чтобы избежать проблем с biha-background-worker, связанных с настройкой времени на узлах кластера, настройте синхронизацию времени на всех узлах.

  • Не рекомендуется выполнять команды bihactl в каталоге PGDATA. Утилита bihactl может создавать файлы biha_init.log и biha_add.log в том каталоге, откуда запускается. Однако для корректного выполнения команд bihactl целевой каталог PGDATA должен быть пустым.

  • Настроить аутентификацию пользователей можно с помощью файла паролей, переменной окружения или SSL. За подробной информацией обратитесь к Настройка аутентификации пользователей.

  • Во время работы BiHA использует собственный механизм, чтобы динамически изменять конфигурацию Postgres Pro. Некоторые параметры Postgres Pro управляются расширением biha и изменить их с помощью ALTER SYSTEM невозможно, так как они критичны для работы biha. К таким параметрам относятся:

    За подробной информацией обратитесь к Конфигурация Postgres Pro.

  • При использовании BiHA не рекомендуется вручную изменять какие-либо параметры конфигурации, относящиеся к применению WAL, так как это может привести к непредвиденному поведению кластера. Например, если изменить значение recovery_min_apply_delay на последователе, он может перестать принимать WAL, но при этом продолжит отображаться, как доступный и в состоянии FOLLOWER.

  • Не рекомендуется использовать команду restore_command с BiHA-кластером. За подробной информацией обратитесь к Подразделу 27.3.11.

  • В некоторых операционных системах управление сеансами пользователей может осуществляться менеджером служб systemd. В этом случае, если сервер запущен с использованием pg_ctl и управляется удалённо, имейте в виду, что при завершении SSH-сеанса все фоновые процессы, инициированные в нём, будут также завершены демоном systemd. Чтобы избежать такого поведения, выполните одно из следующих действий:

    • Воспользуйтесь файлом службы postgrespro-ent-16 менеджера systemd для запуска сервера СУБД на узле кластера.

    • Измените конфигурацию службы управления сеансами пользователей systemd-logind в файле /etc/systemd/logind.conf, а именно установите значение no для параметра KillUserProcesses.

27.2.2. Настройка аутентификации пользователей #

Роль biha_replication_user создаётся во время инициализации кластера и обладает правами на выполнение репликации в BiHA-кластере. Прежде чем приступить к инициализации кластера, вы должны выбрать метод аутентификации роли biha_replication_user и выполнить необходимую подготовку в зависимости от вашего выбора.

Важно

Если вы не настроите аутентификацию одним из перечисленных ниже методов, будет невозможно добавить последователей в BiHA-кластер.

BiHA поддерживает следующие варианты настройки аутентификации biha_replication_user:

27.2.2.1. Настройка SSL для аутентификации пользователей #

BiHA поддерживает SSL для аутентификации biha_replication_user, которую можно настроить при инициализации кластера с помощью bihactl init. За подробной информацией о защите подключений с помощью SSL обратитесь к Разделу 18.9.

Примечание

  • Аутентификация по SSL имеет высший приоритет. При использовании SSL файл паролей игнорируется.

  • При использовании SSL роль biha_replication_user создаётся без пароля.

Чтобы настроить аутентификацию по SSL:

  1. Подготовьте следующие сертификаты в формате PEM:

    • корневой сертификат ЦС

    • сертификат и ключ сервера для проверки пользователя

    • сертификат и ключ для аутентификации biha_replication_user

    • сертификат и ключ для аутентификации суперпользователя (если требуется)

      Примечание

      • Утилита bihactl не создаёт правил аутентификации в pg_hba*.conf.

      • Если указаны, сертификат и ключ для суперпользователя применяются только при преобразовании существующего сервера баз данных с помощью команды bihactl init с параметром --convert. Так как утилита bihactl вызывает psql для подключения от имени суперпользователя через локальный сокет Unix, рекомендуется, по возможности, не указывать параметры SSL для аутентификации суперпользователя. В этом случае SSL будет использоваться только для аутентификации biha_replication_user.

  2. Разместите вышеупомянутые файлы на всех узлах BiHA-кластера.

    Рекомендуется размещать файлы сертификатов в одном и том же каталоге на всех узлах кластера.

  3. Выполните команду bihactl init с необходимыми параметрами. Например:

    bihactl init \
        --biha-node-id=1 \
        --host=узел_1 \
        --port=порт_узла \
        --biha-port=порт_biha \
        --nquorum=количество_узлов \
        --server-cert=/путь/к/сертификату_сервера \
        --server-key=/путь/к/ключу_сервера \
        --user-biha-cert=/путь/к/сертификату_клиента \
        --user-biha-key=/путь/к/ключу_клиента \
        --root-cert=/путь/к/сертификату_цс \
        --biha-ssl-mode=verify-full \
        --postgres-ssl-mode=verify-full \
        --pgdata=каталог_PGDATA_лидера
  4. После завершения инициализации проверьте файл pg_hba.biha.conf и убедитесь, что используется метод аутентификации cert.

При необходимости позже можно изменить значения, относящиеся к SSL, с помощью специальных параметров конфигурации.

27.2.2.2. Настройка аутентификации через переменные окружения #

Чтобы не хранить пароль biha_replication_user в файле паролей pgpass, можно использовать переменные окружения PGPASSWORD и BIHA_REPLICATION_PASSWORD. Пароль должен быть одинаковым в обеих переменных окружения и на всех узлах BiHA-кластера.

При инициализации кластера командой bihactl init утилита bihactl получает пароль из BIHA_REPLICATION_PASSWORD.

При добавлении узлов в кластер командой bihactl add утилита bihactl получает пароль из PGPASSWORD.

27.2.2.3. Настройка аутентификации через файл паролей #

Чтобы использовать аутентификацию через файл паролей pgpass, необходимо указать пароль для роли biha_replication_user в файлах паролей всех узлов BiHA-кластера. При инициализации кластера командой bihactl init и последующем добавлении узлов командой add утилита bihactl получает пароль из файла паролей.

Важно

Чтобы обеспечить подключение между лидером и последователями, пароль роли biha_replication_user должен быть одинаковым на всех узлах BiHA-кластера.

Для указания пароля можно использовать один из следующих способов:

  • Безопасный и рекомендуемый способ — добавить отдельную строку для каждого узла:

    echo 'имя_узла:порт:biha_db:biha_replication_user:пароль' >> ~/.pgpass
    
    echo 'имя_узла:порт:replication:biha_replication_user:пароль' >> ~/.pgpass
  • Простой способ — добавить одну строку для всех узлов:

    echo '*:*:*:biha_replication_user:пароль' >> ~/.pgpass

27.2.3. Подготовка BiHA-кластера с нуля #

Чтобы подготовить BiHA-кластер с нуля, выполните следующие действия.

Предварительные требования

  1. На всех узлах будущего кластера установите пакет postgrespro-ent-16-contrib. Не создавайте экземпляры баз данных.

  2. Убедитесь, что вы выполняете команду bihactl от имени пользователя, который будет запускать сервер Postgres Pro Enterprise.

    Например, если вы запускаете сервер как пользователь postgres, команда bihactl должна также выполняться пользователем postgres.

  3. Если вы планируете использовать pg_probackup с biha, установите пакет pg-probackup-ent-16.

  4. Выберите метод аутентификации для роли biha_replication_user и выполните необходимую подготовку. За подробной информацией обратитесь к разделу Настройка аутентификации пользователей.

Инициализация кластера

Используйте команду bihactl init, чтобы инициализировать кластер и создать узел-лидер.

  1. Выполните команду bihactl init с необходимыми параметрами:

    bihactl init \
         --biha-node-id=1 \
         --host=узел_1 \
         --port=порт_узла \
         --biha-port=порт_biha \
         --nquorum=количество_узлов \
         --pgdata=каталог_PGDATA_лидера

    На этом этапе можно также включить SSL для служебных подключений к кластеру, настроить кворумную синхронную репликацию и настроить аутентификацию по SSL для роли biha_replication_user.

  2. (Необязательно) Задайте пароль для роли biha_replication_user и введите повторно для проверки.

    Примечание

    bihactl предлагает указать пароль для роли biha_replication_user, только если вы не настроили какой-либо из поддерживаемых методов аутентификации. В этом случае лидер будет создан, но добавление последователей будет недоступно. Чтобы создать полноценный BiHA-кластер, настройте аутентификацию пользователей.

    Запускается утилита initdb, редактируются файлы postgresql.conf и pg_hba.conf.

    При инициализации BiHA-кластера генерируется «магическая» строка. Об использовании «магической» строки читайте в Подразделе 27.2.8.

  3. Запустите СУБД с помощью pg_ctl:

    pg_ctl start -D каталог_PGDATA_лидера -l файл_журнала_лидера
  4. Проверьте статус узла в представлении biha.status_v:

    SELECT * FROM biha.status_v;

Добавление узла-последователя

Примечание

Узлы необходимо добавлять по очереди. Не добавляйте новый узел, если создание ранее добавленного узла ещё не завершено и узел находится в состоянии CSTATE_FORMING. В противном случае может возникнуть следующая ошибка:

          WARNING:  aborting backup due to backend exiting before pg_backup_stop was
          called
      
  1. Убедитесь, что узел-лидер находится в состоянии LEADER_RO или LEADER_RW.

  2. Убедитесь, что вы настроили аутентификацию для роли biha_replication_user с помощью одного из поддерживаемых методов.

  3. Выполните команду bihactl add с необходимыми параметрами:

    bihactl add \
        --biha-node-id=2 \
        --host=узел_2 \
        --port=порт_узла \
        --biha-port=порт_biha \
        --use-leader "host=узел_лидер port=порт_лидера biha-port=порт_лидера_biha" \
        --pgdata=каталог_PGDATA_последователя

    Создаётся резервная копия узла-лидера при помощи pg_basebackup или pg_probackup в зависимости от значения, переданного в параметре --backup-method. Также редактируются файлы postgresql.conf и pg_hba.conf.

    Примечание

    При выполнении этого процесса все файлы копируются с лидера на новый узел. Чем больше размер базы данных, тем дольше времени требуется для добавления последователя.

    Также можно добавить данные для подключения к узлу-лидеру с помощью «магической» строки. За дополнительной информацией об использовании «магической» строки обратитесь к Подразделу 27.2.8.

  4. Запустите СУБД с помощью pg_ctl:

    pg_ctl start -D каталог_PGDATA_последователя -l файл_журнала_последователя
  5. Проверьте статус узла в представлении biha.status_v:

    SELECT * FROM biha.status_v;

27.2.4. Подготовка BiHA-кластера из существующего кластера с потоковой репликацией #

Преобразуйте существующий кластер Postgres Pro Enterprise 16 с потоковой репликацией и настроенным экземпляром базы данных в BiHA-кластер. В результате ведущий узел кластера станет лидером, а ведомые — последователями.

Предварительные требования

  1. Убедитесь, что вы выполняете команду bihactl от имени пользователя, который будет запускать сервер Postgres Pro Enterprise.

    Например, если вы запускаете сервер как пользователь postgres, команда bihactl должна также выполняться пользователем postgres.

  2. Если вы планируете использовать pg_probackup с biha, установите пакет pg-probackup-ent-16.

  3. Выберите метод аутентификации для роли biha_replication_user и выполните необходимую подготовку. За подробной информацией обратитесь к разделу Настройка аутентификации пользователей.

Преобразование ведущего узла в узел-лидер

  1. Остановите существующий ведущий узел с помощью pg_ctl:

    pg_ctl stop -D каталог_PGDATA_ведущего_узла
  2. Выполните команду bihactl init с параметром --convert:

    bihactl init --convert \
        --biha-node-id=1 \
        --host=узел_1 \
        --port=порт_PostgresPro \
        --biha-port=порт_biha \
        --nquorum=количество_узлов \
        --pgdata=каталог_PGDATA_лидера

    На этом этапе можно также включить SSL для служебных подключений к кластеру, настроить кворумную синхронную репликацию и настроить аутентификацию по SSL для роли biha_replication_user.

    Во время преобразования кластера генерируется «магическая» строка. За дополнительной информацией об использовании «магической» строки обратитесь к Подразделу 27.2.8.

  3. (Необязательно) Задайте пароль для роли biha_replication_user и введите повторно для проверки.

    Примечание

    bihactl предлагает указать пароль для роли biha_replication_user, только если вы не настроили какой-либо из поддерживаемых методов аутентификации. В этом случае лидер будет создан, но добавление последователей будет недоступно. Чтобы создать полноценный BiHA-кластер, настройте аутентификацию пользователей.

  4. Запустите СУБД с помощью pg_ctl:

    pg_ctl start -D каталог_PGDATA_лидера -l файл_журнала_лидера
  5. Проверьте статус узла в представлении biha.status_v:

    SELECT * FROM biha.status_v;

Преобразование ведомого узла в узел-последователь

  1. Убедитесь, что вы настроили аутентификацию для роли biha_replication_user с помощью одного из поддерживаемых методов.

  2. Остановите ведомый узел с помощью pg_ctl:

    pg_ctl stop -D каталог_PGDATA_ведомого_узла
  3. Выполните команду bihactl add с параметром --convert-standby:

    bihactl add --convert-standby \
      --biha-node-id=2 \
      --host=узел_2 \
      --port=порт_PostgresPro \
      --biha-port=5435 \
      --use-leader "host=адрес_узла_лидера port=порт_лидера biha-port=порт_лидера_biha" \
      --pgdata=каталог_PGDATA_последователя

    При преобразовании существующего ведомого узла в узел-последователь biha создаёт файлы каталог_PGDATA_последователя/pg_biha/biha.conf и каталог_PGDATA_последователя/pg_biha/biha.state, необходимые для подключения узла к кластеру, и редактирует файлы postgresql.conf и pg_hba.conf.

    Также можно добавить данные для подключения к узлу-лидеру с помощью «магической» строки. За дополнительной информацией об использовании «магической» строки обратитесь к Подразделу 27.2.8.

  4. Запустите СУБД с помощью pg_ctl:

    pg_ctl start -D каталог_PGDATA_последователя -l файл_журнала_последователя
  5. Проверьте статус узла в представлении biha.status_v:

    SELECT * FROM biha.status_v;

27.2.5. Подготовка BiHA-кластера из существующего сервера баз данных #

Если существующий сервер Postgres Pro Enterprise 16 с настроенной базой данных состоит только из одного узла, вы можете преобразовать его в узел-лидер, а затем добавить остальные узлы в BiHA-кластер с помощью команды bihactladd.

Предварительные требования

  1. Убедитесь, что вы выполняете команду bihactl от имени пользователя, который будет запускать сервер Postgres Pro Enterprise.

    Например, если вы запускаете сервер как пользователь postgres, команда bihactl должна также выполняться пользователем postgres.

  2. Если вы планируете использовать pg_probackup с biha, установите пакет pg-probackup-ent-16.

  3. Выберите метод аутентификации для роли biha_replication_user и выполните необходимую подготовку. За подробной информацией обратитесь к разделу Настройка аутентификации пользователей.

Преобразование существующего узла в узел-лидер

  1. Остановите существующий узел с помощью pg_ctl:

    pg_ctl stop -D каталог_PGDATA_сервера
  2. Выполните команду bihactl init с параметром --convert:

    bihactl init --convert \
        --biha-node-id=1 \
        --host=узел_1 \
        --port=порт_PostgresPro \
        --biha-port=порт_biha \
        --nquorum=количество_узлов \
        --pgdata=каталог_PGDATA_лидера

    На этом этапе можно также включить SSL для служебных подключений к кластеру, настроить кворумную синхронную репликацию и настроить аутентификацию по SSL для роли biha_replication_user.

    Редактируются файлы postgresql.conf и pg_hba.conf.

    Во время преобразования узла генерируется «магическая» строка. За дополнительной информацией об использовании «магической» строки обратитесь к Подразделу 27.2.8.

  3. (Необязательно) Задайте пароль для роли biha_replication_user и введите повторно для проверки.

    Примечание

    bihactl предлагает указать пароль для роли biha_replication_user, только если вы не настроили какой-либо из поддерживаемых методов аутентификации. В этом случае лидер будет создан, но добавление последователей будет недоступно. Чтобы создать полноценный BiHA-кластер, настройте аутентификацию пользователей.

  4. Запустите СУБД с помощью pg_ctl:

    pg_ctl start -D каталог_PGDATA_лидера -l файл_журнала_лидера
  5. Проверьте статус узла в представлении biha.status_v:

    SELECT * FROM biha.status_v;

Добавление узла-последователя

  1. Убедитесь, что узел-лидер находится в состоянии LEADER_RO или LEADER_RW.

  2. Убедитесь, что вы настроили аутентификацию для роли biha_replication_user с помощью одного из поддерживаемых методов.

  3. Выполните команду bihactl add с необходимыми параметрами:

     bihactl add \
         --biha-node-id=2 \
         --host=узел_2 \
         --port=порт_узла \
         --biha-port=порт_biha \
         --use-leader "host=адрес_узла_лидера port=порт_лидера biha-port=порт_biha_лидера" \
         --pgdata=каталог_PGDATA_последователя
     

    Создаётся резервная копия узла-лидера при помощи pg_basebackup или pg_probackup в зависимости от значения, переданного в параметре --backup-method. Также редактируются файлы postgresql.conf и pg_hba.conf.

    Также можно добавить данные для подключения к узлу-лидеру с помощью «магической» строки. За дополнительной информацией об использовании «магической» строки обратитесь к Подразделу 27.2.8.

  4. Запустите СУБД с помощью pg_ctl:

    pg_ctl start -D каталог_PGDATA_последователя -l файл_журнала_последователя
  5. Проверьте статус узла в представлении biha.status_v:

    SELECT * FROM biha.status_v;

27.2.6. Подготовка узла-рефери в BiHA-кластере #

Узел-рефери участвует в выборах и помогает разрешить проблемы разделения кластера.

Примечание

  • При добавлении в кластер узла-рефери можно использовать только pg_basebackup.

  • По умолчанию на рефери копируются только база данных biha_db и системные таблицы. База данных postgres и пользовательские данные не копируются. Если необходимо, чтобы база данных postgres присутствовала на рефери, укажите параметр --referee-with-postgres-db.

Чтобы подготовить узел-рефери:

  1. Выполните команду bihactl add с соответствующим значением параметра --mode:

    bihactl add \
          --biha-node-id=3 \
          --host=узел_3 \
          --port=порт_узла \
          --biha-port=порт_biha \
          --use-leader "host=адрес_узла_лидера port=порт_лидера biha-port=порт_лидера_biha" \
          --pgdata=каталог_PGDATA_рефери \
          --mode=referee

    или

    bihactl add \
          --biha-node-id=3 \
          --host=узел_3 \
          --port=порт_узла \
          --biha-port=порт_biha \
          --use-leader "host=адрес_узла_лидера port=порт_лидера biha-port=порт_лидера_biha" \
          --pgdata=каталог_PGDATA_рефери \
          --mode=referee_with_wal
  2. Проверьте параметр конфигурации shared_buffers на рефери.

    Если значение слишком высокое, установите значение по умолчанию 128 МБ.

  3. С помощью pg_ctl запустите экземпляр Postgres Pro с настроенным узлом-рефери:

    pg_ctl start -D каталог_PGDATA_рефери
  4. Проверьте статус узла в представлении biha.status_v:

    SELECT * FROM biha.status_v;

27.2.7. Настройка SSL для служебных подключений (необязательно) #

При инициализации BiHA-кластера можно включить SSL для служебных соединений кластера с помощью параметра --use-ssl. Чтобы включить или отключить SSL в инициализированном BiHA-кластере, воспользуйтесь инструкцией Управление SSL для служебных подключений.

Подготовка сертификата и ключа

  • С помощью утилиты OpenSSL сгенерируйте сертификат и закрытый ключ и сохраните их в каталоге /PGDATA/pg_biha на каждом узле кластера:

    openssl req -x509 -newkey rsa:4096 -keyout путь_к_ключу -out путь_к_сертификату -sha256 -days срок_действия -nodes -subj "/CN=домен_сертификата"

    Например:

    openssl req -x509 -newkey rsa:4096 -keyout /PGDATA/pg_biha/biha_priv_key.pem -out /PGDATA/pg_biha/biha_pub_cert.pem -sha256 -days 365 -nodes -subj "/CN=localhost"

    Будут созданы следующие файлы:

    • biha_priv_key.pem — закрытый ключ с доступом пользователя на чтение и запись (0600)

    • biha_pub_cert.pem — самоподписанный сертификат, выпущенный на указанный период времени и для указанного домена

    Важно

    Убедитесь, что для файлов сертификата и закрытого ключа вы использовали вышеуказанные имена, так как BiHA будет искать файлы именно по этим именам.

Включение SSL

  1. При инициализации BiHA-кластера с помощью команды bihactl init укажите параметр --use-ssl:

    bihactl init \
         --biha-node-id=1 \
         --host=узел_1 \
         --port=порт_узла \
         --biha-port=порт_biha \
         --nquorum=количество_узлов \
         --pgdata=каталог_PGDATA_лидера
        --use-ssl
  2. Чтобы убедиться, что SSL включён, после завершения настройки BiHA-кластера с помощью команды SHOW проверьте, что для параметра biha.use_ssl установлено значение true:

    SHOW biha.use_ssl;

27.2.8. Использование «‎‎магической» строки (необязательно) #

«Магическая» строка — это специальная строка, которая автоматически генерируется при инициализации BiHA-кластера. «Магическая» строка используется в скриптах подготовки BiHA-кластера. Строка содержит данные, необходимые для подключения узлов-последователей к узлу-лидеру.

Вы можете использовать «магическую» строку, чтобы при добавлении узлов-последователей не вводить данные для подключения к узлу-лидеру вручную.

Далее приведён пример использования «магической» строки:

  1. При инициализации кластера перенаправьте вывод bihactl в файл:

    bihactl init \
       --biha-node-id=1 \
       --host=узел_1 \
       --port=порт_узла \
       --biha-port=порт_biha \
       --nquorum=количество_узлов \
       --pgdata=каталог_PGDATA_лидера > /tmp/magic-file
  2. При добавлении узла-последователя выполните следующие действия:

    1. Установите переменную окружения:

      export MAGIC_STRING="$(cat /tmp/magic-file)"
    2. Добавьте параметр --magic-string в bihactl add:

      bihactl add \
          --biha-node-id=2 \
          --host=узел_2 \
          --port=порт_узла \
          --biha-port=порт_biha \
          --magic-string=$MAGIC_STRING \
          --pgdata=каталог_PGDATA_последователя

    Узел-последователь будет использовать закодированные данные из «магической» строки для подключения к узлу-лидеру.