27.4. Справка по расширению biha #

biha — расширение Postgres Pro для управления BiHA-кластером.

В этом разделе содержится информация о параметрах конфигурации, функциях и представлениях расширения biha.

27.4.1. Параметры конфигурации #

Расширение biha поддерживает ряд описанных ниже конфигурационных параметров, специфичных для BiHA-кластера.

27.4.1.1. Конфигурирование кластера #

Важно

При настройке параметров конфигурации кластера нужно обязательно обеспечить надёжность сети, чтобы изменения затронули все узлы кластера без возникновения ошибок.

biha.autorewind (boolean) #

Необязательный параметр, который управляет политикой автоматической синхронизации для узла, в отношении которого должен быть выполнен pg_rewind. Например, для старого лидера при его синхронизации с новым лидером. При значении по умолчанию — false — автоматическая синхронизация не выполняется. Если установлено значение true, автоматическая синхронизация выполняется после ошибки, которая обычно приводит к переходу узла в состояние NODE_ERROR. Автоматическая синхронизация выполняется, если она может успешно завершиться, то есть предварительный запуск pg_rewind с параметром --dry-run прошёл успешно. При неудачной автоматической синхронизации узел переходит в состояние NODE_ERROR. В этом случае фактическое состояние синхронизации узла можно найти в файле biha.state, как описано в Подразделе 27.3.7. Обратите внимание, что синхронизация может привести к потере некоторых записей WAL узла.

biha.callbacks_timeout (integer) #

Задаёт время исполнения всех функций-обработчиков для одного события в миллисекундах. Значение по умолчанию — 10000 (10 секунд). Минимальное значение — 1000 (1 секунда).

Значение параметра biha.callbacks_timeout может различаться для разных узлов. Изменение параметра на лидере не изменяет его на последователях.

biha.can_be_leader (boolean) #

Определяет возможность узла стать лидером. Значение по умолчанию — true. Если задано значение false, узел не может предлагать себя в качестве кандидата на выборах лидера.

Самый большой объём WAL может быть на том узле, который не может стать лидером. В этой ситуации при необходимости выборов другие узлы, которые могут предлагать себя в качестве кандидатов в лидеры, попытаются получить недостающие данные с этого узла. В случае успеха один из этих узлов станет лидером. Если данные получить не удалось, на узле, который не может стать лидером, запустится процесс автоматической синхронизации. Если параметр biha.autorewind не включён, состояние этого узла изменится на NODE_ERROR.

biha.can_vote (boolean) #

Определяет возможность узла голосовать. Значение по умолчанию — true. Если задать значение false, узел не сможет принимать участие в голосовании, а также не сможет предлагать себя в качестве кандидата в лидеры.

biha.flw_ro (boolean) #

Определяет доступность последователя для операций на чтение. Если задано значение off, чтение с этого последователя запрещено. Значение по умолчанию — on.

biha.heartbeat_max_lost (integer) #

Указывает максимальное число сообщений о контроле состояния, которые можно не получить до того, как узел будет считаться недоступным. Этот параметр может задаваться функцией biha.set_heartbeat_max_lost. Значение по умолчанию — 10.

Узлы во всех состояниях используют значение тайм-аута сообщений о контроле состояния, который рассчитывается как biha.heartbeat_max_lost * biha.heartbeat_send_period, для определения доступности других узлов. Например, если Узел A не получает сообщения о контроле состояния от Узла B в течение вышеупомянутого тайм-аута, состояние Узла B изменится на UNKNOWN в представлении biha.status_v Узла A, что будет означать, что Узел A считает Узел B недоступным. Лидер в состоянии LEADER_RW дополнительно использует тайм-аут, указанный в параметре biha.no_wal_on_follower.

biha.heartbeat_send_period (integer) #

Указывает частоту отправки сообщений о контроле состояния в миллисекундах. Этот параметр может задаваться функцией biha.set_heartbeat_send_period. Значение по умолчанию — 1000.

Узлы во всех состояниях используют значение тайм-аута сообщений о контроле состояния, который рассчитывается как biha.heartbeat_max_lost * biha.heartbeat_send_period, для определения доступности других узлов. Например, если Узел A не получает сообщения о контроле состояния от Узла B в течение вышеупомянутого тайм-аута, состояние Узла B изменится на UNKNOWN в представлении biha.status_v Узла A, что будет означать, что Узел A считает Узел B недоступным. Лидер в состоянии LEADER_RW дополнительно использует тайм-аут, указанный в параметре biha.no_wal_on_follower.

biha.host (text) #

Указывает адрес узла кластера. Этот параметр не рекомендуется изменять.

biha.id (integer) #

Указывает идентификатор узла отказоустойчивого кластера. Этот параметр уникален для каждого узла. Этот параметр не рекомендуется изменять.

biha.minnodes (integer) #

Указывает минимальное число работающих узлов, при котором лидер будет открыт для пишущих транзакций. Этот параметр может быть задан с помощью функции biha.set_minnodes. Если не задать параметр --minnodes в команде bihactl init, значение biha.minnodes будет равно значению biha.nquorum.

Устанавливая это значение, принимайте во внимания возможный риск разделения кластера. Рекомендуется использовать следующую формулу: (общее количество узлов + 1)/2. Например, если в кластере 3 узла, значение minnodes должно быть 2.

Если на узле для параметра biha.can_vote установлено значение false, такой узел игнорируется.

biha.no_wal_on_follower (integer) #

Указывает тайм-аут продвижения слота репликации в миллисекундах. Этот параметр может задаваться функцией biha.set_no_wal_on_follower. Значение по умолчанию — 20000.

BiHA использует этот параметр конфигурации для следующих целей:

  • Когда вы вручную назначаете узел-последователь в качестве нового лидера с помощью функции biha.set_leader, состояние последователя изменяется на FOLLOWER_OFFERED. В этом состоянии последователь с помощью параметра biha.no_wal_on_follower определяет, что пора прекратить ожидание записей WAL от текущего лидера и можно становиться новым лидером.

    Последователь в состоянии FOLLOWER_OFFERED проверяет, обновилась ли его позиция WAL. Обновление позиции WAL подтверждает, что последователь продолжает получать данные репликации от лидера. Если последователь не получает записи WAL дольше, чем задано в параметре biha.no_wal_on_follower, состояние последователя изменяется на LEADER_RO. В этом случае в журнале появляется следующее сообщение: «Timed out waiting for new WAL records from current leader» (Истёк тайм-аут ожидания записей WAL от текущего лидера).

  • Лидер в состоянии LEADER_RW использует параметр biha.no_wal_on_follower в связке со значением тайм-аута сообщений о контроле состояния (который рассчитывается как biha.heartbeat_max_lost * biha.heartbeat_send_period) для определения доступности других узлов.

    Лидер проверяет позиции слотов репликации других узлов. Если позиция слота репликации узла обновляется, это означает, что узел получает данные репликации от лидера и доступен. Если лидер не получает от узла сообщения о контроле состояния в течение вышеупомянутого тайм-аута, а позиция слота репликации узла не меняется в течение тайм-аута, заданного в biha.no_wal_on_follower, лидер будет считать узел недоступным, а состояние узла изменится на UNKNOWN в представлении biha.status_v лидера.

biha.node_priority (integer) #

Устанавливает приоритет узла в кластере с синхронной репликацией, в секундах. Значение определяет тайм-аут, по истечении которого узел предложит себя в качестве кандидата на выборах. Нулевое значение означает самый высокий приоритет. Значение по умолчанию — -1, означающее, что параметр игнорируется.

Важно

Чтобы обеспечить корректную работу параметра, установите значение параметра --sync-standbys на единицу меньше общего количества узлов кластера.

biha.nquorum (integer) #

Указывает число узлов, которые должны проголосовать за нового лидера при отказе текущего лидера. Этот параметр можно задать с помощью функции biha.set_nquorum.

Устанавливая это значение, принимайте во внимания возможный риск разделения кластера. Рекомендуется использовать следующую формулу: (общее количество узлов + 1)/2. Например, если в кластере 3 узла, значение minnodes должно быть 2.

Если на узле для параметра biha.can_vote установлено значение false, такой узел игнорируется.

biha.port (integer) #

Указывает порт, используемый для обмена служебной информацией между узлами. Этот параметр необходим, чтобы установить соединение с кластером. Этот параметр не рекомендуется изменять.

biha.sync_standbys_min (integer) #

Задаёт минимальное количество синхронных последователей, которые должны быть доступны, чтобы лидер продолжал работу. Параметр можно задать с помощью функции biha.set_sync_standbys_min. Значение должно быть ниже, чем --sync-standbys, и не может быть отрицательным. Значение по умолчанию — -1, что означает, что параметр игнорируется. Если параметр не задан, BiHA-кластер работает в соответствии с ограничениями синхронной репликации по умолчанию, то есть лидер будет оставаться недоступным для операций на запись, пока все последователи не догонят его текущее состояние.

Примечание

И параметр biha.sync_standbys_min, и функция biha.set_sync_standbys_min будут работать, только если при инициализации BiHA-кластера командой bihactl init был задан параметр --sync-standbys-min.

biha.use_ssl (boolean) #

Указывает, будет ли использоваться защищённый режим передачи служебной информации между узлами кластера по протоколу SSL/TLS управляющего канала biha. Этот параметр не рекомендуется изменять.

27.4.1.2. Уровни протоколирования biha #

biha.BihaLog_log_level (enum) #

Задаёт уровень протоколирования для предоставления общей информации о работе компонентов biha. Значение по умолчанию — LOG.

biha.BcpTransportDebug_log_level (enum) #

Задаёт уровень протоколирования для предоставления отладочной информации о работе канала управления. Значение по умолчанию — DEBUG4.

biha.BcpTransportDetails_log_level (enum) #

Задаёт уровень протоколирования для предоставления подробной информации о работе канала управления. Значение по умолчанию — DEBUG4.

biha.BcpTransportLog_log_level (enum) #

Задаёт уровень протоколирования для предоставления общей информации о работе канала управления. Значение по умолчанию — DEBUG4.

biha.BcpTransportWarn_log_level (enum) #

Задаёт уровень протоколирования для вывода предупреждений о возможных проблемах в канале управления. Значение по умолчанию — DEBUG4.

biha.NodeControllerDebug_log_level (enum) #

Задаёт уровень протоколирования для предоставления отладочной информации о работе контроллера узла. Значение по умолчанию — DEBUG4.

biha.NodeControllerDetails_log_level (enum) #

Задаёт уровень протоколирования для предоставления подробной информации о работе контроллера узла. Значение по умолчанию — DEBUG4.

biha.NodeControllerLog_log_level (enum) #

Задаёт уровень протоколирования для предоставления общей информации о работе контроллера узла. Значение по умолчанию — DEBUG4.

biha.NodeControllerWarn_log_level (enum) #

Задаёт уровень протоколирования для вывода предупреждений о возможных проблемах в контроллере узла. Значение по умолчанию — DEBUG4.

27.4.2. Функции #

Все перечисленные ниже функции необходимо вызывать из базы данных biha_db, например:

psql biha_db -c "select biha.set_leader(2)"

27.4.2.1. Состав кластера #

biha.set_leader (id integer) returns boolean #

Устанавливает лидера вручную. Рекомендуется вызывать эту функцию на том узле, который вы собираетесь сделать лидером.

Примечание

Не рекомендуется вызывать функцию biha.set_leader на текущем лидере. Если вызвать функцию на текущем лидере в состоянии LEADER_RW, в случае успешного запроса на переключение может случиться так, что результат запроса не успеет отправиться клиенту до начала перезагрузки текущего лидера для понижения.

biha.remove_node (id integer) returns boolean #

Удаляет узел из кластера. Перед удалением узел необходимо остановить. Данную функцию можно вызвать только на узле-лидере.

27.4.2.2. Общая конфигурация кластера #

Следующие функции используются для изменения параметров конфигурации, значения которых должны быть одинаковыми на всех узлах кластера. Эти функции необходимо вызывать только на лидере. Изменения будут применены на всех узлах.

Перезапуск узлов кластера не требуется, чтобы после вызова функции изменения вступили в силу, если в описании функции явно не указано обратное.

biha.set_heartbeat_max_lost (integer) returns boolean #

Задаёт значение параметра biha.heartbeat_max_lost.

biha.set_heartbeat_send_period (integer) returns boolean #

Задаёт значение параметра biha.heartbeat_send_period в миллисекундах.

biha.set_no_wal_on_follower (integer) returns boolean #

Задаёт значение параметра biha.no_wal_on_follower в миллисекундах.

biha.set_minnodes (integer) returns boolean #

Задаёт значение параметра biha.minnodes.

biha.set_nquorum (integer) returns boolean #

Задаёт значение параметра biha.nquorum.

biha.set_nquorum_and_minnodes (integer, integer) returns boolean #

Задаёт значения параметров biha.nquorum и biha.minnodes.

biha.set_sync_standbys (integer) returns boolean #

Задаёт параметр synchronous_standby_names и указывает число кворумных синхронных узлов с методом ANY. Значение должно быть положительным, больше значения biha.sync_standbys_min, если оно задано, и не должно превышать количество последователей без учёта рефери. За подробной информацией обратитесь к разделу Настройка кворумной синхронной репликации в существующем BiHA-кластере.

biha.set_sync_standbys_min (integer) returns boolean #

Задаёт значение параметра biha.sync_standbys_min и, если необходимо, соответствующим образом изменяет поле MIN параметра synchronous_standby_names.

Примечание

И параметр biha.sync_standbys_min, и функция biha.set_sync_standbys_min будут работать, если при инициализации BiHA-кластера командой bihactl init был задан параметр biha.set_sync_standbys_min.

27.4.2.3. Мониторинг кластера #

biha.config () returns setof record #

Возвращает значения параметров конфигурации кластера: id, term, nquorum, minnodes, heartbeat_send_period, heartbeat_max_lost, no_wal_on_follower, sync_standbys_min, priority, can_be_leader, can_vote, mode.

biha.error_details () returns setof record #

Возвращает описание причины, по которой узел перешёл в состояние NODE_ERROR. Возвращаемая запись содержит тип ошибки, подробную информацию о ней, место возникновения с указанием begin_lsn, end_lsn и идентификаторов текущей и следующей линии времени, а также replay_lsn.

biha.nodes () returns setof record #

Определяет представление biha.nodes_v, подробно описанное в biha.nodes_v.

biha.status () returns setof record #

Определяет представление biha.status_v, подробно описанное в biha.status_v. Использовать эту функцию не рекомендуется , так как она предоставляет необработанные данные для представления.

27.4.2.4. Управление функциями-обработчиками #

biha.register_callback (event text, func text, database text, executor text, priority integer) returns integer #

Добавляет новый обработчик и возвращает его уникальный идентификатор. Функцию можно вызвать только на лидере в состоянии LEADER_RW. Новый обработчик будет реплицирован на последователей.

Примечание

Со стороны biha нет проверки наличия функции func в базе данных database. Если указанная функция не существует, исполнение обработчика завершится ошибкой.

Пример использования biha.register_callback см. в Регистрация функций-обработчиков.

Таблица 27.3. Определения переменных

ИмяТипОписание
eventtextСобытие в BiHA-кластере, которое запускает функцию-обработчик. Подробнее о событиях и соответствующих типах функций-обработчиков читайте в Типы обработчиков.
functextНазвание SQL-функции, которую расширение biha исполняет при наступлении события event. Функция должна находиться в базе данных database, иначе она не будет исполнена.
databasetextБаза данных, в которой исполняется функция func.
executortext

Пользователь, от имени которого исполняется функция func. Это необязательный параметр. Значение по умолчанию — biha_callbacks_user.

priorityintegerЧем ниже значение, тем раньше исполнится обработчик. Это необязательный параметр. Значение по умолчанию — 0.

biha.unregister_callback(callback_id) #

Удаляет обработчик. Функцию можно вызвать только на лидере в состоянии LEADER_RW. Пример использования функции biha.unregister_callback см. в разделе Отмена регистрации функции-обработчика.

27.4.2.5. Прочие функции #

biha.get_magic_string () returns string #

Генерирует «‎‎магическую» строку для узла кластера.

biha.reset_node_error () returns boolean #

Сбрасывает состояние NODE_ERROR на узле. Используйте эту функцию после того, как устранена причина перехода узла в состояние NODE_ERROR. За подробной информацией обратитесь к разделу Восстановление узла из состояния NODE_ERROR.

27.4.3. Представления #

Чтобы обращаться к перечисленным ниже представлениям, необходимо подключиться к базе данных biha_db.

27.4.3.1. biha.nodes_v #

В этом представлении показывается состояние подключения узлов в кластере. Для узла, на котором выполняется запрос для представления, следующие столбцы содержат NULL: state, since_conn_start, conn_count.

Таблица 27.4. Представление biha.nodes_v

Имя столбцаОписание
idИдентификатор узла.
hostАдрес узла.
portПорт узла.
stateСостояние подключения узла. В этом столбце может отображаться одно из следующих значений: ACTIVE, CONNECTING, IDLE или INIT.
since_conn_startВремя, прошедшее с момента подключения узла к сети.
conn_countСколько раз узел подключался к сети с момента запуска кластера.

27.4.3.2. biha.status_v #

В этом представлении показывается состояние узлов в кластере.

Таблица 27.5. Представление biha.status_v

Имя столбцаОписание
idИдентификатор узла.
leader_idИдентификатор узла-лидера.
termПоколение узла. Используется при голосовании по выбору нового узла-лидера.
onlineПоказывает подключён ли узел к сети.
state

Состояние узла. В этом столбце может отображаться одно из следующих значений:

  • PRESTARTUP — начальное состояние узла при запуске BiHA-кластера. Узел отправляет сообщения о контроле состояния и запускает pg_rewind, если это было запланировано. В других случаях узел переходит в состояние STARTUP.

  • STARTUP — узел ожидает, пока процесс запуска Postgres Pro достигнет точки согласованности.

  • CSTATE_FORMING — узел получает и отправляет сообщения о контроле состояния, чтобы определить, в какое состояние он должен перейти.

  • LEADER_RO — узел является лидером, доступным только для операций чтения.

  • LEADER_RW — узел является лидером, доступным для операций на чтение и запись.

  • FOLLOWER — узел является последователем, т.е. репликой лидера. Если biha.can_be_leader и biha.can_vote имеют значение true, последователь может быть избран новым лидером.

  • FOLLOWER_OFFERED — узел был вручную назначен новым лидером с помощью функции biha.set_leader. В этом состоянии назначенный лидером узел получает недостающие данные со старого лидера.

  • CANDIDATE — узел предложил себя в качестве кандидата на выборах нового лидера.

  • REFEREE — узел является рефери кластера. Это единое состояние для режимов referee и referee_with_wal.

  • NODE_ERROR — узел в нерабочем состоянии из-за ошибки. Узлы в этом состоянии не могут голосовать на выборах. Чтение с таких узлов запрещено. Чтобы получить больше информации об ошибке, используйте функцию biha.error_details. О восстановлении дефектных узлов читайте в разделе Восстановление узла из состояния NODE_ERROR.

  • UNKNOWN — узел недоступен для текущего узла.

last_known_stateПоследнее известное состояние узла.
since_last_hbВремя, прошедшее с момента получения последнего сообщения о контроле состояния.