Глава 47. Фоновые рабочие процессы
Postgres Pro поддерживает расширенную возможность запускать пользовательский код в отдельных процессах. Такие процессы запускаются, останавливаются и контролируются главным процессом postgres
, который позволяет тесно связать их жизненный цикл с состоянием сервера. Эти процессы могут получать доступ к области разделяемой памяти Postgres Pro и устанавливать внутренние подключения к базам данных; они также могут последовательно запускать транзакции, как и обычные серверные процессы, обслуживающие клиентов. Кроме того, используя libpq, они могут подключаться к серверу и работать как обычные клиентские приложения.
Предупреждение
С использованием фоновых рабочих процессов сопряжены угрозы стабильности и безопасности, так как они реализуются на языке C
, и значит имеют неограниченный доступ к данным. Администраторы, желающие использовать модули, в которых задействованы фоновые рабочие процессы, должны быть крайне осторожными. Запускать рабочие процессы можно разрешать только модулям, прошедшим всесторонний аудит.
Рабочие процессы могут инициализироваться во время запуска Postgres Pro, если имя соответствующего модуля добавлено в shared_preload_libraries
. Модуль, желающий запустить рабочий процесс, может зарегистрировать его, вызвав RegisterBackgroundWorker(
из своей функции BackgroundWorker
*worker
)_PG_init()
. Рабочие процессы также могут быть запущены после запуска системы с помощью функции RegisterDynamicBackgroundWorker(
. В отличие от BackgroundWorker
*worker
, BackgroundWorkerHandle
**handle
)RegisterBackgroundWorker
, которую можно вызывать только из главного управляющего процесса, RegisterDynamicBackgroundWorker
должна вызываться из обычного обслуживающего процесса или другого рабочего процесса.
Структура BackgroundWorker
определяется так:
typedef void (*bgworker_main_type)(Datum main_arg); typedef struct BackgroundWorker { char bgw_name[BGW_MAXLEN]; char bgw_type[BGW_MAXLEN]; int bgw_flags; BgWorkerStartTime bgw_start_time; int bgw_restart_time; /* время в секундах либо BGW_NEVER_RESTART */ char bgw_library_name[BGW_MAXLEN]; char bgw_function_name[BGW_MAXLEN]; Datum bgw_main_arg; char bgw_extra[BGW_EXTRALEN]; int bgw_notify_pid; } BackgroundWorker;
Поля bgw_name
и bgw_type
содержат строки, выводимые в отладочных сообщениях, списках процессов и подобных контекстах. Строка bgw_type
должна быть одинаковой для всех рабочих процессов одного типа, чтобы такие процессы можно было сгруппировать, например, в списке процессов. bgw_name
, с другой стороны, может содержать дополнительную информацию об определённом процессе. (Обычно строка bgw_name
содержит тип в некотором виде, но строго это не требуется.)
Поле bgw_flags
представляет битовую маску, обозначающую запрашиваемые модулем возможности. Допустимые в нём флаги:
BGWORKER_SHMEM_ACCESS
Запрашивается доступ к общей памяти. Рабочие процессы без доступа к общей памяти не могут обращаться к общим структурам данных Postgres Pro, в частности, к обычным и лёгким блокировкам, общим буферам, или каким-либо структурам данным, которые рабочий процесс может создавать для собственного пользования.
BGWORKER_BACKEND_DATABASE_CONNECTION
Запрашивается возможность устанавливать подключение к базе данных, через которое можно запускать транзакции и запросы. Рабочий процесс, использующий
BGWORKER_BACKEND_DATABASE_CONNECTION
для подключения к базе данных, должен также запросить доступ к разделяемой памяти, установивBGWORKER_SHMEM_ACCESS
; в противном случае процесс не запустится.
В bgw_start_time
определяется состояние сервера, в котором postgres
должен запустить этот процесс; возможные варианты: BgWorkerStart_PostmasterStart
(выполнить запуск сразу после того, как postgres
завершит инициализацию; процессы, выбирающие такой режим, не могут подключаться к базам данных), BgWorkerStart_ConsistentState
(выполнить запуск, когда будет достигнуто согласованное состояние горячего резерва, и когда процессы могут подключаться к базам данных и выполнять запросы на чтение), и BgWorkerStart_RecoveryFinished
(выполнить запуск, как только система перейдёт в обычный режим чтения-записи). Заметьте, что два последних варианта различаются только для серверов горячего резерва. Заметьте также, что этот параметр указывает только, когда должны запускаться процессы; при переходе в другое состояние они не будут останавливаться.
bgw_restart_time
задаёт паузу (в секундах), которую должен сделать postgres
, прежде чем перезапускать процесс в случае его отказа. Это может быть любое положительное значение, либо BGW_NEVER_RESTART
, указывающее, что процесс не нужно перезапускать в случае сбоя.
bgw_library_name
определяет имя библиотеки, в которой следует искать точку входа для запуска рабочего процесса. Указанная библиотека будет динамически загружена рабочим процессом, а вызываемая функция будет выбрана по имени bgw_function_name
. Для функции, загружаемой из кода ядра, в этом поле должно быть «postgres».
bgw_function_name
определяет имя функции в динамически загружаемой библиотеке, которая будет точкой входа в новый рабочий процесс.
В bgw_main_arg
задаётся аргумент Datum
, передаваемый основной функции фонового процесса. Эта функция должна принимать один аргумент типа Datum
и возвращать void
. В качестве этого аргумента ей и передаётся bgw_main_arg
. Кроме того, глобальная переменная MyBgworkerEntry
указывает на копию структуры BackgroundWorker
, переданной при регистрации; содержимое этой структуры может быть полезно рабочему процессу.
В Windows (и везде, где определяется EXEC_BACKEND
) или в динамических рабочих процессах передавать Datum
по ссылке небезопасно, возможна только передача по значению. Поэтому если функции требуется аргумент, наиболее безопасно будет передать int32 или другое небольшое значение, содержащее индекс в массиве, размещённом в разделяемой памяти. Если же попытаться передать значение cstring
или text
, этот указатель нельзя будет использовать в новом рабочем процессе.
Поле bgw_extra
может содержать дополнительные данные, передаваемые фоновому рабочему процессу. В отличие от bgw_main_arg
, эти данные не передаются в качестве аргумента основной функции рабочего процесса, но могут быть получены через MyBgworkerEntry
, как описывалось выше.
В bgw_notify_pid
задаётся PID обслуживающего процесса Postgres Pro, которому главный процесс должен посылать сигнал SIGUSR1
при запуске и завершении нового рабочего процесса. Это поле должно содержать 0 для рабочих процессов, регистрируемых при запуске главного процесса, либо когда обслуживающий процесс не желает ждать окончания запуска рабочего процесса. Во всех остальных случаях в нём должно быть значение MyProcPid
.
Запущенный процесс может подключиться к базе данных, вызвав BackgroundWorkerInitializeConnection(
или char *dbname
, char *username
, uint32 flags
)BackgroundWorkerInitializeConnectionByOid(
. Через это подключение процесс может выполнять транзакции и запросы, используя интерфейс Oid dboid
, Oid useroid
, uint32 flags
)SPI
. Если в dbname
передаётся NULL или dboid
равен InvalidOid
, сеанс не подключается ни к какой конкретной базе данных, но может обращаться к общим каталогам. Если в username
передаётся NULL или useroid
равен InvalidOid
, процесс будет действовать от имени суперпользователя, созданного во время initdb
. Значение BGWORKER_BYPASS_ALLOWCONN
в поле flags
позволяет подключаться к базам, не принимающим подключения пользователей. Рабочий процесс может вызвать только одну из этих двух функций и только один раз. Переключаться между базами данных он не может.
Сигналы изначально блокируются при вызове основной функции рабочего процесса и должны быть разблокированы ей: это позволяет процессу при необходимости настроить собственные обработчики событий. Новый процесс может разблокировать сигналы, вызвав BackgroundWorkerUnblockSignals
, и заблокировать их, вызвав BackgroundWorkerBlockSignals
.
Если bgw_restart_time
для рабочего процесса имеет значение BGW_NEVER_RESTART
, либо он завершается с кодом выхода 0, либо если его работа заканчивается вызовом TerminateBackgroundWorker
, он автоматически перестаёт контролироваться управляющим процессом при выходе. В противном случае он будет перезапущен через время, заданное в bgw_restart_time
, либо немедленно, если управляющему серверу пришлось переинициализировать кластер из-за сбоя обслуживающего процесса. Обслуживающие процессы, которым нужно только приостановить своё выполнение на время, должны переходить в состояние прерываемого ожидания, а не завершаться; для этого используется функция WaitLatch()
. При вызове этой функции обязательно установите флаг WL_POSTMASTER_DEATH
и проверьте код возврата, чтобы корректно выйти в экстренном случае, когда был завершён сам postgres
.
Когда рабочий процесс регистрируется функцией RegisterDynamicBackgroundWorker
, обслуживающий процесс, производящий эту регистрацию, может получить информацию о состоянии порождённого процесса. Обслуживающие процессы, желающие сделать это, должны передать адрес BackgroundWorkerHandle *
во втором аргументе RegisterDynamicBackgroundWorker
. Если рабочий процесс успешно зарегистрирован, по этому адресу будет записан указатель на скрытую структуру, который можно затем передать функции GetBackgroundWorkerPid(
или BackgroundWorkerHandle *
, pid_t *
)TerminateBackgroundWorker(
. Вызывая BackgroundWorkerHandle *
)GetBackgroundWorkerPid
, можно опрашивать состояние рабочего процесса: значение результата BGWH_NOT_YET_STARTED
показывает, что рабочий процесс ещё не запущен управляющим; BGWH_STOPPED
показывает, что он был запущен, но сейчас не работает; и BGWH_STARTED
показывает, что он работает в данный момент. В последнем случае через второй аргумент также возвращается PID этого процесса. Обрабатывая вызов TerminateBackgroundWorker
, управляющий процесс посылает SIGTERM
рабочему процессу, если он работает, и перестаёт его контролировать сразу по его завершении.
В некоторых случаях процессу, регистрирующему рабочий процесс, может потребоваться дождаться завершения запуска этого процесса. Это можно реализовать, записав в bgw_notify_pid
значение MyProcPid
, а затем передав указатель BackgroundWorkerHandle *
, полученный во время регистрации, функции WaitForBackgroundWorkerStartup(
. Эта функция заблокирует выполнение, пока управляющий процесс не попытается запустить рабочий процесс, либо пока сам управляющий процесс не завершится. Если рабочий процесс запущен, возвращается значение BackgroundWorkerHandle *handle
, pid_t *
)BGWH_STARTED
и по переданному адресу записывается PID. В противном случае возвращается BGWH_STOPPED
или BGWH_POSTMASTER_DIED
.
Процесс также может ожидать завершения рабочего процесса, вызвав функцию WaitForBackgroundWorkerShutdown(
с указателем BackgroundWorkerHandle *handle
)BackgroundWorkerHandle *
, полученным при регистрации. Эта функция заблокирует выполнение, пока не завершится рабочий процесс либо управляющий процесс. При завершении рабочего процесса эта функция возвращает BGWH_STOPPED
, а при завершении управляющего — BGWH_POSTMASTER_DIED
.
Рабочие процессы могут передавать асинхронные уведомления, вызывая либо команду NOTIFY
через SPI (Server Programming Interface, Интерфейс программирования сервера), либо функцию Async_Notify()
напрямую. Такие уведомления будут отправлены в момент фиксации транзакции. Фоновые рабочие процессы не должны регистрироваться командой LISTEN
для получения асинхронных уведомлений, ввиду отсутствия инфрастуктуры для получения таких уведомлений рабочим процессом.
Максимальное число рабочих процессов, которые можно зарегистрировать, ограничивается значением max_worker_processes.