2.3. Настройка удалённого режима #
pg_probackup3 поддерживает работу в удалённом режиме. Данные для резервного копирования можно получать от сервера Postgres Pro удалённо по встроенному репликационному протоколу, а резервные копии можно сохранять в хранилище S3 или на сервер SSH по протоколу SFTP.
Примечание
Если вы не собираетесь использовать удалённый режим, пропустите этот раздел и перейдите к инициализации каталога резервных копий.
В зависимости от типа операции можно выбрать один из следующих сценариев:
Чтобы подключиться к серверу Postgres Pro для создания резервной копии, используйте стандартные параметры подключения:
--pghost,--pgport,--pgdatabaseи--pguser.Для сохранения, восстановления и проверки резервных копий в хранилище S3 укажите параметры S3. За подробностями обратитесь к Подраздел 2.3.2.
Для работы с резервными копиями на сервере SSH по протоколу SFTP укажите параметры SSH. Обратитесь к Подраздел 2.3.1 за подробностями.
Таким образом и каталог резервных копий, и экземпляр Postgres Pro, для которого делается резервная копия, могут располагаться на удалённых серверах.
Типичная схема его использования выглядит так:
На хосте резервного копирования настройте pg_probackup3, как описывается в подразделе Установка и настройка. Для команд init, add-instance, backup и set-config необходимо задать параметры подключения, указывающие на сервер с экземпляром Postgres Pro.
Если вы хотите в удалённом режиме использовать доставку WAL в режиме ARCHIVE, настройте непрерывное архивирование WAL с сервера баз данных, как описано в подразделе Настройка непрерывного архивирования WAL. Для этого в команде archive-push требуется задать параметры SSH, указывающие на сервер, где находится каталог резервных копий.
Примечание
Для работы в режиме непрерывного архивирования файлов WAL исполняемые файлы pg_probackup3 должны находиться на сервере Postgres Pro. Вызов pg_probackup3 с командами archive-push и archive-get осуществляется сервером Postgres Pro в соответствии с параметрами archive_command и restore_command в его конфигурации.
Например, чтобы создать полную архивную локальную копию кластера Postgres Pro, работающего на удалённом хосте с адресом 192.168.0.2, подключившись к серверу через порт 2302 с именем пользователя postgres, выполните:
pg_probackup3 backup -Bкаталог_копий--instance=имя_экземпляра-b FULL --pguser=postgres --pghost=192.168.0.2 --pgport=2302
Чтобы создать резервную копию на сервере SSH с адресом 10.0.3.77 для пользователя ubuntu, выполните:
pg_probackup3 backup -Bкаталог_копий--instance=имя_экземпляра-b FULL --pguser=postgres --pghost=192.168.0.2 --pgport=2302 --remote-host=10.0.3.77 --remote-user=ubuntu
Скрипт для создания резервной копии в хранилище S3:
export PG_PROBACKUP_S3_PORT=9000 export PG_PROBACKUP_S3_ACCESS_KEY=admin export PG_PROBACKUP_S3_SECRET_ACCESS_KEY=password export PG_PROBACKUP_S3_REGION=us-west-2 export PG_PROBACKUP_S3_HOST=10.0.3.77 export PG_PROBACKUP_S3_BUCKET_NAME=test pg_probackup3 backup -Bкаталог_копий--instance=имя_экземпляра-b FULL --pguser=postgres --pghost=192.168.0.2 --pgport=2302 --s3
Для настройки непрерывного архивирования WAL на сервер SSH с адресом 10.0.3.77 задайте параметр archive_command:
archive_command = 'pg_probackup3 archive-push -Bкаталог_копий--instance=имя_экземпляра--wal-file-name=%f --compress-algorithm=zstd --remote-host=10.0.3.77 --remote-user=ubuntu'
Для настройки непрерывного архивирования WAL в хранилище S3 задайте серверный параметр archive_command:
archive_command = 'pg_probackup3 archive-push -Bкаталог_копий--instance=имя_экземпляра--compress-algorithm=zstd --wal-file-name=%f --s3 --config-file=s3.config'
При этом параметры подключения должны быть сохранены в файле s3.config в каталоге данных Postgres Pro.
2.3.1. Настройка подключения SSH #
pg_probackup3 поддерживает удалённый режим, в котором резервное копирование и архивирование WAL могут выполняться удалённо. Для работы в удалённом режиме pg_probackup3 использует SSH-соединение между сервером Postgres Pro (где запущен pg_probackup3) и сервером хранилища резервных копий. Это позволяет управлять резервными копиями на удалённом сервере так, как если бы они хранились локально.
pg_probackup3 может хранить и читать файлы резервных копий и метаданные на SSH-сервере по SFTP-протоколу. Эта схема работы похожа на S3.
Если вы хотите использовать pg_probackup3 в удалённом режиме через SSH, настройте SSH-подключение к серверу без указания пароля с помощью открытого и закрытого ключей: открытый ключ необходимо разместить на сервере, закрытый — на клиенте.
Примечание
Если удалённый хост не указан, pg_probackup3 будет искать резервную копию локально в каталоге, заданном параметром --backup-path.
За подробностями о параметрах подключения обратитесь к разделу Параметры SSH.
pg_probackup3 работает в удалённом режиме по протоколу SSH следующим образом:
В удалённом режиме поддерживаются все команды.
Для работы в удалённом режиме не требуется, чтобы программа pg_probackup3 была установлена и в удалённой системе.
Можно указать параметры SSH в файле конфигурации с помощью --config-file. За подробностями обратитесь к разделу Общие параметры.
2.3.2. Настройка подключения к хранилищу S3 #
pg_probackup3 поддерживает интерфейс S3 для хранения резервных копий. Данные резервного копирования передаются в S3 и обратно без сохранения в промежуточных хранилищах, что устраняет необходимость в большом временном хранилище.
Примечание
Функциональность S3 доступна только при использовании pg_probackup3 с Postgres Pro Enterprise.
Если вы хотите использовать pg_probackup3 с интерфейсом S3, выполните следующие действия:
Создайте для будущих копий в хранилище S3 бакет (контейнер) с уникальным именем.
Создайте ключи ACCESS_KEY и SECRET_ACCESS_KEY, которые будут использоваться для безопасного подключения вместо имени и пароля пользователя.
Примечание
Если бакет и учётные данные не указаны, pg_probackup3 будет искать резервную копию локально в каталоге, заданном параметром
--backup-path.Для взаимодействия pg_probackup3 с сервером S3 задайте переменные окружения, требуемые для подключения к вашему серверу S3. Например:
export PG_PROBACKUP_S3_HOST=127.0.0.1 export PG_PROBACKUP_S3_PORT=9000 export PG_PROBACKUP_S3_REGION=ru-msk export PG_PROBACKUP_S3_BUCKET_NAME=test1 export PG_PROBACKUP_S3_ACCESS_KEY=admin export PG_PROBACKUP_S3_SECRET_ACCESS_KEY=password export PG_PROBACKUP_S3_HTTPS=ON
В качестве альтернативы можно указать параметры сервера S3 в файле конфигурации или с помощью параметров командной строки. За подробностями обратитесь к описанию параметра
--config-fileв разделе Общие параметры, а также к разделу Параметры S3.Если
--s3=minio, стоит указывать параметры сервера S3, как описано в разделе Параметры S3.Можно указать следующие переменные окружения:
PG_PROBACKUP_S3_HOSTАдрес сервера S3. Можно также указать номер порта через двоеточие. Если номер порта не указан в строке адреса, используется значение
PG_PROBACKUP_S3_PORT. Добавляйте двоеточие только при указании номера порта.Например:
export PG_PROBACKUP_S3_PORT=80 export PG_PROBACKUP_S3_HOST="127.0.0.1:9000"
В этом примере для адреса «127.0.0.1» явно указан порт 9000 и он будет использоваться вместо значения 80, указанного в
PG_PROBACKUP_S3_PORT.PG_PROBACKUP_S3_PORTПорт сервера S3.
PG_PROBACKUP_S3_REGIONРегион сервера S3. По умолчанию —
us-east-1.PG_PROBACKUP_S3_BUCKET_NAMEИмя бакета на сервере S3.
PG_PROBACKUP_S3_ACCESS_KEYPG_PROBACKUP_S3_SECRET_ACCESS_KEYБезопасные ключи доступа к серверу S3.
PG_PROBACKUP_S3_HTTPSИспользуемый протокол. Возможные значения:
ONилиHTTPS— использовать HTTPSИное — использовать HTTP
PG_PROBACKUP_S3_BUFFER_SIZEРазмер буфера чтения/записи для организации связи с S3, в МиБ. По умолчанию —
16.PG_PROBACKUP_S3_RETRIESМаксимальное количество попыток выполнения запроса к S3 в случае сбоя. По умолчанию —
3.PG_PROBACKUP_S3_TIMEOUTМаксимальный период времени для выполнения HTTP-запроса к серверу S3, в секундах. По умолчанию —
300.PG_PROBACKUP_S3_IGNORE_CERT_VERНе проверять сертификат узла и узла-партнёра. По умолчанию:
OFF.PG_PROBACKUP_S3_CA_CERTIFICATEУказать путь к файлу с набором сертификатов доверенного центра сертификации (ЦС).
PG_PROBACKUP_S3_CA_PATHУказать каталог, в котором должны храниться сертификаты доверенного ЦС.
PG_PROBACKUP_S3_CLIENT_CERTУстановить клиентский сертификат SSL.
PG_PROBACKUP_S3_CLIENT_KEYУстановить файл закрытого ключа для клиентских сертификатов TLS и SSL.
2.3.2.1. Необходимые права для S3 #
Для ключа доступа, используемого pg_probackup3, при отключённом версионировании должны быть предоставлены следующие минимальные права для целевого бакета S3:
для команды init:
s3:GetBucketVersioning s3:ListBucket
для команд add-instance, set-config и set-backup:
s3:GetBucketVersioning s3:ListBucket s3:PutObject
для команды del-instance:
s3:GetBucketVersioning s3:ListBucket s3:DeleteObject
для команд backup, archive-push и file-map:
s3:ListBucket s3:PutObject s3:GetBucketVersioning s3:AbortMultipartUpload s3:GetObject
для команд restore, fuse, show, show-config и send-backup:
s3:GetBucketVersioning s3:GetObject s3:ListBucket
для команды validate:
s3:GetBucketVersioning s3:GetObject s3:ListBucket s3:PutObject
s3:ListBucket s3:PutObject s3:GetBucketVersioning s3:AbortMultipartUpload s3:GetObject s3:DeleteObject
для команды delete:
s3:GetBucketVersioning s3:GetObject s3:ListBucket s3:DeleteObject
При включённом версионировании требуются следующие дополнительные права:
s3:ListBucketVersionsдля всех команд, которым требуетсяs3:ListBuckets3:DeleteObjectVersionдля всех команд, которым требуетсяs3:DeleteObject