2.3. Настройка удалённого режима #

pg_probackup3 поддерживает работу в удалённом режиме. Данные для резервного копирования можно получать от сервера Postgres Pro удалённо по встроенному репликационному протоколу, а резервные копии можно сохранять в хранилище S3 или на сервер SSH по протоколу SFTP.

Примечание

Если вы не собираетесь использовать удалённый режим, пропустите этот раздел и перейдите к инициализации каталога резервных копий.

В зависимости от типа операции можно выбрать один из следующих сценариев:

  • Чтобы подключиться к серверу Postgres Pro для создания резервной копии, используйте стандартные параметры подключения: --pghost, --pgport, --pgdatabase и --pguser.

  • Для сохранения, восстановления и проверки резервных копий в хранилище S3 укажите параметры S3. За подробностями обратитесь к Подраздел 2.3.2.

  • Для работы с резервными копиями на сервере SSH по протоколу SFTP укажите параметры SSH. Обратитесь к Подраздел 2.3.1 за подробностями.

Таким образом и каталог резервных копий, и экземпляр Postgres Pro, для которого делается резервная копия, могут располагаться на удалённых серверах.

Типичная схема его использования выглядит так:

  • На хосте резервного копирования настройте pg_probackup3, как описывается в подразделе Установка и настройка. Для команд init, add-instance, backup и set-config необходимо задать параметры подключения, указывающие на сервер с экземпляром Postgres Pro.

  • Если вы хотите в удалённом режиме использовать доставку WAL в режиме ARCHIVE, настройте непрерывное архивирование WAL с сервера баз данных, как описано в подразделе Настройка непрерывного архивирования WAL. Для этого в команде archive-push требуется задать параметры SSH, указывающие на сервер, где находится каталог резервных копий.

Примечание

Для работы в режиме непрерывного архивирования файлов WAL исполняемые файлы pg_probackup3 должны находиться на сервере Postgres Pro. Вызов pg_probackup3 с командами archive-push и archive-get осуществляется сервером Postgres Pro в соответствии с параметрами archive_command и restore_command в его конфигурации.

Например, чтобы создать полную архивную локальную копию кластера Postgres Pro, работающего на удалённом хосте с адресом 192.168.0.2, подключившись к серверу через порт 2302 с именем пользователя postgres, выполните:

pg_probackup3 backup -B каталог_копий --instance=имя_экземпляра -b FULL --pguser=postgres --pghost=192.168.0.2 --pgport=2302

Чтобы создать резервную копию на сервере SSH с адресом 10.0.3.77 для пользователя ubuntu, выполните:

pg_probackup3 backup -B каталог_копий --instance=имя_экземпляра -b FULL --pguser=postgres --pghost=192.168.0.2 --pgport=2302 --remote-host=10.0.3.77 --remote-user=ubuntu

Скрипт для создания резервной копии в хранилище S3:

export PG_PROBACKUP_S3_PORT=9000
export PG_PROBACKUP_S3_ACCESS_KEY=admin
export PG_PROBACKUP_S3_SECRET_ACCESS_KEY=password
export PG_PROBACKUP_S3_REGION=us-west-2
export PG_PROBACKUP_S3_HOST=10.0.3.77
export PG_PROBACKUP_S3_BUCKET_NAME=test
pg_probackup3 backup -B каталог_копий --instance=имя_экземпляра -b FULL --pguser=postgres --pghost=192.168.0.2 --pgport=2302 --s3

Для настройки непрерывного архивирования WAL на сервер SSH с адресом 10.0.3.77 задайте параметр archive_command:

archive_command = 'pg_probackup3 archive-push -B каталог_копий --instance=имя_экземпляра --wal-file-name=%f --compress-algorithm=zstd --remote-host=10.0.3.77 --remote-user=ubuntu'

Для настройки непрерывного архивирования WAL в хранилище S3 задайте серверный параметр archive_command:

archive_command = 'pg_probackup3 archive-push -B каталог_копий --instance=имя_экземпляра --compress-algorithm=zstd --wal-file-name=%f --s3 --config-file=s3.config'

При этом параметры подключения должны быть сохранены в файле s3.config в каталоге данных Postgres Pro.

2.3.1. Настройка подключения SSH #

pg_probackup3 поддерживает удалённый режим, в котором резервное копирование и архивирование WAL могут выполняться удалённо. Для работы в удалённом режиме pg_probackup3 использует SSH-соединение между сервером Postgres Pro (где запущен pg_probackup3) и сервером хранилища резервных копий. Это позволяет управлять резервными копиями на удалённом сервере так, как если бы они хранились локально.

pg_probackup3 может хранить и читать файлы резервных копий и метаданные на SSH-сервере по SFTP-протоколу. Эта схема работы похожа на S3.

Если вы хотите использовать pg_probackup3 в удалённом режиме через SSH, настройте SSH-подключение к серверу без указания пароля с помощью открытого и закрытого ключей: открытый ключ необходимо разместить на сервере, закрытый — на клиенте.

Примечание

Если удалённый хост не указан, pg_probackup3 будет искать резервную копию локально в каталоге, заданном параметром --backup-path.

За подробностями о параметрах подключения обратитесь к разделу Параметры SSH.

pg_probackup3 работает в удалённом режиме по протоколу SSH следующим образом:

  • В удалённом режиме поддерживаются все команды.

  • Для работы в удалённом режиме не требуется, чтобы программа pg_probackup3 была установлена и в удалённой системе.

Можно указать параметры SSH в файле конфигурации с помощью --config-file. За подробностями обратитесь к разделу Общие параметры.

2.3.2. Настройка подключения к хранилищу S3 #

pg_probackup3 поддерживает интерфейс S3 для хранения резервных копий. Данные резервного копирования передаются в S3 и обратно без сохранения в промежуточных хранилищах, что устраняет необходимость в большом временном хранилище.

Примечание

Функциональность S3 доступна только при использовании pg_probackup3 с Postgres Pro Enterprise.

Если вы хотите использовать pg_probackup3 с интерфейсом S3, выполните следующие действия:

  1. Создайте для будущих копий в хранилище S3 бакет (контейнер) с уникальным именем.

  2. Создайте ключи ACCESS_KEY и SECRET_ACCESS_KEY, которые будут использоваться для безопасного подключения вместо имени и пароля пользователя.

    Примечание

    Если бакет и учётные данные не указаны, pg_probackup3 будет искать резервную копию локально в каталоге, заданном параметром --backup-path.

  3. Для взаимодействия pg_probackup3 с сервером S3 задайте переменные окружения, требуемые для подключения к вашему серверу S3. Например:

    export PG_PROBACKUP_S3_HOST=127.0.0.1
    export PG_PROBACKUP_S3_PORT=9000
    export PG_PROBACKUP_S3_REGION=ru-msk
    export PG_PROBACKUP_S3_BUCKET_NAME=test1
    export PG_PROBACKUP_S3_ACCESS_KEY=admin
    export PG_PROBACKUP_S3_SECRET_ACCESS_KEY=password
    export PG_PROBACKUP_S3_HTTPS=ON

    В качестве альтернативы можно указать параметры сервера S3 в файле конфигурации или с помощью параметров командной строки. За подробностями обратитесь к описанию параметра --config-file в разделе Общие параметры, а также к разделу Параметры S3.

    Если --s3=minio, стоит указывать параметры сервера S3, как описано в разделе Параметры S3.

    Можно указать следующие переменные окружения:

    PG_PROBACKUP_S3_HOST

    Адрес сервера S3. Можно также указать номер порта через двоеточие. Если номер порта не указан в строке адреса, используется значение PG_PROBACKUP_S3_PORT. Добавляйте двоеточие только при указании номера порта.

    Например:

    export PG_PROBACKUP_S3_PORT=80
    export PG_PROBACKUP_S3_HOST="127.0.0.1:9000"

    В этом примере для адреса «127.0.0.1» явно указан порт 9000 и он будет использоваться вместо значения 80, указанного в PG_PROBACKUP_S3_PORT.

    PG_PROBACKUP_S3_PORT

    Порт сервера S3.

    PG_PROBACKUP_S3_REGION

    Регион сервера S3. По умолчанию — us-east-1.

    PG_PROBACKUP_S3_BUCKET_NAME

    Имя бакета на сервере S3.

    PG_PROBACKUP_S3_ACCESS_KEY
    PG_PROBACKUP_S3_SECRET_ACCESS_KEY

    Безопасные ключи доступа к серверу S3.

    PG_PROBACKUP_S3_HTTPS

    Используемый протокол. Возможные значения:

    • ON или HTTPS — использовать HTTPS

    • Иное — использовать HTTP

    PG_PROBACKUP_S3_BUFFER_SIZE

    Размер буфера чтения/записи для организации связи с S3, в МиБ. По умолчанию — 16.

    PG_PROBACKUP_S3_RETRIES

    Максимальное количество попыток выполнения запроса к S3 в случае сбоя. По умолчанию — 3.

    PG_PROBACKUP_S3_TIMEOUT

    Максимальный период времени для выполнения HTTP-запроса к серверу S3, в секундах. По умолчанию — 300.

    PG_PROBACKUP_S3_IGNORE_CERT_VER

    Не проверять сертификат узла и узла-партнёра. По умолчанию: OFF.

    PG_PROBACKUP_S3_CA_CERTIFICATE

    Указать путь к файлу с набором сертификатов доверенного центра сертификации (ЦС).

    PG_PROBACKUP_S3_CA_PATH

    Указать каталог, в котором должны храниться сертификаты доверенного ЦС.

    PG_PROBACKUP_S3_CLIENT_CERT

    Установить клиентский сертификат SSL.

    PG_PROBACKUP_S3_CLIENT_KEY

    Установить файл закрытого ключа для клиентских сертификатов TLS и SSL.

2.3.2.1. Необходимые права для S3 #

Для ключа доступа, используемого pg_probackup3, при отключённом версионировании должны быть предоставлены следующие минимальные права для целевого бакета S3:

  • для команды init:

    s3:GetBucketVersioning
    s3:ListBucket
  • для команд add-instance, set-config и set-backup:

    s3:GetBucketVersioning
    s3:ListBucket
    s3:PutObject
  • для команды del-instance:

    s3:GetBucketVersioning
    s3:ListBucket
    s3:DeleteObject
  • для команд backup, archive-push и file-map:

    s3:ListBucket
    s3:PutObject
    s3:GetBucketVersioning
    s3:AbortMultipartUpload
    s3:GetObject
  • для команд restore, fuse, show, show-config и send-backup:

    s3:GetBucketVersioning
    s3:GetObject
    s3:ListBucket
  • для команды validate:

    s3:GetBucketVersioning
    s3:GetObject
    s3:ListBucket
    s3:PutObject
  • для команд merge и retention:

    s3:ListBucket
    s3:PutObject
    s3:GetBucketVersioning
    s3:AbortMultipartUpload
    s3:GetObject
    s3:DeleteObject
  • для команды delete:

    s3:GetBucketVersioning
    s3:GetObject
    s3:ListBucket
    s3:DeleteObject

При включённом версионировании требуются следующие дополнительные права:

  • s3:ListBucketVersions для всех команд, которым требуется s3:ListBucket

  • s3:DeleteObjectVersion для всех команд, которым требуется s3:DeleteObject

FAQ