Команда backup #

Чтобы создать резервную копию кластера Postgres Pro Shardman, вы можете запустить следующую команду:

        shardmanctl [общие_параметры] backup --datadir каталог [--use-ssh]
    

Следует указать каталог для записи выходных данных в параметре --datadir. Можно ограничить количество одновременно выполняющихся задач (команды pg_receivewal или pg_basebackup), указав ограничение в параметре --maxtasks.

Если указано --use-ssh, команда shardmanctl recover будет использовать команду scp для восстановления данных. Это позволяет использовать хранилище резервных копий на локальном узле.

Команда probackup #

Синтаксис:

shardmanctl [общие_параметры] probackup
       [init|archive-command|backup|checkdb|delete|merge|restore|set-config|show|validate|show-config]
       [--log-to-console][--help]
       [параметры_подкоманды]

Создаёт резервную копию кластера Postgres Pro Shardman и восстанавливает кластер Postgres Pro Shardman из резервной копии, используя pg_probackup.

shardmanctl [общие_параметры] probackup init
-B|--backup-path путь
-E|--etcd-path путь
[--remote-port порт]
[--remote-user имя_пользователя]
[--ssh-key путь]
[-t|--timeout секунды]
[-m|--maxtasks число_заданий]
[--storage-type mount|remote|S3]
[--s3-config-only]
[--s3-config-path путь]
[--s3-host узел_S3]
[--s3-port порт_S3]
[--s3-access-key ключ_доступа_S3]
[--s3-secret-key секретный_ключ_S3]
[--s3-bucket корзина_S3]
[--s3-region регион_S3]
[--s3-buffer-size размер_буфера_S3]
[--s3-retries число_повторов]
[--s3-timeout время]
[--s3-https]
[-y|--yes]

shardmanctl [общие_параметры] probackup archive-command [add|rm]
        -B|--backup-path путь
        [-j|--jobs число]
        [--compress]
        [--compress-algorithm алгоритм]
        [--compress-level уровень]
        [--batch-size размер_порции]
        [--storage-type mount|remote|S3]
        [--remote-port порт]
        [--remote-user имя_пользователя]
        [-s|--shard имя_сегмента]
        [--s3-config-path путь]
        [-y|--yes]
    

shardmanctl [общие_параметры] probackup backup -B|--backup-path путь
        -E|--etcd-path путь
        -b|--backup-mode РЕЖИМ
        [-j|--jobs число]
        [--compress]
        [--compress-algorithm алгоритм]
        [--compress-level уровень]
        [--batch-size размер_порции]
        [--storage-type mount|remote|S3]
        [--remote-port порт]
        [--remote-user имя_пользователя]
        [--ssh-key путь]
        [-t|--timeout секунды]
        [-m|--maxtasks число_заданий]
        [--log-directory путь]
        [--s3-config-path путь]
        [--no-validate]
        [--skip-block-validation]
        [--log-to-console]
        [--retention-redundancy]
        [--retention-window]
        [--wal-depth]
        [--delete-wal]
        [--delete-expired]
        [--merge-expired]
        [-y | --yes]
        [--lock-lifetime]
        [-e |--external-dirs имя_каталога]
    

shardmanctl [общие_параметры] probackup checkdb
[--amcheck [--skip-block-validation] [--heapallindexed]] [--shard сегмент]
[-m|--maxtasks ичсло_заданий]

shardmanctl [общие_параметры] probackup delete -B|--backup-path путь
        -i|--backup-id ид_резервной_копии
        [-j|--jobs число]
        [-m|--maxtasks число_заданий]
        [--storage-type mount|remote|S3]
        [--s3-config-path путь]
        [--delete-wal]
        [-y|--yes]
        [--retention-redundancy]
        [--retention-window]
        [--wal-depth]
        [--delete-expired]
        [--merge-expired]

shardmanctl [общие_параметры] probackup merge -B|--backup-path путь
        -i|--backup-id ид_резервной_копии
        [-j|--jobs число]
        [-m|--maxtasks число_заданий]
        [--no-validate]
        [--no-sync]
        [-y|--yes]

shardmanctl [общие_параметры] probackup restore
        -B|--backup-path путь
        -i|--backup-id идентификатор
        -j|--jobs число
        [--recovery-target-time дата_время]
        [-I|--recovery-mode инкрементальный_режим]
        [-t|--timeout секунды]
        [-m|--maxtasks число_заданий]
        [--metadata-only] [--schema-only] [--shard сегмент]
        [--no-validate]
        [--skip-block-validation]
        [--s3-config-path путь]
        [--storage-type mount|remote|S3]
        [--wal-limit число_сегментов_wal]
        [--log-directory путь]
        [--data-validate]
        [-e |--external-dirs имя_каталога]
        [-T |--tablespace-mapping прошлый_каталог=новый_каталог]
        [-e |--external-mapping прошлый_каталог=новый_каталог]
        [-skip-external-dirs]
        [--reinit-before-restore]
    

shardmanctl [общие_параметры] probackup show
        -B|--backup-path путь
        [-f|--format таблица|json]
        [--archive ]
        [-i|--backup-id ид_резервной_копии]
        [--instance экземпляр]
        [--storage-type mount|remote|S3]
        [--s3-config-path путь]
    

shardmanctl [общие_параметры] probackup show-config
        -B путь
        [-f|--format text|json]
         [--no-scale-units]
         -s|--shard имя_сегмента
        [--instance экземпляр]
        [--s3-config-path путь]
        [--storage-type mount|remote|S3]

shardmanctl [общие_параметры] probackup validate
        -B|--backup-path путь
        -i|--backup-id идентификатор
        [-t|--timeout секунды]
        [-m|--maxtasks число_заданий]
        [--log-to-console]
        [--storage-type mount|remote|S3]
        [--s3-config-path путь]
        [--log-directory путь]
        [--remote-port порт]
        [--remote-user имя_пользователя]
    

shardmanctl [общие_параметры] probackup set-config
        [--archive-timeout целое]
        [-B | --backup-path строка]
        [-m |--maxtasks целое]
        [--remote-port целое]
        [--remote-user строка]
        [--retention-redundancy целое]
        [--retention-window целое]
        [--wal-depth целое]
        [--s3-config-path строка]
        [-s |--shard строка]
        [--storage-type строка]
        [-e |--external-dirs имя_каталога]

Резервное копирование кластера Postgres Pro Shardman командой probackup #

На резервном узле:

  groupadd postgres
  useradd -m -N -g postgres -r -d /var/lib/postgresql -s /bin/bash
 

Далее добавьте SSH ключ для установления SSH соединения без пароля между резервным узлом и узлами кластера Postgres Pro Shardman. После на резервном узле:

  apt-get install pg-probackup shardman-utils
  mkdir -p каталог
  chown postgres:postgres каталог -R
  shardmanctl [общие_параметры] probackup init --backup-path=каталог --etcd-path=каталог/etcd --remote-user=postgres --remote-port=22
  shardmanctl [общие_параметры] probackup archive-command --backup-path=каталог --remote-user=postgres --remote-port=22
  

Если вышеуказанные требования соблюдены, запустите подкоманду backup для резервного копирования кластера:

shardmanctl [общие_параметры] probackup backup --backup-path=каталог --etcd-path=каталог --backup-mode=РЕЖИМ
  

Следует указать каталоги в параметрах --backup-path и --etcd-path, а режим резервного копирования в --backup-mode. Доступны различные режимы копирования: FULL, DELTA, PTRACK и PAGE. Также можно указать параметры сжатия резервной копии в флагах --compress, --compress-algorithm и --compress-level и указать флаги --remote-port и --remote-user. Можно ограничить количество одновременно выполняемых задач при резервном копировании, задав ограничение во флаге --maxtasks.

По умолчанию для создания резервной копии используется копирование данных по протоколу SSH. Чтобы изменить это поведение и скопировать данные в смонтированную секцию, используется параметр --storage-type со значением mount. Это значение будет автоматически использоваться в процессе восстановления.

Можно скопировать данные в S3-совместимое хранилище. Для этого используйте параметр --storage-type со значением S3. Это значение требует указания каталога для хранения журналов pg_probackup в команде --log-directory или в переменной окружения SDM_LOG_DIRECTORY, например:

export SDM_LOG_DIRECTORY=/backup/logs

Чтобы выполнить резервное копирование или восстановление только для S3-совместимого хранилища, вместо указания параметра --storage-type в каждой команде probackup можно установить переменную окружения:

export SDM_STORAGE_TYPE=S3
                

Восстановление кластера Postgres Pro Shardman командой probackup #

Расширение shardmanctl в режиме probackup может выполнять полное восстановление, восстановление только метаданных или восстановление только схемы кластера Postgres Pro Shardman из резервной копии, созданной командой probackup backup.

Чтобы выполнить полное или частичное восстановление, сначала необходимо выбрать желаемую резервную копию для восстановления. Чтобы отобразить список доступных резервных копий, выполните следующую команду:

shardmanctl [общие_параметры] probackup show --backup-path=путь --format=формат [--archive ] [-i|--backup-id ид_резервной_копии] [--instance экземпляр]

После этого должен отобразиться список резервных копий с их идентификаторами в формате таблицы или JSON. Затем выберите нужный идентификатор резервной копии и запустите команду восстановления probackup.

shardmanctl [общие_параметры] probackup restore --backup-path=путь --backup-id=идентификатор

Укажите путь к репозиторию в параметре --backup-path и идентификатор резервной копии во флаге --backup-id.

Если возникли проблемы с экземпляром etcd, лучше выполнить восстановление только метаданных. Для этого можно запустить следующую команду:

shardmanctl [общие_параметры] probackup restore --backup-path=путь --backup-id=идентификатор --metadata-only

Если нужно восстановить только информацию о схеме, например: таблицы, роли и т. д., следует указать параметр --schema-only.

Для обоих видов восстановления можно указать --timeout, чтобы утилита завершала работу ошибкой после указанной в секундах задержки при ожидании готовности кластера или завершения восстановления.

Можно указать параметр --shard для восстановления только в одном сегменте.

Также можно указать параметр --recovery-target-time для выполнения восстановления на момент времени. В этом случае Postgres Pro Shardman находит ближайшую точку синхронизации к указанной временной метке и предлагает выполнить восстановление по найденному значению LSN. Чтобы ограничить количество обрабатываемых сегментов WAL, можно указать параметр --wal-limit.

Восстановление кластера Postgres Pro Shardman #

Расширение shardmanctl может выполнять полное восстановление, восстановление только метаданных или восстановление только схемы кластера Postgres Pro Shardman из резервной копии, созданной командой backup.

Чтобы выполнить полное восстановление, используйте следующую команду:

    shardmanctl [общие_параметры] recover --info файл
   

Передайте файл для загрузки информации о резервной копии в параметре --info. В большинстве случаев в этом параметре нужно указывать файл backup_info в каталоге резервного копирования или его изменённую копию.

Если возникли проблемы с экземпляром etcd, лучше выполнить восстановление только метаданных. Для этого можно запустить следующую команду:

   shardmanctl [общие_параметры] recover --dumpfile файл --metadata-only
   

Следует указать файл для загрузки ранее выгруженных метаданных etcd в параметре --dumpfile.

Если нужно восстановить только информацию о схеме, например: таблицы, роли и т. д., следует указать параметр --schema-only.

Для всех видов восстановления можно указать --timeout, чтобы утилита завершала работу ошибкой после указанной в секундах задержки при ожидании готовности кластера или завершения восстановления.

Можно указать параметр --shard для восстановления только в одном сегменте.

Перед выполнением команды recover укажите DataRestoreCommand и RestoreCommand в файле backup_info. DataRestoreCommand извлекает базовую резервную копию и восстанавливает её в каталог данных сегмента. RestoreCommand извлекает файл WAL и сохраняет его в файл pg_wal в каталоге сегмента. Эти команды могут использовать следующие замены:

процесс keeper сегмента запускает обе команды на каждом узле в кластере, поэтому:

В данных примерах показано, как задать RestoreCommand и DataRestoreCommand:

config get #

Синтаксис:

shardmanctl [общие_параметры] config get [-c | --choose-revision] [-r | --revision ] [-f | --file]

Выгружает текущую полную конфигурацию кластера или конфигурацию указанной версии.

config revisions rm #

Синтаксис:

shardmanctl [общие_параметры] config revisions rm [-r | --revision ] [-y | --yes]

Удаляет указанную версию конфигурации из истории состояний.

config update #

Синтаксис:

shardmanctl [общие_параметры] config update [[-f|--file файл_конфигурации_сегмента|файл_конфигурации_shardman]|текст_конфигурации [-p|--patch][-w|--wait]]] [--force][-y | --yes]

Обновляет конфигурацию сегмента или полную конфигурацию Postgres Pro Shardman. Поддерживает следующие местозаполнители для параметров postgres: {{cluster}}, {{shard}}, {{dataDir}}, {{keeperDir}}, {{keeperID}}, {{host}}. Примеры можно найти здесь.

config rollback #

Синтаксис:

shardmanctl [общие_параметры] config rollback [-r | --revision] [-w|--wait длительность] [--force] [-y|--yes][--repair]

Выполняет откат конфигурации Postgres Pro Shardman к одному из предыдущих состояний. При откате к версии конфигурации, имеющей параметры max_connections, max_prepared_transactions или max_worker_processes, реплики переинициализируются.

При откате конфигурации к одному из прошлых состояний ни один из параметров max_connections, max_prepared_transactions, max_locks_per_transaction, max_wal_senders, max_worker_processes не откатывается, если текущее значение выше того, на которое необходимо откатить.

config revisions #

Синтаксис:

shardmanctl [общие_параметры] config revisions [-f|--format text|json]

Выводит историю версий конфигурации кластера Postgres Pro Shardman. Для каждой версии содержит следующую информацию:

config revisions set #

Синтаксис:

shardmanctl [общие_параметры] config revisions set [--keep-config-revisions]

Позволяет задать длину истории версий конфигурации. Не может быть меньше 5; это значение устанавливается автоматически, если указать длину меньше. Для кластеров Postgres Pro Shardman, у которых ещё не была сформирована история версий конфигурации, автоматически выставляется значение 20.

config update ip #

Синтаксис:

shardmanctl [общие_параметры] config update ip [-u|ip_1=ip_2,hostname_1=hostname_2][-y|--yes][--repair]

Обновляет указанные IP-адреса узлов кластера.

config update credentials #

Синтаксис:

shardmanctl [общие_параметры] config update credentials [-u | --user] [-p | --password] [-k | --ssl-key] [-c | --ssl-cert] [-w|--wait длительность] [--force] [-y | --yes]

Изменяет пароль или сертификат/ключ пользователя для подключения к кластеру Postgres Pro Shardman. Изменяет только тип аутентификации, указанный пользователем (scram-sha-256, ssl), а не сам тип.

cluster repfactor set #

Синтаксис:

shardmanctl [общие_параметры] cluster repfactor set --value новый_коэффициент_репликации

Устанавливает коэффициент репликации для режима топологии manual.

cluster start #

Синтаксис:

shardmanctl [common_options] cluster start

Запускает все экземпляры сервера PostgreSQL.

cluster stop #

Синтаксис:

shardmanctl [общие_параметры] cluster stop [-y|--yes] [-m|--message]

Останавливает все экземпляры сервера PostgreSQL.

cluster topology #

Синтаксис:

shardmanctl [общие_параметры] cluster topology -f|--format table|json|text

Выводит топологию кластера.

init #

Синтаксис:

    shardmanctl [общие_параметры] init [-y|--yes] [-f|--spec-file имя_файла_конфигурации]|текст_конфигурации
   

Регистрирует новый кластер Postgres Pro Shardman в хранилище etcd или повторно инициализирует уже существующий кластер, задавая новую конфигурацию кластера и удаляя все его данные и узлы.

intcheck #

Синтаксис:

    shardmanctl [общие_параметры] intcheck [-s|--system] [-u|--user] [-c|--catalog] [-o|--output]  [-n|--node узел]
   

Запускает pg_integrity_check на всех узлах кластера Postgres Pro Shardman или на выбранном одном узле.

load #

Синтаксис:

     shardmanctl [общие_параметры] load [ -b | --batch-size предел_числа_строк] [ --destination-fields список_полей]
     [ --distributed-keys список_типов_ключей] [ -D | --delimiter символ]
     [--null_marker строка] [ -e | --escape символ] [ -f | --file входной_файл]
     [ -F | --format текст|csv ] [ -j | --jobs общее_число_заданий] [ -q | --quote символ]
     [ --reject-file имя_файла] [ --schema имя_файла] [ --source файл|postgres]
     [ --source-connstr строка_подключения] [ --source-fields список_полей] [ --source-table исходная_таблица]
     [ -t | --table целевая_таблица]
   

Загрузка данных в кластер Postgres Pro Shardman.

restart #

Синтаксис:

     shardmanctl [общие_параметры] restart [-y|--yes] [--no-wait] [-m|--message] [--for-upgrade]
   

Перезапускает кластер Postgres Pro Shardman.

restart rolling #

Синтаксис:

     shardmanctl [общие_параметры] restart rolling [-y|--yes] [--restore-masters] [--upgrade]
   

Последовательно перезапускает кластер Shardman с минимальным временем простоя. Перезапускает shardmand, последовательно перезапускает все резервы, переключает ведущий на один из резервных, после чего перезапускает прошлый ведущий экземпляр.

set #

Синтаксис:

shardmanctl [общие_параметры] set param1=value1 [param2=value2 […]] [-y|--yes] [-w|--wait длительность] [-f|--force] [--repair]

Задаёт значения указанных параметров кластера базы Postgres Pro Shardman. Поддерживает следующие местозаполнители для параметров postgres: {{cluster}}, {{shard}}, {{dataDir}}, {{keeperDir}}, {{keeperID}}, {{host}}. Примеры можно найти здесь.

unset #

Синтаксис:

shardmanctl [общие_параметры]unset pgParam1 [pgParam2 [...]] [-y|--yes] [-w|--wait длительность] [-f|--force] [--repair]

Сбрасывает заданные параметры PostgreSQL до значений по умолчанию.

Регистрация кластера Postgres Pro Shardman #

Чтобы зарегистрировать кластер Postgres Pro Shardman в хранилище etcd, выполните следующую команду:

    shardmanctl [общие_параметры] init [-y|--yes] [-f|--spec-file имя_файла_конфигурации]|текст_конфигурации
   

В этой команде необходимо передать строку с конфигурацией кластера. Это можно сделать следующим образом:

Отображение топологии кластера #

Команда cluster topology отображает текущую топологию кластера, по умолчанию в виде таблицы. Все узлы кластера будут сгруппированы по группам репликации, к которым они принадлежат. Для каждого узла будет отображаться его статус.

    shardmanctl [общие_параметры] cluster topology -f|--format table|json|text
   

nodes add #

Синтаксис:

shardmanctl [общие_параметры] nodes add -n|--nodes имена_узлов [--no-rebalance]

Добавляет узлы в кластер Postgres Pro Shardman. По завершении команды создаётся дамп.

nodes rm #

Синтаксис:

shardmanctl [общие_параметры] nodes rm -n|--nodes имена_узлов[:порт_PostgreSQL]

Удаляет узлы из кластера Postgres Pro Shardman. По завершении команды создаётся дамп.

nodes start #

Синтаксис:

     shardmanctl [общие_параметры] nodes start -n|--nodes имена_узлов [--no-wait]
   

Запускает узлы.

nodes restart #

Синтаксис:

     shardmanctl [общие_параметры] nodes restart -n|--nodes имена_узлов [--no-wait]
   

Перезапускает узлы.

nodes stop #

Синтаксис:

     shardmanctl [общие_параметры] nodes stop -n|--nodes имена_узлов [--no-wait]
   

Останавливает узлы.

Добавление узлов в кластер Postgres Pro Shardman #

Чтобы добавить узлы в кластер Postgres Pro Shardman, выполните следующую команду:

shardmanctl [общие_параметры] nodes add -n|--nodes имена_узлов

Необходимо указать -n (--nodes) для передачи списка добавляемых узлов, разделённых запятыми. Ко всем узлам можно обращаться по их именам хостов или IP-адресам. Имена должны быть правильно разрешены на всех узлах.

Если во время выполнения команды nodes add произошёл сбой, используйте команду cleanup --after-node-operation, чтобы исправить возможные проблемы с конфигурацией кластера.

Удаление узлов из кластера Postgres Pro Shardman #

Чтобы удалить узлы из кластера Postgres Pro Shardman, выполните следующую команду:

shardmanctl [общие_параметры] nodes rm -n|--nodes имена_узлов[:порт_PostgreSQL]

Укажите параметр -n (--nodes) для передачи списка удаляемых узлов, перечисленных через запятую. Команда восстанавливает все секции сегментированных таблиц.

Если порт PostgreSQL не указан, команда удаляет все экземпляры Postgres Pro Shardman на указанном узле.

Чтобы удалить все узлы в кластере без сохранения данных, повторно инициализируйте кластер. Если удалённая группа репликации содержит локальные (несегментированные и неглобальные) таблицы, данные теряются после удаления группы репликации.

shard add #

Синтаксис:

shardmanctl [общие_параметры] shard -s|--shard имя_сегмента add -n|--nodes имена_узлов | -r|--referees имена_рефери | -w|--referees-with-wal имена_рефери_wal [--no-wait]

Добавляет реплику в сегмент. По завершении команды создаётся дамп.

shard master reset #

Синтаксис:

shardmanctl [общие_параметры] shard -s |--shard имя_сегмента master reset

Сбрасывает параметры приоритетного главного сервера для сегмента.

shard add #

Синтаксис:

shardmanctl [общие_параметры] shard -s|--shard shard_name reset [--yes | -y][--new-primary | -p]

Сбрасывает узлы группы репликации, если они зависли.

shard rm #

Синтаксис:

     shardmanctl [общие_параметры] shard -s|--shard имя_сегмента rm -n|--nodes имя_узла[:порт_PostgreSQL]  [-f|--force]

Удаляет резервный узел из сегмента. По завершении команды создаётся дамп.

shard switch #

Синтаксис:

     shardmanctl [общие_параметры] shard -s|--shard имя_сегмента switch [--new-primary имена_узлов]
   

Переключает ведущий узел.

shard start #

Синтаксис:

     shardmanctl [общие_параметры] shard -s |--shard имя_сегмента start [--no-wait] [-n|--node имя_узла]
   

Запускает сегмент.

shard stop #

Синтаксис:

     shardmanctl [общие_параметры] shard -s |--shard имя_сегмента stop [-n|--node имя_узла]
   

Останавливает сегмент.

shard node priority set #

Синтаксис:

shardmanctl [общие_параметры] shard -s|--shard имя_сегмента node priority set -n|--node имя_узла -p|--priority priority

Задать приоритет узла.

shard node priority reset #

Синтаксис:

     shardmanctl [общие_параметры] shard -s|--shard имя_сегмента node priority reset -n|--node имя_узла

Сбросить приоритет узла.

shard replicas reinit #

Синтаксис:

     shardmanctl [общие_параметры] shard -s|--shard имя_сегмента replicas reinit [-n|--node имена_узлов] [-y|--yes] [--no-wait]

Сбрасывает реплики определённого сегмента.

За подробностями обратитесь к Подразделу «Переинициализация реплик»

Переинициализация реплик #

Если реплики находятся в неправильном состоянии, их можно сбросить с помощью команды shardmanctl:

shardmanctl [общие_параметры] shard --shard=имя_сегмента replicas reinit

Эта команда определяет узлы, на которых запущены реплики указанного сегмента, и отправляет запрос shardmand на этих узлах. После получения этого запроса shardmand очищает каталог данных postgres и перезапускает процесс keeper, отвечающий за управление репликой. После этого реплики перезапускаются и начинают получать данные от соответствующего ведущего сервера.

status #

Синтаксис:

     shardmanctl [common_options] status [-f|--format table|json] [--filter store|metadata|shardmand|rg|master|dictionary|biha|keeper|restart_required_params] [-s|--sort node|rg|status]
    [--exclude store|metadata|shardmand|rg|master|dictionary|biha|keeper|restart_required_params]
   

Выводит информацию о состоянии подсистем кластера Postgres Pro Shardman. Если проблем не обнаружено, подробности и таблицы статуса не отображаются.

status transactions #

Синтаксис:

     shardmanctl [общие_параметры] status transactions [-r|--repgroup имя_группы_репликации
     

Показывает распределённые транзакции, которые не удалось разобрать встроенными инструментами мониторинга Postgres Pro Shardman.

Получение статуса подсистем кластера #

Чтобы получить отчёт о состоянии кластера Postgres Pro Shardman в формате таблицы для подсистем metadata и store, отсортированных по группам репликации, выполните следующую команду:

    shardmanctl [общие_параметры] status --filter=metadata,store --sort=rg
   

Чтобы получить отчёт в формате JSON, используйте параметр -f|--format=json (не включён выше, так как формат table используется по умолчанию). О каждой обнаруженной проблеме сообщается со статусом «Unknown», «Warning», «Error» или «Fatal error». Инструмент также может сообщить об операционной ошибке, что означает, что во время проверки работоспособности кластера возникла проблема. Когда команда обнаруживает критическую или операционную ошибку, дальнейшая диагностика прекращается. Например, несогласованность метаданных хранилища не позволяет выполнять правильные операции с кластером и должна быть устранена в первую очередь.

Вывод списка неразобранных распределённых транзакций #

Чтобы просмотреть список распределённых транзакций, которые не удалось разобрать встроенными средствами мониторинга Postgres Pro Shardman, выполните следующую команду:

    shardmanctl [общие_параметры] status transactions -r|--repgroup имя_группы_репликации

Информация о каждой транзакции состоит из tx_id (идентификатор транзакции), coordinator_id, creation_time и description (ошибка или статус транзакции). Чтобы отобразить список транзакций для определённой группы репликации, используйте параметр -r|--repgroup (по умолчанию для всех групп репликации). Если таких транзакций нет, команда возвращает значение null в формате JSON.

store dump #

Синтаксис:

     shardmanctl [общие_параметры] store dump [-f|--file имя_файла]
   

Выгружает текущие конфигурации кластеров из хранилища.

store restore #

Синтаксис:

     shardmanctl [общие_параметры] store restore [-f|--file имя_файла][-y|--yes]
   

Позволяет безопасно восстановить кластер etcd из дампа, созданного с помощью команды shardmanctl store dump.

store lock #

Синтаксис:

     shardmanctl [общие_параметры] store lock [-f|--format text|json]
   

Показывает информацию о текущей блокировке метаданных кластера.

store get #

Синтаксис:

    shardmanctl [общие_параметры] store get [[-a|--alias имя_псевдонима]|[-k|--key имя_ключа] [-f|--file имя_файла]]
   

Получает указанный ключ из хранилища.

store keys #

Синтаксис:

    shardmanctl [общие_параметры] store keys
   

Получает из хранилища все ключи с текущим префиксом кластера.

За подробностями обратитесь к Подразделу «Получение имён ключей кластера и ковша для текущего кластера».

store set #

Синтаксис:

    shardmanctl [общие_параметры] store set [[-a|--alias имя_псевдонима]|[-k|--key имя_ключа]] [-f|--file имя_файла]
   

Создаёт или перезаписывает ключ в хранилище.

Выгрузка всех ключей из хранилища для отладки конфигурации ошибок #

Столкнувшись с ошибкой при использовании кластера Postgres Pro Shardman, для получения исчерпывающего отчёта полезно выгрузить все конфигурации, которые могут привести к такой ошибке, используя следующую команду:

    shardmanctl [общие_параметры] store dump -f|--file имя_файла
   

Могут отображаться некоторые некритичные ошибки, но они не будут прерывать выгрузку. Если имя файла не указано, данные выводятся в stdout и могут замусорить терминал.

Получение текущей конфигурации сегмента #

Чтобы получить текущую конфигурацию сегмента, которая обычно является частью ключа кластера в хранилище, используйте следующую команду:

    shardmanctl [общие_параметры] store get -a|--alias shardnspec -f|--file имя_файла
   

Если сам ключ кластера повреждён, конфигурация сегмента также не будет отображаться. Вместо использования псевдонима можно также узнать полное имя ключа данных кластера (получив список всех ключей с помощью store keys) и использовать store get, чтобы получить имя ключа и найти в нём часть сегмента. Учтите, что при использовании последнего варианта параметр shardman.config_uuid не будет удалён, что может привести к конфликту при последующем использовании этих данных. Для манипуляций с конфигурацией stolon рекомендуется использовать команду shardmanctl store get -a shardspec.

Получение имён ключей кластера и ковша для текущего кластера #

Чтобы получить сразу все имена ключей в хранилище, выполните следующую команду:

    shardmanctl [общие_параметры] store keys
   

Список ключей может отображаться только в формате JSON. Также будут выведены псевдонимы для тех ключей, у которых они есть (за исключением shardspec и spec, так как они являются частями других ключей)

Вывод информации о текущей блокировке метаданных кластера #

Можно просмотреть информацию о текущих блокировках метаданных кластера, полученных любой командой:

    shardmanctl [общие_параметры] store lock -f|--format json
   

Чтобы получить отчёт в формате JSON, используйте параметр -f|--format=json (не указан выше, поскольку формат text используется по умолчанию). Если блокировка не существует, возвращает Lock not found.

Установка новой конфигурации для кластера #

Чтобы установить новую часть конфигурации кластера, выполните следующую команду:

    shardmanctl [общие_параметры] store set --alias=spec --file=spec.json
   

Поскольку spec является частью ключа данных кластера, его нельзя задать в параметре --key. Если выбранный файл не формата JSON, новая часть конфигурации не будет установлена.

tables sharded info #

Синтаксис:

    shardmanctl [общие_параметры] tables sharded info [-t|--table имя_таблицы]
   

Получает информацию о сегментированной таблице.

tables sharded list #

Синтаксис:

    shardmanctl [общие_параметры] tables sharded list
   

Получает список всех сегментированных таблиц.

tables sharded norebalance #

Синтаксис:

    shardmanctl [общие_параметры] tables sharded norebalance
   

Получает список сегментированных таблиц с отключённой автоматической перебалансировкой.

tables sharded partmove #

Синтаксис:

    shardmanctl [общие_параметры] tables sharded partmove [-t|--table имя_таблицы] [-s|--shard имя_сегмента] [-p|--partnum число]
   

Перемещает указанную секцию сегментированной таблицы в новый сегмент.

tables sharded rebalance #

Синтаксис:

    shardmanctl [общие_параметры] tables sharded rebalance [-t|--table имя_таблицы]
   

Включает и запускает автоматическую перебалансировку данных для выбранной сегментированной таблицы.

bench init #

Синтаксис:

shardmanctl [общие_параметры] bench init [--schema-type single|simple|shardman|custom]
[--schema-file имя_файла] [-s|--scale значение_масштабирования]  [-n|--no-vacuum]
[-F|--fillfactor значение_коэффициента_заполнения]

Инициализирует схему тестирования через pgbench. Схема может быть пользовательской или предопределённой. Создаёт таблицы схемы tpc-b и заполняет их.

bench run #

Синтаксис:

shardmanctl [общие_параметры] bench run [--schema-type single|simple|shardman|custom]
[-f|--file имя_файла] [-c|--client число_клиентов]  [-C|--connect] [--full-output]
[-j|--jobs число_процессов][-T|--time секунды][-t|--transactions число_транзакций]
[-s|--scale коэффициент_масштаба] [ -P | --progress секунды] [ -R | --rate скорость] [ -M | --protocol режим_запросов]
[-D|--define имя_переменной=значение]

Запускает инициализированный тест производительности через pgbench. Можно использовать скрипт pgbench по умолчанию или пользовательский скрипт из файла.

bench cleanup #

Синтаксис:

shardmanctl [общие_параметры] bench cleanup

Очищает базу данных схемы после тестов производительности. Удаляет таблицы tpc-b.

bench generate #

Синтаксис:

shardmanctl [общие_параметры] bench generate [-c|--config имя_файла] [-o|--output-file имя_файла]

Получает конфигурацию теста производительности из файла и генерирует bash-скрипт для создания схемы, оптимизированной для Postgres Pro Shardman, и запуска теста производительности с использованием pgbench. Файл конфигурации должен быть в формате yaml.

cleanup #

Синтаксис:

shardmanctl [общие_параметры] cleanup [-p|--processrepgroups] --after-node-operation|--after-rebalance

Выполняет очистку после команды nodes add или rebalance.

Выполнение очистки #

По умолчанию cleanup работает только в режиме отчёта, т. е. следующая команда покажет только действия, которые необходимо выполнить во время фактической очистки:

    shardmanctl [общие_параметры] cleanup --after-node-operation|--after-rebalance
   

Чтобы выполнить фактическую очистку, запустите следующую команду:

    shardmanctl [общие_параметры] cleanup -p|--processrepgroups --after-node-operation|--after-rebalance
   

schema verify #

Синтаксис:

     shardmanctl [общие_параметры] schema verify [--filter partitions|extension|tables|roles|schemas|sequences]
   

Проверяет, что в схеме содержатся правильные данные о секциях, а также что они расположены на тех же ведущих узлах, что и соответствующие секции совмещённой таблицы. Также проверяет, что у всех сегментов одинаковые глобальные и сегментированные таблицы, глобальные роли, глобальные последовательности, схемы и расширения, и что имена сегментов отличаются от их локальных версий.

schema list #

Синтаксис:

     shardmanctl [общие_параметры] schema list [-f|--format text|json]
   

Показывает список сохранённых дампов схемы shardman.

schema show #

Синтаксис:

     shardmanctl [общие_параметры] shard show --shard имя_сегмента --dump-id ид_дампа
   

Выводит дамп с указанным идентификатором для заданного сегмента.

schema restore #

Синтаксис:

     shardmanctl [общие_параметры] schema restore --dump-id ид_дампа [--shards список_сегментов_через_запятую] [--smart]
   

Восстанавливает схему shardman из дампа с указанным идентификатором.

schema dump #

Синтаксис:

     shardmanctl [общие_параметры] schema dump [--no-verify]
   

Создаёт дамп схемы shardman в etcd с ключом shardman/имя_кластера/shardman_schema_dumps/ид_дампаd. Может быть сохранено не более 10 дампов. В случае превышения этого количества удаляется самый старый дамп. Если новый дамп совпадает с одним из существующих, остаётся только более новый из них.

daemon set #

Синтаксис:

shardmanctl [общие_параметры] daemon set [--session-log-level debug | info | warn | error] [--session-log-format json|text] [--session-log-nodes]

Позволяет обновить параметры протоколирования «на лету».

daemon check #

Синтаксис:

shardmanctl [общие_параметры] daemon check -n|--nodes имя_узла:порт

Проверяет shardmand на узлах.

Проверка работы службы shardmand на узлах #

Команда daemon check не только проверяет, запущена ли служба shardmand на указанных узлах, но и гарантирует, что эти службы настроены для того же кластера, что и shardmanctl:

    shardmanctl [общие_параметры] daemon check -n|--nodes имена_узлов
   

getconnstr #

Синтаксис:

shardmanctl [общие_параметры] getconnstr --all

Получает строку подключения libpq для подключения к кластеру в роли администратора.

forall #

Синтаксис:

shardmanctl [общие_параметры] forall --sql запрос[ --sql запрос[ --sql запрос ...]] [--twophase] [-d --dbname] [--no-transaction]

Выполнение оператора SQL для всех групп репликации в кластере Postgres Pro Shardman.

rebalance

Синтаксис:

shardmanctl [общие_параметры] rebalance [-f|--force]

Выполняет перебалансировку сегментированных таблиц. По завершении команды создаётся дамп.

upgrade #

Синтаксис:

shardmanctl [общие_параметры] upgrade [--with-restart] [-y]

Обновляет расширение shardman базы данных и изменяет параметры pg_foreign_server.

script #

Синтаксис:

shardmanctl [общие_параметры] script -s|--shard имя_сегмента][[-f|--file имя_файла][--sql запрос]]

Выполняет нетранзакционные команды из файла или командной строки на указанных сегментах.

psql #

Синтаксис:

shardmanctl [общие_параметры] psql -s |--shard имя_сегмента [-c|--command] [-t|--tuples-only]

Без заданных параметров подключается к первому доступному ведущему узлу.

history #

Синтаксис:

shardmanctl [общие_параметры] ] history [--reverse | -r] [-f|--format json|text] [-l|--limit число_команд]

Выводит историю команд, которые привели к изменению кластера. По умолчанию отсортированы от самых недавних к самым старым.

Инициализация кластера

Для инициализации кластера Postgres Pro Shardman с именем cluster0, который использует кластер etcd, состоящий из прослушивающих порт 2379 узлов n1, n2 и n3, проверьте правильность параметров в файле конфигурации sdmspec.json и выполните:

$ shardmanctl --store-endpoints http://n1:2379,http://n2:2379,http://n3:2379 init -f sdmspec.json

Получение строки подключения к кластеру

Чтобы получить строку подключения для кластера Postgres Pro Shardman с именем cluster0, который использует кластер etcd, состоящий из узлов n1, n2 и n3, прослушивающих порт 2379, выполните:

 $ shardmanctl --store-endpoints http://n1:2379,http://n2:2379,http://n3:2379 getconnstr
  
  dbname=host postgres=n1,n4,n2,n1,n1,n2,n4,n3 password=yourpasswordhere port=5432,5433,5432,5433,5432,5433,5432,5433 user=postgres
  
  

Чтобы добавить информацию о репликах в результат команды getconnstr, используется параметр --all.

Получение статуса кластера

Ниже представлен пример вывода статуса из shardmanctl со статусами OK и Error:

        $ shardmanctl status --filter store,shardmand,rg --sort=node
        
┌──────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                            == STORE STATUS ==                                            │
├────────────┬─────────────────────────────────────────────┬───────────────────────┬───────────────────────┤
│   STATUS   │                   MESSAGE                   │   REPLICATION GROUP   │          NODE         │
├────────────┼─────────────────────────────────────────────┼───────────────────────┼───────────────────────┤
│     OK     │ etcd store is OK                            │                       │                       │
└────────────┴─────────────────────────────────────────────┴───────────────────────┴───────────────────────┘
┌──────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                          == SHARDMAND STATUS ==                                           │
├────────────┬─────────────────────────────────────────────┬───────────────────────┬───────────────────────┤
│   STATUS   │                   MESSAGE                   │   REPLICATION GROUP   │          NODE         │
├────────────┼─────────────────────────────────────────────┼───────────────────────┼───────────────────────┤
│     OK     │ shardmand on node 56d819b4e9e4 is OK        │                       │      56d819b4e9e4     │
├────────────┼─────────────────────────────────────────────┼───────────────────────┼───────────────────────┤
│     OK     │ shardmand on node 6d0aabd50acc is OK        │                       │      6d0aabd50acc     │
└────────────┴─────────────────────────────────────────────┴───────────────────────┴───────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                       == REPLICATION GROUP STATUS ==                                      │
├────────────┬──────────────────────────────────────────────┬───────────────────────┬───────────────────────┤
│   STATUS   │                    MESSAGE                   │   REPLICATION GROUP   │          NODE         │
├────────────┼──────────────────────────────────────────────┼───────────────────────┼───────────────────────┤
│     OK     │ Replication group clover-1-56d819b4e9e4 is   │ clover-1-56d819b4e9e4 │                       │
│            │ OK                                           │                       │                       │
├────────────┼──────────────────────────────────────────────┼───────────────────────┼───────────────────────┤
│            │ Replication connection is down for slave     │                       │                       │
│    Error   │ 6d0aabd50acc:5442 in replication group       │ clover-1-6d0aabd50acc │   6d0aabd50acc:5442   │
│            │ clover-1-6d0aabd50acc                        │                       │                       │
└────────────┴──────────────────────────────────────────────┴───────────────────────┴───────────────────────┘
┌─────────────────────────────────────────────────────────────────────────────────────────┐
│                           == RESTART REQUIRED PARAMS STATUS ==                          │
├──────────┬──────────────────────────────────────┬───────────────────┬───────────────────┤
│  STATUS  │                MESSAGE               │ REPLICATION GROUP │        NODE       │
├──────────┼──────────────────────────────────────┼───────────────────┼───────────────────┤
│    OK    │     No pending restart parameters    │      shard-1      │       shrn1       │
├──────────┼──────────────────────────────────────┼───────────────────┼───────────────────┤
│    OK    │     No pending restart parameters    │      shard-2      │       shrn4       │
└──────────┴──────────────────────────────────────┴───────────────────┴───────────────────┘
          
        

Изменение конфигурации сегмента

Сначала получите список доступных ключей в хранилище, используя следующую команду:

      $ shardmanctl store keys
        
$ shardmanctl store keys

{
 "Key": "shardman/cluster0/biha/cluster/shard-1/clusterdata"
}{
 "Key": "shardman/cluster0/biha/cluster/shard-1/keepers/info/keeper_1"
}{
 "Key": "shardman/cluster0/biha/cluster/shard-2/clusterdata"
}{
 "Key": "shardman/cluster0/biha/cluster/shard-2/keepers/info/keeper_1"
}{
 "Key": "shardman/cluster0/data/cluster",
 "Alias": "cluster"
}{
 "Key": "shardman/cluster0/data/cluster/revisions"
}{
 "Key": "shardman/cluster0/data/cluster/revisions/2024-10-31T09:29:26"
}{
 "Key": "shardman/cluster0/data/ladle",
 "Alias": "ladle"
}{
 "Key": "shardman/cluster0/data/repgroups",
 "Alias": "repgroups"
}
        
      

Получите конфигурацию сегмента из хранилища и сохраните её в файле shardspec.json, используя команду

       $ shardmanctl store get -a shardspec -f shardspec.json
     

Примените необходимые изменения и загрузите новую конфигурацию командой shardmanctl config update. Учтите, что параметр shardman.config_uuid удаляется в команде shardmanctl store get -a shardspec, а не в shardmanctl store get -k full/path/to/clusterspec; использование конфигурации с существующим shardman.config_uuid приведёт к конфликту.

Для перепроверки можно получить ключ кластера с новой ShardSpec по полному имени ключа (которое было показано ранее командой store keys):

      $ shardmanctl store get -k shardman/cluster0/data/cluster
        
{
  "FormatVersion": 1,
  "Spec": {
    "PgSuAuthMethod": "md5",
    "PgSuPassword": "12345",
    "PgSuUsername": "postgres",
    "PgReplAuthMethod": "md5",
    "PgReplPassword": "12345",
    "PgReplUsername": "repluser",
    "ShardSpec": {
      ...
}
        
      

Добавление узлов в кластер

Чтобы добавить узлы n1,n2, n3 и n4 в кластер, выполните:

$ shardmanctl --store-endpoints http://n1:2379,http://n2:2379,http://n3:2379 nodes add -n n1,n2,n3,n4

Узлы n1,n2, n3 and n4 устанавливаются как ведущие для репликационных групп. После этого можно вывести топологию кластера:

$ shardmanctl cluster topology

┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-1, RGID - 1 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n1    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-2, RGID - 2 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n2    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-3, RGID - 3 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n3    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-4, RGID - 4 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n4    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘

Для добавления новой реплики выполните команду:

shardmanctl --store-endpoints http://n1:2379,http://n2:2379,http://n3:2379 shard -s shard-1 add -n n2

Это создаст кластер со следующей топологией:

$ shardmanctl cluster topology

┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-1, RGID - 1 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n1    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n2    │         5433        │       keeper_2      │       FOLLOWER      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-2, RGID - 2 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n2    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-3, RGID - 3 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n3    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-4, RGID - 4 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n4    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘

Удаление узлов из кластера

Чтобы удалить узлы n1 и n2 из кластера cluster0, выполните:

      $ shardmanctl --store-endpoints http://n1:2379,http://n2:2379,http://n3:2379 nodes rm -n n1,n2
    

Если используется политика размещения cross, вместе с узлами будут удалены звенья, содержащие эти узлы.

Выполнение запроса во всех группах репликации

Чтобы выполнить запрос select version() во всех группах репликации, используйте:

 $ shardmanctl --store-endpoints http://n1:2379,http://n2:2379,http://n3:2379 forall --sql 'select version()'
 
 Node 1 says:
 [PostgreSQL 13.1 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 9.3.0-17ubuntu1~20.04) 9.3.0, 64-bit]
 Node 4 says:
 [PostgreSQL 13.1 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 9.3.0-17ubuntu1~20.04) 9.3.0, 64-bit]
 Node 3 says:
 [PostgreSQL 13.1 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 9.3.0-17ubuntu1~20.04) 9.3.0, 64-bit]
 Node 2 says:
 [PostgreSQL 13.1 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 9.3.0-17ubuntu1~20.04) 9.3.0, 64-bit]
 
 

Выполнение перебалансировки

Чтобы выполнить перебалансировку сегментированных таблиц в кластере cluster0, выполните:

 $ shardmanctl --store-endpoints http://n1:2379,http://n2:2379,http://n3:2379 rebalance
 

Обновление параметров конфигурации PostgreSQL #

Чтобы установить для параметра max_connections значение 200 в кластере, создайте файл конфигурации (например, ~/shardspec.json) со следующим содержимым:

 {
   "pgParameters": {
     "max_connections": "200"
   }
 }
 

Затем выполните:

 $ shardmanctl --store-endpoints http://n1:2379,http://n2:2379,http://n3:2379 config update -p -f ~/shardspec.json
 

Поскольку для изменения max_connections требуется перезапуск, эта команда перезапускает экземпляры СУБД.

Выполнение резервного копирования и восстановления

Чтобы создать резервную копию кластера cluster0, используя etcd на etcdserver, прослушивающем порт 2379, и сохранить его в локальном каталоге /var/backup/shardman, выполните:

$ shardmanctl --store-endpoints http://etcdserver:2379 backup --datadir=/var/backup/shardman --use-ssh

Предположим, что вы выполняете восстановление из резервной копии в кластер cluster0, используя etcd на etcdserver, прослушивающем порт 2379, и берёте описание резервной копии из файла /var/backup/shardman/backup_info. Отредактируйте файл /var/backup/shardman/backup_info, если необходимо, задайте параметры DataRestoreCommand, RestoreCommand и запустите:

$ shardmanctl --store-endpoints http://etcdserver:2379 recover --info /var/backup/shardman/backup_info

For metadata-only restore, run:

$ shardmanctl --store-endpoints http://etcdserver:2379 recover --metadata-only --dumpfile /var/backup/shardman/etcd_dump

For schema-only restore, run:

$ shardmanctl --store-endpoints http://etcdserver:2379 recover --schema-only --dumpfile /var/backup/shardman/etcd_dump

For single shard restore, run:

$ shardmanctl --store-endpoints http://etcdserver:2379 recover  --info /var/backup/shardman/backup_info --shard shard_1

Выполнение резервного копирования и восстановления с использованием команды probackup

Чтобы создать резервную копию кластера cluster0, используя etcd на etcdserver, прослушивающем порт 2379, и сохранить её в локальном каталоге /var/backup/shardman, сначала инициализируйте репозиторий резервных копий подкомандой init:

$ shardmanctl --store-endpoints http://etcdserver:2379 probackup init --backup-path=/var/backup/shardman --etcd-path=/var/backup/etcd_dump

Затем добавьте и включите команду archive_command с подкомандой archive-command:

$ shardmanctl --store-endpoints http://etcdserver:2379 probackup archive-command add --backup-path=/var/backup/shardman

Если репозиторий успешно инициализирован и успешно добавлена archive-command, создайте резервную копию в режиме FULL, используя подкоманду backup:

$ shardmanctl --store-endpoints http://etcdserver:2379 probackup backup --backup-path=/var/backup/shardman --etcd-path=/var/backup/etcd_dump --backup-mode=FULL --compress --compress-algorithm=zlib --compress-level=5

Чтобы создать резервную копию в режиме DELTA, PTRACK или PAGE, запустите подкоманду backup со значением DELTA, PTRACK или PAGE параметра --backup-mode:

$ shardmanctl --store-endpoints http://etcdserver:2379 probackup backup --backup-path=/var/backup/shardman --etcd-path=/var/backup/etcd_dump --backup-mode=DELTA --compress --compress-algorithm=zlib --compress-level=5

Чтобы узнать идентификатор созданной резервной копии, запустите подкоманду show:

$ shardmanctl --store-endpoints http://etcdserver:2379 probackup show --backup-path=/var/backup/shardman --format=table

┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                                                                                      == BACKUP ID 'S88FRO'                                                                                                     │
│                                                                                                               ==                                                                                                               │
├───────────────────────────────────┬───────────────────────────────────┬───────────────────────────────────┬────────────┬────────────┬────────────┬────────────┬────────────┬────────────┬────────────┬────────────┬────────────┤
│              INSTANCE             │                HOST               │           RECOVERY TIME           │    MODE    │  WAL MODE  │     TLI    │    DATA    │     WAL    │   Z-RATIO  │  START LSN │  STOP LSN  │   STATUS   │
├───────────────────────────────────┼───────────────────────────────────┼───────────────────────────────────┼────────────┼────────────┼────────────┼────────────┼────────────┼────────────┼────────────┼────────────┼────────────┤
│              shard-1              │               n1                  │       2024-02-02 14:19:05+00      │    FULL    │   ARCHIVE  │     1/0    │  42.37MiB  │    16MiB   │    1.00    │  0/C000028 │  0/D0018B0 │     OK     │
├───────────────────────────────────┼───────────────────────────────────┼───────────────────────────────────┼────────────┼────────────┼────────────┼────────────┼────────────┼────────────┼────────────┼────────────┼────────────┤
│              shard-2              │               n2                  │       2024-02-02 14:19:05+00      │    FULL    │   ARCHIVE  │     1/0    │  42.38MiB  │    16MiB   │    1.00    │  0/C000028 │  0/D001E00 │     OK     │
└───────────────────────────────────┴───────────────────────────────────┴───────────────────────────────────┴────────────┴────────────┴────────────┴────────────┴────────────┴────────────┴────────────┴────────────┴────────────┘

В режиме PTRACK Postgres Pro Shardman отслеживает изменения страниц на лету. Чтобы он работал, не требуется производить непрерывное архивирование. При каждом изменении страницы отношения она помечается в специальной битовой карте PTRACK. Это отслеживание немного увеличивает издержки в работе сервера, но значительно ускоряет инкрементальное резервное копирование.

Если будут использоваться резервные копии PTRACK, выполните следующие дополнительные шаги:

Чтобы проверить созданную резервную копию, запустите подкоманду validate:

$ shardmanctl --store-endpoints http://etcdserver:2379 probackup validate --backup-path=/var/backup/shardman --backup-id=RFP1FI

Предположим, что выполняется восстановление из резервной копии в кластер cluster0, используя etcd на etcdserver, прослушивающем порт 2379, и берётся идентификатор резервной копии из команды show:

$ shardmanctl --store-endpoints http://etcdserver:2379 probackup restore --backup-path=/var/backup/shardman --backup-id=RFP1FI
  

Наконец, нужно снова включить archive_command.

$ shardmanctl --store-endpoints http://etcdserver:2379 probackup archive-command add --backup-path=/var/backup/shardman

Для восстановления только метаданных выполните:

$ shardmanctl --store-endpoints http://etcdserver:2379 probackup restore --schema-only --backup-path=/var/backup/shardman --backup-id=RFP1FI

Для восстановления одного сегмента выполните:

$ shardmanctl --store-endpoints http://etcdserver:2379 probackup restore --backup-path=/var/backup/shardman --backup-id=RFP1FI --shard shard_1

Для восстановления на определённый момент времени выполните:

$ shardmanctl --store-endpoints http://etcdserver:2379 probackup restore --metadata-only --backup-path=/var/backup/shardman --backup-id=RFP1FI --recovery-target-time='2006-01-02 15:04:05' -s

Загрузка данных из текстового файла

Чтобы загрузить данные в кластер Postgres Pro Shardman, выполните следующую команду:

$ shardmanctl --store-endpoints http://etcdserver:2379 load --file=/var/load/data.tsv --table=mytable --source file --format text -j 8
    

В этом примере данные загружаются из файла данных /var/load/data.tsv (с разделением табуляцией) в таблицу mytable в 8 параллельных потоков. Можно использовать schema.table в качестве имени таблицы.

Загрузка данных из таблицы PostgreSQL

Чтобы загрузить данные в кластер Postgres Pro Shardman из таблицы PostgreSQL, выполните следующую команду:

$ shardmanctl --store-endpoints http://etcdserver:2379 load -t desttable --source postgres --source-connstr "dbname=db host=srchost port=srcport user=login password=passwd" --source-table sourcetable -j 8
     

В этом примере данные загружаются из таблицы sourcetable в таблицу desttable в 8 параллельных потоков. Можно использовать schema.table в качестве имён таблиц.

Загрузка данных из схемы PostgreSQL #

Чтобы загрузить данные из схемы PostgreSQL в кластер Postgres Pro Shardman, выполните следующую команду:

$ shardmanctl --store-endpoints http://etcdserver:2379 load --schema load_schema.yaml
     

Файл load_schema.yaml имеет следующий формат:

version: "1.0"
migrate:
  connstr: "dbname=workdb host=workhost port=workport user=workuser password=workpassword"
  jobs: 8
  batch: 1000
  options:
    - create_schema
    - create_table
    - create_index
    - create_sequence
    - create_foreign_key
    - create_role
    - copy_ownership
    - copy_grants
    - truncate_table
    - skip_no_pkey_tables
    - skip_create_index_error
    - skip_create_extension_error
    - skip_load_errors
    - skip_create_foreign_key_error
    - skip_create_role_error
    - skip_copy_grants_error
    - skip_copy_ownership_error
  schemas:
    - name: public
      all: false
      tables:
        - name: tab1
          type: sharded
          partitions: 6
          distributedby: id
          priority: 3
        - name: tab2
          type: global
        - name: tab3
          type: sharded
          partitions: 6
          distributedby: field_id
          colocatewith: tab1
        - name: table4
            type: global
            source: schema.view
            source_pk: field_id
        - name: table5
            type: global
            source: schema.func(arg)
            source_pk: field_id
    - name: schema2
      all: false
      default_type: sharded
      default_partitions: 6
      tables:
        - name: table1
          distributedby: field_id
          priority: 2
        - name: table2
          type: global
        - name: table3
          source: schema.view
          distributedby: field_id
          priority: 3
        - name: table4
          distributedby: field_id
          source: schema.func(arg)
        - name: table5
          source: schema."complex.""table.name"
          distributedby: field_id
    - name: schema3
      all: true
      skip_tables: [table1, table2, table3]
  roles:
    - name: test_user1
      password: test_password
    - name: test_user2
    

Параметр migrate.jobs определяет количество параллельных процессов загрузки данных.

Параметр migrate.batch задаёт число строк в одной порции (рекомендуемое значение — 1000).

Параметр migrate.schema определяет массив желаемых схем исходной базы данных. Все остальные схемы будут пропущены.

Если для параметра all задано значение true, то будут перенесены все таблицы из текущей схемы (с типом global по умолчанию). Если таблица указана в массиве migrate.schemas.tables, то для неё необходимо явно указать тип целевой таблицы. В настоящее время поддерживаются два типа таблиц: global и sharded. Сначала загружаются глобальные (global) таблицы, затем сегментированные (sharded) таблицы и в конце сегментированные таблицы с параметром colocatedwith. Порядок загрузки таблиц одного типа можно изменить с помощью параметра priority.

Секция migrate.schemas.skip_tables определяет массив имён таблиц, которые будут пропущены при загрузке схемы, даже если для параметра all установлено значение true.

Для сегментированных таблиц должны быть установлены следующие атрибуты: distributedby (указывает имя столбца, используемого для секционирования таблицы) и partitions (количество секций, которые будут созданы для этой таблицы). Для сегментированных таблиц может быть дополнительно установлен атрибут colocatewith (имя таблицы, с которой выполняется совместное размещение). Postgres Pro Shardman попытается разместить секции созданной таблицы с тем же ключом секции на тех же узлах, что и соответствующие секции таблицы, указанные в colocatewith.

Можно указать параметр таблицы default_type для схемы: global или sharded (по умолчанию: global). Для сегментированного типа также можно указать параметр default_partitions (по умолчанию: 20). Если установлен default_type sharded, необходимо указать параметр distributedby для каждой таблицы.

Параметр source для таблицы должен включать схему и исходную таблицу: schema.source. Исходной может быть таблица, представление или функция. Например: public.table, public.view, public.func(arg). Если устанавливается представление или функция source для глобальной таблицы, необходимо указать в параметре source_pk, какой первичный ключ установлен для этой таблицы. Если source не указан или содержит имя таблицы, также можно указать параметр source_pk, чтобы создать первичный ключ или переопределить существующий.

Параметр priority для таблицы определяет порядок загрузки таблиц одного типа. Таблицы с большим значением priority загружаются раньше. Значение priority по умолчанию — 0.

Раздел migrate.roles определяет массив имён таблиц и паролей, которые будут скопированы из исходной базы данных, если задан параметр create_role.

Схема поддерживает следующие параметры:

Инициализация и тесты производительности #

Чтобы инициализировать тест производительности через shardmanctl, используя pgbench со схемой shardman, масштабирование=1000, разделы=40, запустите:

$ shardmanctlbench init --schema-type=shardman --scale=1000 --partitions=40

Чтобы запустить инициализированный тест производительности для той же схемы shardman, при количестве заданий=4, количестве клиентов=10, продолжительности в секундах=60 и с полным выводом pgbench, используйте:

$ shardmanctl bench run --schema-type=shardman --jobs=4 --client=10 --time=60 --full-output

Чтобы инициализировать тест производительности с использованием custom схемы из файла schema.psql с масштабированием=1000, выполните:

$ shardmanctlbench init --schema-type=custom --schema-file=schema.psql --scale=1000

Чтобы запустить инициализированный тест производительности с использованием custom схемы и пользовательского скрипта транзакции из script.psql с количеством заданий =4, числом клиентов=10, продолжительность в секундах=60, используйте:

$ shardmanctl bench run --schema-type=custom --file=script.psql --jobs=4 --client=10 --time=60

Чтобы очистить базу данных PostgreSQL от таблиц tpc-b, используйте:

$ shardmanctl bench cleanup

Скрипты генерации тестов производительности

Чтобы сгенерировать последовательность тестов производительности через shardmanctl из файла конфигурации=cfg.yaml и вывести результат в file=script.sh, запустите:

$ shardmanctlbenchgenerate --config=cfg.yaml --output-file=script.sh

Пример файла конфигурации:

    benches:
    - schema_type: single
      init_flags: "-s 3"
      run_flags: "-n -P 10 -c 10 -j 4 -T 10"
    - schema_type: simple
      init_flags: "-s 4"
      run_flags: "-n -P 10 -c 20 -j 4 -T 10"
      partitions: 100
    - schema_type: shardman
      init_flags: "-s 5"
      run_flags: "-n -P 10 -c 20 -j 4 -T 10"
    - schema_type: custom
      init_flags: "-s 6"
      schema_file: "schema.psql"