shardmanctl

shardmanctl — Postgres Pro Shardman вспомогательный клиент командной строки и средство развёртывания

Описание #

shardmanctl — это утилита для управления кластером Shardman.

Для любой команды, которая использует имя узла в качестве аргумента, имя узла кластера может быть указано либо по имени узла сети, либо по IP-адресу.

Команда backup используется для резервного копирования кластера Postgres Pro Shardman . Резервная копия представляет собой каталог с базовыми копиями всех групп репликации и файлами WAL, необходимыми для восстановления. Метаданные кластера сохраняются в файле выгрузки метаданных. Файл backup_info создаётся во время резервного копирования и содержит описание копии, включая информацию о пользовательских параметрах для каждого узла.

Команда cleanup используется для очистки после сбоя команды nodes add или команды cluster rebalance утилиты shardmanctl . Окончательные изменения в распределённое хранилище вносятся в конце выполнения команды. Это упрощает процесс очистки. Во время очистки неполные определения групп репликации удаляются из метаданных распределённого хранилища. Определения соответствующих сторонних серверов удаляются из метаданных СУБД остальных групп репликации. Поскольку процесс cleanup может удалять данные, по умолчанию инструмент работает исключительно в режиме отчёта: он только показывает те действия, которые необходимо выполнить во время фактической очистки. Для выполнения реальной очистки нужно добавить ключ -p. Использование команды подробно описано в Подразделе «Выполнение очистки».

Команда daemon check используется, чтобы проверить, что демон shardmand работает на узлах, указанных в параметре --nodes, и настроен для того же кластера, что и shardmanctl . Использование команды подробно описано в Подразделе «Проверка работы службы shardmand на узлах».

Команда init используется для регистрации нового кластера Postgres Pro Shardman в распределённом хранилище или переинициализации существующего (будет задана новая конфигурация кластера, удалены все данные и узлы). В режиме инициализации утилита shardmanctl считывает спецификацию кластера, обрабатывает её и сохраняет в распределённом хранилище как части двух документов JSON: ClusterSpec — как часть shardman/cluster0/data/cluster и LadleSpec — как часть shardman/cluster0/data/ladle (cluster0 — это имя кластера по умолчанию, используемое утилитами Postgres Pro Shardman). Формат файла инициализации Postgres Pro Shardman подробно описан в разделе Подразделе 18.21.2, а использование команды init — в Подразделе «Регистрация кластера Postgres Pro Shardman».

Команда config generate используется для создания шаблона sdmspec.json по умолчанию, поддерживаются форматы json и yaml. Результат записывается в стандартный вывод. Чтобы записать результат в файл, используйте флаг -f имя_файла. Формат файла инициализации Shardman описан в Подразделе 18.21.2.

Команда config verify используется для проверки корректности входного файла инициализации Postgres Pro Shardman, поддерживаются форматы json и yaml. По умолчанию конфигурация считывается со стандартного ввода. Чтобы конфигурация читалась из файла, используйте флаг -f имя_файла. За описанием формата файла инициализации Postgres Pro Shardman обратитесь к Подразделу 18.21.2.

Команда config get используется для вывода текущей полной конфигурации кластера или конфигурации указанной версии. Текущая конфигурация кластера берётся из хранилища кластера. Формат файла инициализации Postgres Pro Shardman описан в Подразделе 18.21.2.

Команда config update используется для обновления конфигурации BiHA-кластера или конфигурации всего Postgres Pro Shardman. Новая конфигурация применяется ко всем группам репликации и сохраняется в ключе распределённого хранилища shardman/cluster0/data/cluster. Обратите внимание, что config update может привести к перезапуску СУБД.

Команда forall используется для выполнения оператора SQL во всех группах репликации в кластере Postgres Pro Shardman.

Команда getconnstr используется для получения строки подключения libpq и подключения к кластеру в роли администратора.

Команда load используется для загрузки данных из текстового файла в распределённую таблицу или для загрузки схемы базы данных из базы данных PostgreSQL в Postgres Pro Shardman. При загрузке данных из файла поддерживаются форматы text и csv (файлы могут быть сжаты при помощи gzip, тогда при чтении они декодируются автоматически); если нужно прочесть данные из stdin, то следует указать параметр --file=-. Процесс загрузки данных можно оптимизировать, указав число параллельных рабочих процессов (ключ -j).

Команда nodes add используется для добавления новых узлов в кластер Postgres Pro Shardman.

Каждый новый узел добавляется как группа репликации, состоящая из одного ведущего сервера. После добавления ведущих узлов можно добавить реплики в новую группу репликации, используя команду shard add.

Утилита shardmanctl выполняет операцию nodes add в несколько этапов:

  1. Получает глобальную блокировку метаданных.

  2. Для каждого указанного узла проверяет, что:

    1. Локаль узла соответствует локали узлов, которые уже являются участниками кластера. За подробностями обратитесь к Главе 22.

    2. Postgres Pro Shardman работает на узле и имеет доступ к текущей конфигурации кластера.

  3. Вычисляет службы, которые должны присутствовать на каждом узле, и сохраняет эту информацию в распределённом хранилище как часть Layout объекта shardman/cluster0/data/ladle.

  4. Создаёт конфигурацию для новых BiHA-кластеров (также называемых группами репликации) и инициализирует их.

  5. Регистрирует добавленные группы репликации в ключе распределённого хранилища shardman/cluster0/data/ladle.

  6. Ожидает, пока shardmand запустит все необходимые службы, и проверяет доступность новых групп репликации и правильность их конфигураций.

  7. Создаёт вспомогательный сервер трансляций, который удерживает блокировки для каждой существующей группы репликации в кластере.

  8. Для каждой новой группы репликации в кластере копирует все схемы и данные схем shardman из случайно выбранной существующей группы репликации в новую группу, а также проверяет, что расширение Postgres Pro Shardman установлено в новой группе репликации, и пересчитывает OID, используемые в таблицах конфигурации расширения.

  9. В каждой существующей группе репликации определяет сторонние серверы, ссылающиеся на новую группу репликации, и воссоздаёт определения сторонних серверов в новой группе репликации.

  10. Пересоздаёт все секции сегментированных таблиц как сторонние таблицы, ссылающиеся на данные из старых групп репликации, и регистрирует изменения в распределённом хранилище.

  11. Для каждой новой группы репликации копирует данные глобальной таблицы из существующих групп репликации в новую.

  12. Выполняет перебалансировку секции сегментированных таблиц. В процессе перебалансировки для каждой сегментированной таблицы итерационно определяется группа репликации с максимальным и минимальным количеством секций и создаётся задача на перемещение одной секции в группу репликации с минимальным количеством секций. Этот процесс повторяется, пока max - min > 1. Для перемещения секций используется логическая репликация. Секции совместно размещённых таблиц перемещаются совместно с секциями распределённых таблиц, на которые они ссылаются. Можно пропустить этот шаг, используя --no-rebalance.

Использование данной команды подробно описано в Подразделе «Добавление узлов в кластер Postgres Pro Shardman».

Команда nodes rm используется для удаления узлов из кластера Postgres Pro Shardman. Эта команда удаляет только указанные узлы. Если узел является последним в группе репликации, то она будет удалена целиком. Любые данные (например, секции сегментированных отношений) в удалённых группах репликации переносятся в оставшиеся группы посредством логической репликации, а все ссылки на удалённые группы репликации (включая определения сторонних серверов) удаляются из метаданных оставшихся групп репликации. Наконец, обновляются метаданные в распределённом хранилище. Последнюю группу репликации в кластере и последний узел в этой группе нельзя удалить. Перед удалением последнего лидера в сегменте, который также содержит рефери, сначала нужно удалить узел-рефери. Использование команды подробно описано в Подразделе «Удаление узлов из кластера Postgres Pro Shardman».

Команда probackup выполняет резервное копирование и восстановление кластера Shardman, используя утилиту резервного копирования pg_probackup. Более подробное использование команды pg_probackup описано в Подразделе «Команда probackup».

Команда cluster rebalance используется для равномерной перебалансировки сегментированных таблиц в кластере. Это может быть полезно, например, если перебалансировка не выполнялась при добавлении узлов в кластер. Если не указан параметр --force, таблицы с разделами, перемещёнными вручную, будут пропущены.

Команда cleanup с флагом --after-rebalance используется для выполнения очистки после сбоя команды cluster rebalance. На каждом узле она удаляет подписки и публикации, оставшиеся после команды cluster rebalance, а также таблицы, в которых хранятся данные частично переданных секций сегментированных таблиц.

Команда cluster start используется для запуска всех экземпляров PostgreSQL, остановленных командой cluster stop. Чтобы команда работала, должен быть запущен shardmand.

Команда cluster stop используется для остановки всех экземпляров PostgreSQL для кластера Postgres Pro Shardman. При этом демоны shardmand продолжают работать.

Команда cluster topology используется для визуализации топологии кластера. По умолчанию топология возвращается в виде таблицы. Если необходимо получить представление в формате JSON или в текстовом формате, используйте флаг --format json|text.

Команда recover восстанавливает кластер Postgres Pro Shardman из резервной копии, созданной командой backup.

Команда cluster restart используется для перезапуска кластера Postgres Pro Shardman, включая все экземпляры shardmand. Если экземпляры shardmand были предварительно остановлены командой cluster stop, они будут запущены. Команда возвращает управление после перезапуска всех ведущих серверов в кластере.

Команда set используется для установки одного или нескольких параметров экземпляров СУБД кластера Postgres Pro Shardman. Параметры передаются в командной строке в качестве аргументов, каждый из них имеет вид param=value. Эта команда является аналогом shardmanctl config update -p для изменения параметров базы данных.

Команда cluster status используется для отображения состояния работоспособности подсистем кластера Postgres Pro Shardman. Она может отображать состояние нескольких компонентов: хранилища, метаданных, shardmand, групп репликации, ведущих серверов, словаря, статуса представления biha.status_v и перезапуска необходимых параметров. Если нужна информация об определённых подсистемах, можно использовать параметр --filter. Также cluster status поддерживает сортировку своих результатов по значениям status, node или replication group и выводит их в виде таблицы (table), текста (text) или в формате JSON (json) на stdout, значение по умолчанию — table. Использование команды описано в разделе «Получение статуса подсистем кластера».

Команда store dump получает все ключи и их значения из распределённого хранилища и выводит их в --file, причём значение - используется для вывода в стандартный вывод (по умолчанию). Она предназначена для отладки, поэтому во время выполнения могут возникать некоторые некритичные ошибки, но при этом вся доступная информация будет сохранена. Будут выгружены только ключи для текущего кластера (с текущим префиксом кластера, например shardman/cluster0/). Использование команды описано в разделе «Выгрузка всех ключей из хранилища для отладки конфигурации ошибок».

Команда store get получает конкретное значение из хранилища по имени ключа. Ожидается, что это значение JSON, поэтому, если это не так (что не запрещено), могут возникать некоторые некритичные ошибки. Ключ для извлечения из хранилища можно указать в параметре --key; несколько ключей имеют псевдонимы — короткие имена для удобства использования. Чтобы получить ключ по его псевдониму, используйте параметр --alias с одним из доступных псевдонимов (используйте --help или примеры ниже для справки). Также псевдонимы shardspec и spec можно использовать для явного управления начальным кластером и конфигурацией BiHA, не извлекая их из полной конфигурации кластера. Рекомендуется использовать существующие псевдонимы вместо полных имён ключей, так как при обработке псевдонимов есть некоторые дополнительные проверки, которые помогают достичь более надёжных результатов. По умолчанию ключ выводится на стандартный вывод (явно — с параметром --file=-), но может быть выведен в любой желаемый файл. Использование команды описано в разделе «Получение текущей конфигурации сегмента».

Команда store keys показывает все сохранённые ключи для текущего кластера (с префиксом кластера) и его псевдонимов. Псевдонимы shardspec и spec не показаны, так как они являются частями других ключей. Использование команды описано в разделе «Получение имён ключей кластера и ковша для текущего кластера».

Команда store set создаёт или перезаписывает один конкретный ключ в хранилище. Это не обязательно должно быть значение JSON для случайного ключа, но если это один из ключей с известным сопоставлением псевдонимов (например, ladle или cluster), команда не примет некорректные структуры JSON. Как и store get команда store set принимает имя ключа в параметре --key или --alias и входной файл в параметре --file (stdin указывается со значением -). Использование команды описано в разделе «Установка новой конфигурации для кластера».

Команда store lock показывает информацию о текущей блокировке метаданных кластера. Если блокировки не существует, возвращает Lock not found. Отображает идентификатор кластера, команду, которая получила блокировки, имя узла и время блокировки. Вы можете указать в параметре --format формат вывода: json или text (по умолчанию). Использование команды описано в разделе «Вывод информации о текущей блокировке метаданных кластера».

Команда upgrade используется для обновления версии расширения PostgreSQL Shardman на всех узлах кластера. Перед обновлением расширений необходимо установить новые пакеты и выполнить команду cluster restart. В результате выполнения upgrade утилиты обновят shardman и все остальные расширения на сервере.

Иногда после запуска команды upgrade или некоторых действий пользователя при выводе команды cluster status могут обнаруживаться ошибки словаря. Они возникают в том числе потому, что значения полей srvoptions таблицы pg_foreign_server отличаются от ожиданий системы. Чтобы решить эту проблему, воспользуйтесь командой config update fdw, которая вернёт srvoptions в ожидаемое состояние.

Команда datactl repack меняет алгоритм сжатия и/или уровень сжатия файлов CFS на узлах сегмента. Более подробно использование команды описано в «Команда datactl repack».

Примечание

Для большинства описанных команд shardmanctl используется глобальная блокировка метаданных.

Команды резервного копирования и восстановления #

Команда backup #

Чтобы создать резервную копию кластера Postgres Pro Shardman, вы можете запустить следующую команду:

        shardmanctl [общие_параметры] backup --datadir каталог [--use-ssh]
    

Следует указать каталог для записи выходных данных в параметре --datadir. Можно ограничить количество одновременно выполняющихся задач (команда pg_receivewal), указав ограничение в параметре --maxtasks.

Если указано --use-ssh, команда shardmanctl recover будет использовать команду scp для восстановления данных. Это позволяет использовать хранилище резервных копий на локальном узле.

Команда probackup #

Синтаксис:

shardmanctl [общие_параметры] probackup
       [init|archive-command|backup|delete|merge|restore|set-config|show|validate|show-config]
       [--log-to-console][--help]
       [параметры_подкоманды]

Создаёт резервную копию кластера Postgres Pro Shardman и восстанавливает кластер Postgres Pro Shardman из резервной копии, используя pg_probackup.

Список подкоманд: #

init #

Инициализирует новый каталог репозитория для резервной копии кластера Postgres Pro Shardman, а также создаёт конфигурационный файл для подключения к хранилищу резервных копий, если для параметра --storage-type установлено значение S3.

archive-command #

Добавляет, включает или отключает archive_command для каждой группы репликации в кластере Postgres Pro Shardman или только для одной группы, если указан параметр --shard.

backup #

Создаёт резервную копию кластера Postgres Pro Shardman.

restore #

Восстанавливает кластер Postgres Pro Shardman из выбранной резервной копии.

show #

Показывает список резервных копий кластера Postgres Pro Shardman.

validate #

Проверяет целостность выбранной резервной копии кластера Postgres Pro Shardman.

show-config #

Выводит все текущие параметры конфигурации pg_probackup, в том числе те, что содержатся в файле pg_probackup.conf, размещённом в каталоге каталог_копий/backups/имя_сегмента, а также те, что были заданы в командной строке.

set-config #

Добавляет указанные параметры в файл pg_probackup.conf или изменяет значения, добавленные в него ранее.

Общие параметры подкоманд probackup:

--log-to-console #

Выводит полный журнал probackup в консоль. По умолчанию для каждой группы репликации файл журнала probackup появляется в каталоге резервного копирования (см. --backup-path ниже) в виде <backup-directory>/backup/log/pg_probackup-<repgroup-name>.log. Максимальный размер файла журнала составляет 20 МБ. По достижении этого лимита происходит ротация журнала при запуске команды shardmanctl probackup validate или shardmanctl probackup backup.

--buffer-size=размер_буфера #

Задаёт размер буфера для операций чтения и записи. Должно быть неотрицательным целым числом. При нулевом значении этот параметр отключается. Значение по умолчанию — 128KB.

--buffer-read-size=размер_буфера #

Задаёт размер отдельного буфера для операций чтения. Должно быть неотрицательным целым числом. При нулевом значении этот параметр отключается. Значение по умолчанию — 0.

--buffer-write-size=размер_буфера #

Задаёт размер расширенного буфера для операций записи. Должно быть неотрицательным целым числом. При нулевом значении этот параметр отключается. Значение по умолчанию — 0.

--help #

Показывает справку по подкомандам.

Вы можете явно указать единицы измерения для любого из параметров буфера. Допустимые значения: B, kB, MB, GB, TB. Если единица измерения не указана, по умолчанию для значения параметров используются байты.

init #

Синтаксис:

shardmanctl [общие_параметры] probackup init
-B|--backup-path путь
[--remote-port порт]
[--remote-user имя_пользователя]
[--ssh-key путь]
[-t|--timeout секунды]
[-m|--maxtasks число_заданий]
[--storage-type mount|remote|S3]
[--s3-config-only]
[--s3-config-path путь]
[--s3-host хост_S3]
[--s3-port порт_S3]
[--s3-access-key ключ_доступа_S3]
[--s3-secret-key секретный_ключ_S3]
[--s3-bucket бакет_S3]
[--s3-region регион_S3]
[--s3-buffer-size размер_буфера_S3]
[--s3-retries число_повторов]
[--s3-timeout время]
[--s3-https]
[-y|--yes]

Инициализирует новый каталог репозитория для резервной копии кластера Postgres Pro Shardman.

-B путь
--backup-path путь #

Требуется при отсутствии параметра --s3-config-only. Указывает путь к каталогу, в котором должны храниться резервные копии кластера Postgres Pro Shardman.

--remote-port порт #

Указывает удалённый порт SSH для экземпляров группы репликации.

По умолчанию: 22.

--remote-user username #

Указывает удалённого пользователя для подключения по SSH для экземпляров группы репликации.

По умолчанию: postgres.

--ssh-key путь #

Указывает закрытый ключ SSH для удалённого выполнения команд по SSH.

По умолчанию: $HOME/.ssh/id_rsa.

--storage-type mount|remote|S3 #

Тип хранения резервных копий. При значении remote протокол SSH используется для копирования файлов с данными в удалённый каталог резервных копий. Но это поведение можно изменить, если для хранения резервных копий используется каталог, смонтированный на всех узлах, или S3-совместимое объектное хранилище. Чтобы это сделать, установите для параметра --storage-type значение mount или S3 соответственно.

По умолчанию: remote.

--s3-config-path путь #

Задаёт путь к каталогу, в котором создаётся файл конфигурации S3 на всех узлах Postgres Pro Shardman.

По умолчанию: <shardman-data-dir>/s3.config.

--s3-config-only #

Создаёт файлы конфигурации S3 на всех узлах, не инициализируя хранилище резервных копий. Этот флаг следует использовать, если параметр --storage-type имеет значение S3.

--s3-host сервер #

Задаёт узел сервера S3 для подключения к S3-совместимому хранилищу.

--s3-port порт #

Задаёт порт сервера S3 для подключения к S3-совместимому хранилищу.

--s3-access-key ключ_доступа #

Задаёт ключ доступа сервера S3 для подключения к S3-совместимому хранилищу.

--s3-secret-key секретный_ключ_S3 #

Задаёт секретный ключ сервера S3 для подключения к S3-совместимому хранилищу. Работает, только если для параметра --storage-type задано значение S3.

--s3-bucket корзина #

Задаёт имя корзины для хранения резервных копий в S3-совместимом объектном хранилище.

--s3-region корзина #

Задаёт регион выбора сервера для S3-совместимого объектного хранилища.

--s3-buffer-size размер_буфера #

Размер буфера чтения/записи приложения pg_probackup для организации связи S3-совместимым объектным хранилищем, в МиБ.

По умолчанию: 16.

--s3-retries число_повторов #

Максимальное количество попыток выполнения запроса к S3 в случае сбоя.

По умолчанию: 5.

--s3-timeout время #

Максимальное время передачи объёма данных, заданного параметром --s3-buffer-size, в S3-совместимое объектное хранилище или из него (в секундах).

По умолчанию: 300.

--s3-https #

Задаёт протокол HTTPS для подключения к S3-совместимому объектному хранилищу.

-y|--yes #

Подтверждает операцию независимо от наличия файла, указанного в параметре --s3-config-path.

archive-command #

Синтаксис:

shardmanctl [общие_параметры] probackup archive-command [add|rm]
        -B|--backup-path путь
        [-j|--jobs число]
        [--compress]
        [--compress-algorithm алгоритм]
        [--compress-level уровень]
        [--batch-size размер_порции]
        [--storage-type mount|remote|S3]
        [--remote-port порт]
        [--remote-user имя_пользователя]
        [-s|--shard имя_сегмента]
        [--s3-config-path путь]
        [-y|--yes]
        [--s3-secret-key секретный_ключ_S3]
    

Добавляет/удаляет и включает/отключает команду архивирования для каждой группы репликации в кластере Postgres Pro Shardman для размещения журналов WAL в инициализированном репозитории резервных копий.

Примечание

С командой archive-command rm нельзя использовать параметры --buffer-size, --buffer-read-size и --buffer-write-size.

add #

Добавляет и включает команду archive для каждой группы репликации в кластере Postgres Pro Shardman.

Файл конфигурации postgresql.auto.conf обновляется согласно сделанному изменению, чтобы гарантировать, что этот файл не содержит конфликтующих и/или устаревших команд архивирования.

rm #

Отключает команду archive в каждой группе репликации в кластере Postgres Pro Shardman. Никаких дополнительных параметров не требуется.

Файл конфигурации postgresql.auto.conf обновляется согласно сделанному изменению, чтобы гарантировать, что этот файл не содержит конфликтующих и/или устаревших команд архивирования.

-B путь
--backup-path путь #

Требуется при добавлении archive_command. Указывает путь к каталогу, в котором должны храниться резервные копии кластера Postgres Pro Shardman.

--batch-size batch_size #

Для ускорения архивирования используется параметр --batch-size, определяющий размер порции из нескольких копируемых сегментов WAL. Вместе с параметром --batch-size также можно использовать -j, чтобы порции копировались в несколько потоков. Если параметр --batch-size не указан, а -j/--jobs — указан, то значение по умолчанию для параметра --batch-size будет совпадать со значением параметра -j/--jobs.

--jobs число
-j число #

Число параллельных потоков, которые используются pg_probackup при создании резервной копии. По умолчанию: 1.

--compress #

Включает сжатие резервных копий. Работает только для опции rm. Если этот флаг не установлен, сжатие будет отключено. Если флаг установлен, используется принятый по умолчанию алгоритм zstd с уровнем сжатия 1, в то время как остальные параметры сжатия игнорируются, даже если они заданы.

--compress-algorithm алгоритм #

Определяет алгоритм сжатия: zlib, lz4, zstd, pglz или none. Как только алгоритм задан, этот параметр проверяет, что значение уровня сжатия находится в пределах возможных значений для заданного алгоритма.

Список поддерживаемых алгоритмов сжатия зависит от версии Postgres Pro Shardman, включающей используемое приложение pg_probackup.

По умолчанию: none.

--compress-level level #

Определяет уровень сжатия: 0-9 для zlib, 1 для pglz, 0-22 для zstd и 0-12 для lz4.

По умолчанию: 1.

--storage-type mount|remote|S3 #

Тип хранения резервных копий. При значении remote протокол SSH используется для копирования файлов с данными в удалённый каталог резервных копий. Но это поведение можно изменить, если для хранения резервных копий используется каталог, смонтированный на всех узлах, или S3-совместимое объектное хранилище. Чтобы это сделать, установите для параметра --storage-type значение mount или S3 соответственно.

По умолчанию: remote.

--remote-port порт #

Указывает удалённый порт SSH для экземпляров группы репликации.

По умолчанию: 22.

--remote-user username #

Указывает удалённого пользователя для подключения по SSH для экземпляров группы репликации.

По умолчанию: postgres.

-s|--shard имя_сегмента #

Задаёт имя сегмента, в котором необходимо добавить, включить или выключить команду archive. Если параметр не указан, команда archive включается или выключается во всех сегментах.

--s3-config-path путь #

Задаёт путь к файлу конфигурации S3.

По умолчанию: <shardman-data-dir>/s3.config.

-y
--yes #

Подтвердить перезапуск вместо того, чтобы запрашивать подтверждение из стандартного ввода. Применяется только для команды add.

--s3-secret-key секретный_ключ #

Задаёт секретный ключ S3 для подключения к S3-совместимому хранилищу. Работает, только если для параметра --storage-type задано значение S3. Совместимо только с командой archive command add.

backup #

Синтаксис:

shardmanctl [общие_параметры] probackup backup -B|--backup-path путь
        -b|--backup-mode РЕЖИМ
        [-j|--jobs число]
        [--compress-algorithm алгоритм]
        [--compress-level уровень]
        [--batch-size размер_порции]
        [--storage-type mount|remote|S3]
        [--remote-port порт]
        [--remote-user имя_пользователя]
        [--ssh-key путь]
        [-t|--timeout секунды]
        [-m|--maxtasks число_заданий]
        [--log-directory путь]
        [--s3-config-path путь]
        [--no-validate]
        [--skip-block-validation]
        [--log-to-console]
        [-y | --yes]
        [--lock-lifetime]
        [-e |--external-dirs имя_каталога]
        [--s3-secret-key секретный_ключ_S3]
    

Создаёт резервную копию кластера Postgres Pro Shardman.

-B путь
--backup-path путь #

Обязательный параметр. Указывает путь к каталогу, в котором должны храниться резервные копии кластера Postgres Pro Shardman.

-b РЕЖИМ
--backup-mode РЕЖИМ #

Обязательный параметр. Определяет режим резервного копирования: FULL, PAGE, DELTA, PTRACK.

--batch-size batch_size #

Для ускорения архивирования используется параметр --batch-size, определяющий размер порции из нескольких копируемых сегментов WAL. Вместе с параметром --batch-size также можно использовать -j, чтобы порции копировались в несколько потоков. Если параметр --batch-size не указан, а -j/--jobs — указан, то значение по умолчанию для параметра --batch-size будет совпадать со значением параметра -j/--jobs.

--jobs число
-j число #

Число параллельных потоков, которые используются pg_probackup при создании резервной копии. По умолчанию: 1.

--compress-algorithm алгоритм #

Определяет алгоритм сжатия: zlib, lz4, zstd, pglz, или none.

Список поддерживаемых алгоритмов сжатия зависит от версии Postgres Pro Shardman, включающей используемое приложение pg_probackup.

По умолчанию: none.

--compress-level level #

Определяет уровень сжатия: 0-9 для zlib, 1 для pglz, 0-22 для zstd и 0-12 для lz4.

По умолчанию: 1.

--remote-port порт #

Указывает удалённый порт SSH для экземпляров группы репликации.

По умолчанию: 22.

--remote-user username #

Указывает удалённого пользователя для подключения по SSH для экземпляров группы репликации.

По умолчанию: postgres.

--ssh-key путь #

Указывает закрытый ключ SSH для удалённого выполнения команд по SSH.

По умолчанию: $HOME/.ssh/id_rsa.

-t секунды
--timeout секунды #

Выход с ошибкой после указанной в секундах задержки при ожидании готовности кластера.

-m число_заданий
--maxtasks число_заданий #

Задаёт максимальное количество одновременно выполняемых задач (команды pg_probackup).

По умолчанию соответствует числу логических CPU в системе.

--no-validate #

Пропускает автоматическую проверку созданной резервной копии. Этот ключ может быть полезен, если вы регулярно проверяете резервные копии и хотите сократить время создания копии.

По умолчанию: false.

--skip-block-validation #

Отключает проверку контрольных сумм на уровне блоков в процессе резервного копирования.

По умолчанию: false.

--storage-type mount|remote|S3 #

Тип хранения резервных копий. При значении remote протокол SSH используется для копирования файлов с данными в удалённый каталог резервных копий. Но это поведение можно изменить, если для хранения резервных копий используется каталог, смонтированный на всех узлах, или S3-совместимое объектное хранилище. Чтобы это сделать, установите для параметра --storage-type значение mount или S3 соответственно.

По умолчанию: remote.

--log-to-console #

Включает вывод журналов pg_probackup на консоль.

По умолчанию: false.

--log-directory путь #

Задаёт каталог для журналов pg_probackup.

По умолчанию: <backup-directory>/backup/log.

--s3-config-path путь #

Задаёт путь к файлу конфигурации S3.

По умолчанию: <shardman-data-dir>/s3.config.

--retention-redundancy=избыточность
#

Указывает, сколько полных резервных копий должно сохраняться в каталоге данных. Должно быть неотрицательным целым числом. Ноль отключает сохранение.

По умолчанию: текущее значение в файле pg_probackup.conf, если не задано, то 0.

-y
--yes #

Подтвердить перезапуск вместо того, чтобы запрашивать подтверждение из стандартного ввода.

--lock-lifetime #

Позволяет задать максимальное время удержания блокировки утилитой probackup (в секундах).

По умолчанию: 1800.

-e имя_каталога
--external-dirs #

Перечисляет каталоги вне PGDATA, которые необходимо включить в резервную копию.

--s3-secret-key секретный_ключ_S3 #

Задаёт секретный ключ сервера S3 для подключения к S3-совместимому хранилищу. Работает, только если для параметра --storage-type задано значение S3.

delete #

Синтаксис:

shardmanctl [общие_параметры] probackup delete -B|--backup-path путь
        [-i|--backup-id ид_резервной_копии]
        [-m|--maxtasks число_заданий]
        [--storage-type mount|remote|S3]
        [--s3-config-path путь]
        [-y|--yes]
        [--status]
        [--s3-secret-key секретный_ключ_S3]

Удаляет резервную копию кластера Postgres Pro Shardman с заданным идентификатором backup_id или запускает процедуру удаления резервных копий или заархивированных файлов WAL, не удовлетворяющих текущей политике хранения.

Обратите внимание, что backup_id нельзя использовать одновременно с merge-expired или delete-expired.

-B путь
--backup-path путь #

Обязательный параметр. Указывает путь к каталогу (или ключ в корзине S3-совместимого хранилища), в котором должны храниться резервные копии кластера Postgres Pro Shardman.

-i ид_резервной_копии
--backup-id ид_резервной_копии #

Задаёт уникальный идентификатор резервной копии.

-m число_заданий
--maxtasks число_заданий #

Задаёт максимальное количество одновременно выполняемых задач (команды pg_probackup).

По умолчанию соответствует числу логических CPU в системе.

--storage-type mount|remote|S3 #

Тип хранения резервных копий. При значении remote протокол SSH используется для копирования файлов с данными в удалённый каталог резервных копий. Но это поведение можно изменить, если для хранения резервных копий используется каталог, смонтированный на всех узлах, или S3-совместимое объектное хранилище. Чтобы это сделать, установите для параметра --storage-type значение mount или S3 соответственно.

По умолчанию: remote.

Для удаления резервной копии, у которой параметр --storage-type имеет значение S3, при запуске команды delete необходимо установить значение S3 для параметра --storage-type.

--s3-config-path путь #

Задаёт путь к файлу конфигурации S3.

По умолчанию: <shardman-data-dir>/s3.config.

-y
--yes #

Подтверждает операцию.

По умолчанию: false.

--status
#

Позволяет удалять резервные копии с определённым статусом.

По умолчанию: не задан.

--s3-secret-key секретный_ключ_S3 #

Задаёт секретный ключ сервера S3 для подключения к S3-совместимому хранилищу. Работает, только если для параметра --storage-type задано значение S3.

merge #

Синтаксис:

shardmanctl [общие_параметры] probackup merge -B|--backup-path путь
        -i|--backup-id ид_резервной_копии
        [-j|--jobs число]
        [-m|--maxtasks число_заданий]
        [--no-validate]
        [--no-sync]
        [-y|--yes]
        [--s3-config-path путь]
        [--storage-type mount|remote|S3]
        [--s3-secret-key секретный_ключ_S3]
        [--merge-from-id объединить_от]
        [--merge-interval интервал_объединения]

Объединяет резервные копии, относящиеся к одной цепочке инкрементальных копий. При полном копировании резервные копии объединяются с их первой инкрементальной копией. При инкрементальном резервном копировании резервные копии объединяются с их родительской полной копией и всеми инкрементальными копиями между ними. После выполнения команды полная копия содержит все объединённые данные, а инкрементальные копии удаляются как ненужные.

-B путь
--backup-path путь #

Обязательный параметр. Указывает путь к каталогу, в котором должны храниться резервные копии кластера Postgres Pro Shardman.

-i ид_резервной_копии
--backup-id ид_резервной_копии #

Обязательный параметр. Задаёт уникальный идентификатор резервной копии.

--jobs число
-j число #

Число параллельных потоков, которые используются pg_probackup при создании резервной копии. По умолчанию: 1.

-m число_заданий
--maxtasks число_заданий #

Задаёт максимальное количество одновременно выполняемых задач (команды pg_probackup).

По умолчанию соответствует числу логических CPU в системе.

--no-sync #

Не сбрасывать объединяемые файлы на диск. Этот флаг позволяет несколько ускорить процесс объединения. Использование этого флага может привести к повреждению данных в случае аварии операционной системы или аппаратного сбоя.

По умолчанию: false.

--no-validate #

Пропускает автоматическую проверку созданной резервной копии до и после объединения.

По умолчанию: false.

-y
--yes #

Подтверждает операцию.

По умолчанию: false.

--s3-config-path путь #

Задаёт путь к файлу конфигурации S3.

По умолчанию: <shardman-data-dir>/s3.config.

--storage-type mount|remote|S3 #

Тип хранения резервных копий. При значении remote протокол SSH используется для копирования файлов с данными в удалённый каталог резервных копий. Но это поведение можно изменить, если для хранения резервных копий используется каталог, смонтированный на всех узлах, или S3-совместимое объектное хранилище. Чтобы это сделать, установите для параметра --storage-type значение mount или S3 соответственно. Чтобы создать резервную копию с параметром --storage-type со значением S3, укажите их при запуске команды restore.

По умолчанию: remote.

--s3-secret-key секретный_ключ_S3 #

Задаёт секретный ключ сервера S3 для подключения к S3-совместимому хранилищу. Работает, только если для параметра --storage-type задано значение S3.

--merge-from-id объединить_от #

Указывает идентификатор первой резервной копии в цепочке копий для объединения.

--merge-interval интервал_объединения #

Задаёт время (в часах) перед объединением цепочки инкрементальных резервных копий.

restore #

Синтаксис:

shardmanctl [общие_параметры] probackup restore
        -B|--backup-path путь
        -i|--backup-id идентификатор
        -j|--jobs число
        [--recovery-target-time дата_время]
        [-t|--timeout секунды]
        [-m|--maxtasks число_заданий]
        [--metadata-only] [--schema-only] [--shard сегмент]
        [--no-validate]
        [--skip-block-validation]
        [--s3-config-path путь]
        [--storage-type mount|remote|S3]
        [--wal-limit число_сегментов_wal]
        [--log-directory путь]
        [--data-validate]
        [-e |--external-dirs имя_каталога]
        [-T |--tablespace-mapping прошлый_каталог=новый_каталог]
        [-e |--external-mapping прошлый_каталог=новый_каталог]
        [-skip-external-dirs]
        [--reinit-before-restore]
        [--s3-secret-key секретный_ключ_S3]
    

Восстанавливает кластер Postgres Pro Shardman из выбранной резервной копии.

-B путь
--backup-path путь #

Обязательный параметр. Указывает путь к каталогу, в котором должны храниться резервные копии кластера Shardman. Может использоваться для запуска резервного кластера из резервной копии ведущего кластера, если указать путь до резервной копии кластера из центра обработки данных.

-i id
--backup-id id #

Обязательный параметр. Указывает идентификатор резервной копии для восстановления.

--jobs число
-j число #

Число параллельных потоков, которые используются pg_probackup при восстановлении из резервной копии. По умолчанию: 1.

--recovery-target-time timestamp #

Параметр PITR (восстановление на момент времени). Указывает метку времени для восстановления. Пример: «2024-01-25 15:30:36» в часовом поясе UTC.

-t секунды
--timeout секунды #

Выход с ошибкой после указанной в секундах задержки при ожидании готовности кластера или завершения восстановления.

--metadata-only #

Выполняет восстановление только метаданных. По умолчанию выполняется полное восстановление.

--schema-only #

Выполняет восстановление только схемы. По умолчанию выполняется полное восстановление.

--shard сегмент #

Выполнять восстановление только в указанном сегменте. По умолчанию восстановление выполняется во всех сегментах.

--no-validate #

Пропускать автоматическую проверку созданной резервной копии. Этот ключ может быть полезен, если вы регулярно проверяете резервные копии и хотите сократить время создания копии.

По умолчанию: false.

--skip-block-validation #

Отключает проверку контрольных сумм на уровне блоков для ускорения проверки целостности. При автоматической проверке перед восстановлением будут проверяться только контрольные суммы на уровне файлов.

По умолчанию: false.

--s3-config-path путь #

Задаёт путь к файлу конфигурации S3.

По умолчанию: <shardman-data-dir>/s3.config.

--storage-type mount|remote|S3 #

Тип хранения резервных копий. При значении remote протокол SSH используется для копирования файлов с данными в удалённый каталог резервных копий. Но это поведение можно изменить, если для хранения резервных копий используется каталог, смонтированный на всех узлах, или S3-совместимое объектное хранилище. Чтобы это сделать, установите для параметра --storage-type значение mount или S3 соответственно. Чтобы создать резервную копию с параметром --storage-type со значением S3, укажите их при запуске команды restore.

По умолчанию: remote.

--wal-limit число_сегментов_wal #

Задаёт число сегментов WAL, по которым при восстановлении PITR будет производиться поиск ближайших точек синхронизации.

По умолчанию: 0 — без ограничений.

--log-directory путь #

Задаёт каталог для журналов pg_probackup.

По умолчанию: <backup-directory>/backup/log.

--data-validate #

Если включён, перед восстановлением проверяет данные с помощью команды probackup validate.

По умолчанию: отключено.

-e имя_каталога
--external-dirs #

Перечисляет каталоги вне PGDATA, которые необходимо включить в резервную копию.

-T
--tablespace-mapping прошлый_каталог{rgid}=новый_каталог{rgid} #

Задаёт сопоставление для табличных пространств. При восстановлении содержимое старого_каталога перемещается в новый каталог, если табличное пространство всё ещё существует и расположение идентично. Возможно использовать значения {rgid} для ИД репликационной группы, как для команды CREATE TABLESPACE.

-e
--external-mapping старый_каталог=новый_каталог #

Задаёт сопоставление для внешних каталогов, указанных параметром --external-dirs. При восстановлении содержимое старого_каталога перемещается в новый каталог, если каталог всё ещё существует.

--skip-external-dirs #

Если задан, внешние каталоги не восстанавливаются.

--reinit-before-restore #

Повторно инициализировать кластер с такой же топологией перед восстановлением.

По умолчанию: false.

--s3-secret-key секретный_ключ_S3 #

Задаёт секретный ключ сервера S3 для подключения к S3-совместимому хранилищу. Работает, только если для параметра --storage-type задано значение S3.

Примечание

С этой командой нельзя использовать параметры --buffer-size, --buffer-read-size и --buffer-write-size.

retention #

Синтаксис:

shardmanctl [общие_параметры] probackup retention
    [-B каталог_копии]
    [--storage-type mount|remote|S3]
    [--s3-config-path путь]
    [--delete-wal]
    [--delete-expired]
    [--merge-expired]
    [--retention-redundancy]
    [--retention-window]
    [--wal-depth]
    [--ttl=время_жизни]
    [--expire-time=время]
    [-m|--maxtasks число_заданий]
    [--s3-secret-key секретный_ключ_S3]

Устанавливает политику хранения резервных копий в экземпляре или каталоге и запускает процесс удаления или объединения резервных копий согласно указанным параметрам.

-B directory
--backup-path=directory
BACKUP_PATH #

Указывает абсолютный путь к каталогу резервных копий или ключу в корзине S3-совместимого хранилища. Каталог резервных копий — это каталог, в котором должны храниться резервные файлы и мета-информация кластера Shardman.

--storage-type строка #

Тип хранилища резервных копий, возможные значения: remote, mount, S3. При значении remote протокол SSH используется для копирования файлов с данными в удалённый каталог резервных копий. Но это поведение можно изменить, если для хранения резервных копий используется каталог, смонтированный на всех узлах, или S3-совместимое объектное хранилище. Чтобы это сделать, установите для параметра --storage-type значение mount или S3 соответственно.

По умолчанию: remote.

--s3-config-path путь #

Задаёт путь к каталогу, в котором создаётся файл конфигурации S3 на всех узлах Postgres Pro Shardman.

По умолчанию: <shardman-data-dir>/s3.config.

--delete-wal #

Удаляет файлы WAL, которые не являются необходимыми для восстановления кластера из имеющихся резервных копий.

По умолчанию: false.

--retention-redundancy=избыточность
#

Указывает, сколько полных резервных копий должно сохраняться в каталоге данных. Должно быть неотрицательным целым числом. Ноль отключает сохранение.

По умолчанию: текущее значение в файле pg_probackup.conf, если не задано, то 0.

--retention-window=окно
#

Количество дней, в течение которого возможно восстановление. Должно быть неотрицательным целым числом. При нулевом значении окно восстановления отсутствует.

По умолчанию: текущее значение в файле pg_probackup.conf, если не задано, то 0.

--wal-depth=глубина_wal #

Количество резервных копий на каждой линии времени, которое должно сохраняться для обеспечения возможности восстановления PITR. Должно быть неотрицательным целым числом. При нулевом значении этот параметр отключается.

По умолчанию: текущее значение в файле pg_probackup.conf, если не задано, то 0.

--delete-expired #

Удаляет резервные копии, не удовлетворяющие политике хранения.

По умолчанию: false.

--merge-expired
#

Объединяет самую старую инкрементальную копию, удовлетворяющую требованиям политики хранения, с её родительскими копиями, срок хранения которых истёк.

По умолчанию: false.

--ttl=время_жизни #

Задаёт время, на которое закрепляется резервная копия. Значение должно быть неотрицательным целым. Нулевое значение отменяет установленное ранее закрепление резервной копии. Поддерживаются следующие единицы измерения: ms (миллисекунды), s (секунды), min (минуты), h (часы), d (дни). По умолчанию подразумеваются секунды.

Например: --ttl=30d

--expire-time=время #

Определяет момент времени, до которого будет храниться резервная копия. Время должно задаваться в формате ISO-8601. Если часовой пояс не указывается, подразумевается местное время.

Например: --expire-time="2027-04-09 18:21:32+00"

-m число_заданий
--maxtasks число_заданий #

Задаёт максимальное количество одновременно выполняемых задач (команды pg_probackup).

По умолчанию соответствует числу логических CPU в системе.

--s3-secret-key секретный_ключ_S3 #

Задаёт секретный ключ сервера S3 для подключения к S3-совместимому хранилищу. Работает, только если для параметра --storage-type задано значение S3.

show #

Синтаксис:

shardmanctl [общие_параметры] probackup show
        -B|--backup-path путь
        [-f|--format table|json]
        [--archive ]
        [-i|--backup-id ид_резервной_копии]
        [--instance экземпляр]
        [--storage-type mount|remote|S3]
        [--s3-config-path путь]
        [--s3-secret-key секретный_ключ_S3]
    

Показывает список резервных копий кластера Postgres Pro Shardman.

-B путь
--backup-path путь #

Обязательный параметр. Указывает путь к каталогу, в котором должны храниться резервные копии кластера Postgres Pro Shardman.

-f таблица|json
--format таблица|json #

Указывает выходной формат.

По умолчанию: table.

--archive #

Показывает информацию об архиве WAL.

-i ид_резервной_копии
--backup-idид_резервной_копии #

Показывает информацию о конкретных резервных копиях.

--instanceэкземпляр #

Показывает информацию о конкретных экземплярах.

--s3-config-path путь #

Задаёт путь к файлу конфигурации S3.

По умолчанию: <shardman-data-dir>/s3.config.

--storage-type mount|remote|S3 #

Тип хранения резервных копий. При значении remote протокол SSH используется для копирования файлов с данными в удалённый каталог резервных копий. Но это поведение можно изменить, если для хранения резервных копий используется каталог, смонтированный на всех узлах, или S3-совместимое объектное хранилище. Чтобы это сделать, установите для параметра --storage-type значение mount или S3 соответственно. Чтобы показать резервную копию с параметром --storage-type со значением S3, укажите их при запуске команды show.

По умолчанию: remote.

--s3-secret-key секретный_ключ_S3 #

Задаёт секретный ключ сервера S3 для подключения к S3-совместимому хранилищу. Работает, только если для параметра --storage-type задано значение S3.

show-config #

Синтаксис:

shardmanctl [общие_параметры] probackup show-config
    -B путь
    [--format=text|json]
    [--no-scale-units]
    -s|--shard имя_сегмента
    [--s3-config-path путь]
    [--storage-type mount|remote|S3]
    [--s3-secret-key секретный_ключ_S3]

Выводит все текущие параметры конфигурации pg_probackup, в том числе те, что содержатся в файле pg_probackup.conf, размещённом в каталоге каталог_копий/backups/имя_сегмента, а также те, что были заданы в командной строке.

-B строка
--backup-path=строка #

Обязательный параметр. Задаёт абсолютный путь к каталогу резервных копий.

--format text|json #

Указывает выходной формат.

По умолчанию: text.

--no-scale-units #

Выводить значения конфигурационных параметров времени и объёма памяти в единицах измерения по умолчанию.

По умолчанию: false.

-s строка
--shard=строка #

Имя сегмента, для которого необходимо выполнить команду show-config.

--s3-config-path путь #

Задаёт путь к каталогу, в котором создаётся файл конфигурации S3 на всех узлах Postgres Pro Shardman.

По умолчанию: <shardman-data-dir>/s3.config.

--storage-type mount|remote|S3 #

Тип хранения резервных копий. При значении remote протокол SSH используется для копирования файлов с данными в удалённый каталог резервных копий. Но это поведение можно изменить, если для хранения резервных копий используется каталог, смонтированный на всех узлах, или S3-совместимое объектное хранилище. Чтобы это сделать, установите для параметра --storage-type значение mount или S3 соответственно.

По умолчанию: remote.

--s3-secret-key секретный_ключ_S3 #

Задаёт секретный ключ сервера S3 для подключения к S3-совместимому хранилищу. Работает, только если для параметра --storage-type задано значение S3.

validate #

Синтаксис:

shardmanctl [общие_параметры] probackup validate
        -B|--backup-path путь
        -i|--backup-id идентификатор
        [-t|--timeout секунды]
        [-m|--maxtasks число_заданий]
        [--log-to-console]
        [--storage-type mount|remote|S3]
        [--s3-config-path путь]
        [--log-directory путь]
        [--remote-port порт]
        [--remote-user имя_пользователя]
        [--s3-secret-key секретный_ключ_S3]
    

Проверяет целостность выбранной резервной копии кластера Postgres Pro Shardman.

-B путь
--backup-path путь #

Обязательный параметр. Указывает путь к каталогу, в котором должны храниться резервные копии кластера Postgres Pro Shardman.

-i id
--backup-id id #

Обязательный параметр. Указывает резервный идентификатор для проверки.

--log-to-console #

Включает вывод журналов pg_probackup на консоль.

По умолчанию: false.

-t секунды
--timeout секунды #

Выход с ошибкой после указанной в секундах задержки при ожидании готовности кластера.

-m число_заданий
--maxtasks число_заданий #

Задаёт максимальное количество одновременно выполняемых задач (команды pg_probackup).

По умолчанию соответствует числу логических CPU в системе.

--s3-config-path путь #

Задаёт путь к файлу конфигурации S3.

По умолчанию: <shardman-data-dir>/s3.config.

--storage-type mount|remote|S3 #

Тип хранения резервных копий. При значении remote протокол SSH используется для копирования файлов с данными в удалённый каталог резервных копий. Но это поведение можно изменить, если для хранения резервных копий используется каталог, смонтированный на всех узлах, или S3-совместимое объектное хранилище. Чтобы это сделать, установите для параметра --storage-type значение mount или S3 соответственно. Чтобы проверить резервную копию с параметром --storage-type со значением S3, укажите их при запуске команды validate.

По умолчанию: remote.

--log-directory путь #

Задаёт каталог для журналов pg_probackup.

По умолчанию: <backup-directory>/backup/log.

--remote-port порт #

Указывает удалённый порт SSH для экземпляров группы репликации.

По умолчанию: 22.

--remote-user username #

Указывает удалённого пользователя для подключения по SSH для экземпляров группы репликации.

По умолчанию: postgres.

--ssh-key путь #

Указывает закрытый ключ SSH для удалённого выполнения команд по SSH.

По умолчанию: $HOME/.ssh/id_rsa.

--s3-secret-key секретный_ключ_S3 #

Задаёт секретный ключ сервера S3 для подключения к S3-совместимому хранилищу. Работает, только если для параметра --storage-type задано значение S3.

set-config #

Синтаксис:

shardmanctl [общие_параметры] probackup set-config
        [--archive-timeout целое]
        [-B | --backup-path строка]
        [-m |--maxtasks целое]
        [--remote-port целое]
        [--remote-user строка]
        [--retention-redundancy целое]
        [--retention-window целое]
        [--wal-depth целое]
        [--s3-config-path строка]
        [-s |--shard строка]
        [--storage-type строка]
        [--compress-algorithm алгоритм]
        [--compress-level уровень_сжатия]
        [--log-level-console=уровень_сообщений]
        [--log-level-file=уровень_сообщений]
        [--log-format-console=формат_журнала]
        [--log-format-file=формат_журнала]
        [--log-filename=файл_журнала]
        [-log-rotation-size=размер_журнала_для_ротации]
        [--log-backup]
       [--s3-secret-key секретный_ключ_S3]

Добавляет указанные параметры в файл pg_probackup.conf или изменяет существующие.

--archive-timeout int #

Устанавливает время ожидания для архивирования или потоковой репликации сегментов WAL, в секундах.

По умолчанию: pg_probackup ждёт 300 секунд.

-B строка
--backup-path=строка #

Задаёт абсолютный путь к каталогу резервных копий.

-m int
--maxtasks=int #

Задаёт максимальное количество одновременно выполняемых задач (команды pg_probackup).

По умолчанию соответствует числу логических CPU в системе.

--remote-port int #

Порт для подключения к SSH серверу, где создаётся резервная копия.

По умолчанию: 22.

--remote-user строка #

Пользователь, который подключается к удалённому SSH серверу для создания резервной копии.

--retention-redundancy int #

Определяет количество полных резервных копий, которое должно сохраняться в каталоге данных. Должно быть неотрицательным целым числом. При нулевом значении отключает сохранение.

По умолчанию: 0.

--retention-window int #

Количество дней, в течение которых возможно восстановление. Должно быть неотрицательным целым числом. При нулевом значении окно восстановления отсутствует.

По умолчанию: 0.

--wal-depth int #

Количество резервных копий на каждой линии времени, которое должно сохраняться для обеспечения возможности восстановления PITR. Должно быть неотрицательным целым числом. При нулевом значении этот параметр отключается.

--s3-config-path строка #

Задаёт путь к файлу конфигурации S3.

По умолчанию: /var/lib/pgpro/sdm-18/data/s3.config.

-s строка
--shard=строка #

Имя сегмента, для которого необходимо запустить команду set-config. Если сегмент не указан, команда запускается для всех сегментов.

По умолчанию: текущее значение в файле pg_probackup.conf.

--storage-type строка #

Тип хранилища резервных копий, возможные значения: remote, mount, S3.

По умолчанию: remote.

--compress-algorithm=алгоритм #

Определяет алгоритм, который будет использоваться для сжатия файлов данных. Возможные значения: lz4, zstd, gzip и none. Любое значение, отличное от none, включает сжатие. При этом сжимаются и файлы данных, и файлы WAL. По умолчанию сжатие отключено.

По умолчанию: lz4.

--compress-level=уровень_сжатия #

Определяет уровень сжатия. Этот параметр можно использовать вместе с параметром --compress-algorithm. Возможные значения зависят от указанного алгоритма сжатия:

  • 0 — 9 для zlib

  • 1 для pglz

  • 0 — 12 для lz4

  • 0 — 22 для zstd

При значении 0 устанавливается уровень сжатия по умолчанию для указанного алгоритма:

  • 6 для zlib

  • 1 для pglz

  • 9 для lz4

  • 3 для zstd

Примечание

Обычный алгоритм lz4 имеет только один уровень сжатия — 1. Так что, если указан алгоритм сжатия lz4 и значение --compress-level больше 1, фактически используется алгоритм lz4hc, который работает намного медленнее, но обеспечивает лучшее сжатие.

По умолчанию: 1.

--log-level-console=уровень_сообщений #

Управляет уровнем сообщений, которые будут выводиться в журнал консоли. Допустимые уровни: trace, debug, info, warning, error и off. Каждый уровень включает все последующие, и с каждым последующим уровнем объём сообщений уменьшается. Вариант off отключает вывод в журнал консоли.

По умолчанию: debug.

--log-level-file=уровень_сообщений #

Управляет уровнем сообщений, которые будут выводиться в файл журнала. Допустимые уровни: debug, info, warning, error и off. Каждый уровень включает все последующие, и с каждым последующим уровнем объём сообщений уменьшается. Вариант off отключает вывод в файл журнала.

По умолчанию: debug.

--log-filename=файл_журнала #

Определяет имена для создаваемых файлов журналов. Имена файлов обрабатываются по шаблону strftime, так что вы можете использовать спецкоды с % для выбора имён файлов, зависящих от времени.

По умолчанию: pg_probackup.log.

Например, если задать шаблон pg_probackup-%u.log, pg_probackup будет записывать журнал в отдельные файлы по дням недели, и символы %u в имени будут заменяться соответствующим десятичным номером: pg_probackup-1.log в понедельник, pg_probackup-2.log во вторник и т. д.

Этот параметр действует, если включена запись в журнал (параметром --log-level-file).

--log-format-console=формат_журнала #

Определяет формат журнала консоли. Устанавливается только из командной строки. Поддерживаются следующие режимы:

  • Если plain, то журнал выводится на консоль в формате обычного текста.

  • Если json, то журнал выводится на консоль в формате JSON.

По умолчанию: json.

--log-format-file=формат_журнала #

Определяет используемый формат файлов журнала. Этот параметр может иметь следующие значения:

  • Если plain, то файлы журнала записываются в формате обычного текста.

  • Если json, то файлы журнала записываются в формате JSON.

По умолчанию: json.

--log-rotation-size=log_rotation_size #

Максимальный размер отдельного файла журнала. Если это значение достигается, файл журнала прокручивается при выполнении какой-либо команды pg_probackup, за исключением help и version. Нулевое значение отключает прокрутку в зависимости от размера. Поддерживаются следующие единицы: kB (по умолчанию), MB, GB, TB.

По умолчанию: 1024.

--log-backup #

Задаёт уровень детализации сообщений резервной копии. Возможные значения: trace, debug, warning, info, error, off.

По умолчанию: debug.

--s3-secret-key секретный_ключ_S3 #

Задаёт секретный ключ сервера S3 для подключения к S3-совместимому хранилищу. Работает, только если для параметра --storage-type задано значение S3.

Резервное копирование кластера Postgres Pro Shardman командой probackup #

На резервном узле:

  groupadd postgres
  useradd -m -N -g postgres -r -d /var/lib/postgresql -s /bin/bash
 

Далее добавьте SSH ключ для установления SSH соединения без пароля между резервным узлом и узлами кластера Postgres Pro Shardman. После на резервном узле:

  apt-get install pg-probackup shardman-utils
  mkdir -p каталог
  chown postgres:postgres каталог -R
  shardmanctl [общие_параметры] probackup init --backup-path=каталог --remote-user=postgres --remote-port=22
  shardmanctl [общие_параметры] probackup archive-command --backup-path=каталог --remote-user=postgres --remote-port=22
  

Если вышеуказанные требования соблюдены, запустите подкоманду backup для резервного копирования кластера:

shardmanctl [общие_параметры] probackup backup --backup-path=каталог --backup-mode=РЕЖИМ
  

Следует указать каталоги в параметрах --backup-path, а режим резервного копирования в --backup-mode. Доступны различные режимы копирования: FULL, DELTA, PTRACK и PAGE. Также можно указать параметры сжатия резервной копии в флагах --compress-algorithm и --compress-level и указать флаги --remote-port и --remote-user. Можно ограничить количество одновременно выполняемых задач при резервном копировании, задав ограничение во флаге --maxtasks.

По умолчанию для создания резервной копии используется копирование данных по протоколу SSH. Чтобы изменить это поведение и скопировать данные в смонтированную секцию, используется параметр --storage-type со значением mount. Это значение будет автоматически использоваться в процессе восстановления.

Можно скопировать данные в S3-совместимое хранилище. Для этого используйте параметр --storage-type со значением S3. Это значение требует указания каталога для хранения журналов pg_probackup в команде --log-directory или в переменной окружения SDM_LOG_DIRECTORY, например:

export SDM_LOG_DIRECTORY=/backup/logs

Чтобы выполнить резервное копирование или восстановление только для S3-совместимого хранилища, вместо указания параметра --storage-type в каждой команде probackup можно установить переменную окружения:

export SDM_STORAGE_TYPE=S3
                

Восстановление кластера Postgres Pro Shardman командой probackup #

Расширение shardmanctl в режиме probackup может выполнять полное восстановление, восстановление только метаданных или восстановление только схемы кластера Postgres Pro Shardman из резервной копии, созданной командой probackup backup.

Чтобы выполнить полное или частичное восстановление, сначала необходимо выбрать желаемую резервную копию для восстановления. Чтобы отобразить список доступных резервных копий, выполните следующую команду:

shardmanctl [общие_параметры] probackup show --backup-path=путь --format=формат [--archive ] [-i|--backup-id ид_резервной_копии] [--instance экземпляр]

После этого должен отобразиться список резервных копий с их идентификаторами в формате таблицы или JSON. Затем выберите нужный идентификатор резервной копии и запустите команду восстановления probackup.

shardmanctl [общие_параметры] probackup restore --backup-path=путь --backup-id=идентификатор

Укажите путь к репозиторию в параметре --backup-path и идентификатор резервной копии во флаге --backup-id.

Если возникли проблемы с распределённым хранилищем, лучше выполнить восстановление только метаданных. Для этого можно запустить следующую команду:

shardmanctl [общие_параметры] probackup restore --backup-path=путь --backup-id=идентификатор --metadata-only

Если нужно восстановить только информацию о схеме, например: таблицы, роли и т. д., следует указать параметр --schema-only.

Для обоих видов восстановления можно указать --timeout, чтобы утилита завершала работу ошибкой после указанной в секундах задержки при ожидании готовности кластера или завершения восстановления.

Можно указать параметр --shard для восстановления только в одном сегменте.

Также можно указать параметр --recovery-target-time для выполнения восстановления на момент времени. В этом случае Postgres Pro Shardman находит ближайшую точку синхронизации к указанной временной метке и предлагает выполнить восстановление по найденному значению LSN. Чтобы ограничить количество обрабатываемых сегментов WAL, можно указать параметр --wal-limit.

Важно

Перед восстановлением кластера Postgres Pro Shardman необходимо убедиться, что кластер запущен, выполнив команду shardmanctl status. Если в выводе присутствуют ошибки, восстановление кластера может сделать его недоступным. Сначала необходимо исправить ошибки, повторно инициализировав кластер, и восстановить метаданные распределённого хранилища. Только после этого можно проводить восстановление кластера из резервной копии.

Восстановление кластера Postgres Pro Shardman #

Расширение shardmanctl может выполнять полное восстановление, восстановление только метаданных или восстановление только схемы кластера Postgres Pro Shardman из резервной копии, созданной командой backup.

Чтобы выполнить полное восстановление, используйте следующую команду:

    shardmanctl [общие_параметры] recover --info файл
   

Передайте файл для загрузки информации о резервной копии в параметре --info. В большинстве случаев в этом параметре нужно указывать файл backup_info в каталоге резервного копирования или его изменённую копию.

Если возникли проблемы с распределённым хранилищем, лучше выполнить восстановление только метаданных. Для этого можно запустить следующую команду:

   shardmanctl [общие_параметры] recover --dumpfile файл --metadata-only
   

Следует указать файл для загрузки ранее выгруженных метаданных распределённого хранилища в параметре --dumpfile.

Если нужно восстановить только информацию о схеме, например: таблицы, роли и т. д., следует указать параметр --schema-only.

Для всех видов восстановления можно указать --timeout, чтобы утилита завершала работу ошибкой после указанной в секундах задержки при ожидании готовности кластера или завершения восстановления.

Можно указать параметр --shard для восстановления только в одном сегменте.

Перед выполнением команды recover укажите DataRestoreCommand и RestoreCommand в файле backup_info. DataRestoreCommand извлекает базовую резервную копию и восстанавливает её в каталог данных сегмента. RestoreCommand извлекает файл WAL и сохраняет его в файл pg_wal в каталоге сегмента. Эти команды могут использовать следующие замены:

%p #

Путь назначения на сервере.

%s #

SystemId восстанавливаемой базы данных (одинаковый в резервной копии и в восстанавливаемом кластере).

%f #

Имя файла WAL для восстановления.

процесс keeper сегмента запускает обе команды на каждом узле в кластере, поэтому:

  • Резервную копию нужно сделать доступной для этих узлов (например, сохранив её в общей файловой системе или используя протокол удалённого копирования, такой как SFTP).

  • Команды для извлечения резервной копии выполняются от имени пользователя операционной системы, под которым работают сегменты (обычно postgres), поэтому необходимо установить соответствующие разрешения для файлов резервных копий.

В данных примерах показано, как задать RestoreCommand и DataRestoreCommand:

  • Если резервная копия доступна через SCP без пароля, можно использовать:

     "DataRestoreCommand": "scp -r user@host:/var/backup/shardman/%s/backup/* %p",
     "RestoreCommand": "scp user@host:/var/backup/shardman/%s/wal/%f %p"
      
  • Если резервная копия хранится в NFS и доступна по пути /var/backup/shardman, используйте:

     "DataRestoreCommand": "cp -r /var/backup/shardman/%s/backup/* %p",
     "RestoreCommand": "cp /var/backup/shardman/%s/wal/%f %p"
      

Команды конфигурации #

config get #

Синтаксис:

shardmanctl [общие_параметры] config get [-c | --choose-revision] [-r | --revision ] [-f | --file] [--format json|yaml]

Выгружает текущую полную конфигурацию кластера или конфигурацию указанной версии.

-c
--choose-revision #

Включает интерактивный режим выбора конфигурации указанной версии.

-r
--revision #

Идентификатор версии конфигурации.

-f file_name
--file=file_name #

Имя файла для записи конфигурации. Если не указано, то значение — stdout.

config revisions rm #

Синтаксис:

shardmanctl [общие_параметры] config revisions rm [-r | --revision ] [-y | --yes]

Удаляет указанную версию конфигурации из истории состояний.

-r
--revision #

Идентификатор версии конфигурации. Если не указан, включает интерактивный режим выбора конфигурации указанной версии. Это временная метка операции, которая привела к изменению конфигурации Postgres Pro Shardman.

-y
--yes #

Выполнять автоматическое подтверждение.

config update #

Синтаксис:

shardmanctl [общие_параметры] config update [[-f|--file файл_конфигурации_сегмента | файл_конфигурации_shardman]|текст_конфигурации [-p|--patch] [[-s|--shard имя_сегмента] [-n|--node имя_узла[:порт]]] [-w|--wait]] [--force] [-y | --yes]

Обновляет конфигурацию сегмента или полную конфигурацию Postgres Pro Shardman. Поддерживает следующие местозаполнители для параметров postgres: {{cluster}}, {{shard}}, {{dataDir}}, {{keeperDir}}, {{keeperID}}, {{host}}. Примеры можно найти здесь.

При обновлении полной конфигурации Postgres Pro Shardman с помощью команды config update без указания параметра --patch, эта команда удаляет все пользовательские параметры на сегментах и узлах.

-f файл_конфигурации_сегмента|файл_конфигурации_shardman
--specfile=файл_конфигурации_сегмента|файл_конфигурации_shardman #

Указывает файл конфигурации сегмента или полной конфигурации Postgres Pro Shardman. Тип файла конфигурации определяется автоматически. Значение - означает стандартный ввод. По умолчанию конфигурация передаётся в тексте_конфигурации. Поддерживаются и автоматически определяются форматы json и yaml.

-w
--wait #

Указывает, что shardmanctl должен дождаться вступления в силу изменений конфигурации. Если новая конфигурация не может быть загружена всеми группами репликации, время ожидания shardmanctl будет бесконечным.

-p
--patch #

Объединяет новую конфигурацию с существующей. По умолчанию новая конфигурация заменяет существующую.

При использовании с параметрами --shard или --node обновляет пользовательские параметры PostgreSQL на уровне сегмента или узла.

Входной JSON-файл должен содержать только объект {"pgParameters":{...}}. Любые другие ключи верхнего уровня (такие как ClusterSpec, ShardSpec) не принимаются.

Если входной JSON-файл содержит объект {"shardPgParameters":{...}}, необходимо указать параметр --shard или --node.

Эта команда не может изменять параметры резервных кластеров.

Следующие системные параметры не могут быть установлены как пользовательские параметры: shardman.config_uuid, shardman.rgid, shardman.maintenance_user.

Следующие параметры должны иметь одинаковое значение на всех экземплярах сегмента и следовательно не могут устанавливаться на уровне узла (только на уровне сегмента): max_connections, max_prepared_transactions, max_worker_processes, max_locks_per_transaction, wal_level, shared_preload_libraries.

Изменение значений параметра max_connections или shared_buffers с помощью этой команды приводит к перезапуску затронутых экземпляров СУБД.

Примечание

Команда config update --patch -s имя_сегмента -n имя_узла эквивалентна команде params set -s имя_сегмента -n имя_узла.

Чтобы сбросить параметры, используйте команду params unset.

-s имя_сегмента
--shard=имя_сегмента #

Указывает сегмент, для которого вы хотите обновить пользовательские параметры PostgreSQL. Требует указания параметра --patch.

Если узел, указанный в параметре --node, принадлежит одному сегменту, параметр --shard можно опустить. Если узел принадлежит нескольким сегментам, параметр --shard является обязательным.

Если у хоста процессы keeper выполняются на нескольких сегментах, необходимо указать параметр --shard или добавить порт в параметре --node для идентификации процесса keeper.

-n имя_узла[:порт]
--node=имя_узла[:порт] #

Указывает узел, на котором вы хотите обновить пользовательские параметры PostgreSQL. Требует указания параметра --patch.

Если указано только имя хоста, порт определяется автоматически на основании топологии кластера. Если у хоста есть несколько процессов keeper на разных портах (например, на разных сегментах), используйте полный формат: хост:порт.

Если параметр --node опущен, команда применяется на всех узлах сегмента, указанного в параметре --shard.

--force #

Выполнять принудительное изменение, если выполняется операция на уровне кластера.

-y
--yes #

Подтвердить перезапуск, необходимый для вступления в силу значений параметров. Если параметр не задан, а для изменения параметров требуется перезапуск, то будет запрошено подтверждение вручную. Если подтверждение не получено, кластер продолжит работу, но новые значения параметров вступят в силу только после перезапуска.

config rollback #

Синтаксис:

shardmanctl [общие_параметры] config rollback [-r | --revision] [-w|--wait длительность] [--force] [-y|--yes][--repair]

Выполняет откат конфигурации Postgres Pro Shardman к одному из предыдущих состояний. При откате к версии конфигурации, имеющей параметры max_connections, max_prepared_transactions или max_worker_processes, реплики переинициализируются.

При откате конфигурации к одному из прошлых состояний ни один из параметров max_connections, max_prepared_transactions, max_locks_per_transaction, max_wal_senders, max_worker_processes не откатывается, если текущее значение выше того, на которое необходимо откатить.

-r
--revision #

Идентификатор версии, до которой нужно откатить состояние конфигурации. Это временная метка операции, которая привела к изменению конфигурации Postgres Pro Shardman.

Если не указан, выводится список версий, из которого пользователь может выбрать нужную.

-w
--wait #

Указывает, что shardmanctl должен дождаться вступления в силу изменений конфигурации. Если новая конфигурация не может быть загружена всеми группами репликации, время ожидания shardmanctl будет бесконечным.

По умолчанию: 1h.

-f
--force #

Выполнить принудительную настройку параметра, если выполняется операция на уровне кластера.

-y
--yes #

Выполнять автоматическое подтверждение.

--repair #

Включает режим восстановления кластера, который вышел из строя из-за недопустимых значений параметров.

По умолчанию: отключён.

config revisions #

Синтаксис:

shardmanctl [общие_параметры] config revisions [-f|--format text|json]

Выводит историю версий конфигурации кластера Postgres Pro Shardman. Для каждой версии содержит следующую информацию:

  • time — временная метка операции, вызвавшей изменение конфигурации кластера Postgres Pro Shardman

  • id — идентификатор версии

  • host — имя узла, на котором запустили операцию

  • user — пользователь, запустивший операцию

  • command — сама операция

-f=text|json
--format=text|json #

Указывает выходной формат.

По умолчанию: text.

config update ip #

Синтаксис:

shardmanctl [общие_параметры] config update ip [-u|ip_1=ip_2,hostname_1=hostname_2][-y|--yes][--repair]

Обновляет указанные IP-адреса узлов кластера.

-u
ip_1=ip_2,hostname_1=hostname_2 #

Указывает узлы кластера, для которых необходимо обновить IP-адреса.

-y
--yes #

Выполнять автоматическое подтверждение.

--repair #

Включает режим восстановления кластера, который вышел из строя из-за недопустимых значений параметров.

По умолчанию: отключён.

config update credentials #

Синтаксис:

shardmanctl [общие_параметры] config update credentials [-u | --user] [-p | --password] [-k | --ssl-key] [-c | --ssl-cert] [-w|--wait длительность] [--force] [-y | --yes]

Изменяет пароль или сертификат/ключ пользователя для подключения к кластеру Postgres Pro Shardman. Изменяет только тип аутентификации, указанный пользователем (scram-sha-256, ssl), а не сам тип.

-u
--user #

Пользователь, для которого требуется изменить параметры аутентификации.

-p
--password #

Новый пароль.

-k
--ssl-key #

Новый SSL-ключ.

-c
--ssl-cert #

Новый SSL-сертификат.

-w
--wait #

Указывает, что shardmanctl должен дождаться вступления в силу изменений конфигурации. Если новая конфигурация не может быть загружена всеми группами репликации, время ожидания shardmanctl будет бесконечным.

--force #

Выполнять принудительное изменение, если выполняется операция на уровне кластера.

-y
--yes #

Подтверждает операцию вместо того, чтобы запрашивать подтверждение от стандартного ввода.

config update fdw #

Синтаксис:

shardmanctl [общие_параметры] config update fdw

Обновляет параметры сторонних серверов во всех группах репликации. Обновление выполняется в рамках одной распределённой транзакции в соответствии с текущей конфигурацией кластера.

Используйте эту команду, чтобы исправить ошибки словаря, которые могут возникнуть после изменения топологии кластера, например с помощью команды cluster upgrade или cluster standby disable.

Чтобы проверить словарь на наличие ошибок, воспользуйтесь командой cluster status.

config directories save #

Синтаксис:

shardmanctl [общие_параметры] config directories save

Сохраняет текущие каталоги keeper в хранилище с ключом shardman/<cluster>/data/ladle.

Команды кластера #

cluster start #

Синтаксис:

shardmanctl [common_options] cluster start

Запускает все экземпляры сервера PostgreSQL.

cluster stop #

Синтаксис:

shardmanctl [общие_параметры] cluster stop [-y|--yes] [-m|--message]

Останавливает все экземпляры сервера PostgreSQL.

-y
--yes #

Подтверждает операцию вместо того, чтобы запрашивать подтверждение от стандартного ввода.

-m
--message #

Показывает причину остановки кластера.

cluster topology #

Синтаксис:

shardmanctl [общие_параметры] cluster topology -f|--format table|json|text

Выводит топологию кластера.

-f table|json|text
--format=table|json|text #

Формат вывода. За подробностями обратитесь к Подразделу «Отображение топологии кластера».

init #

Синтаксис:

    shardmanctl [общие_параметры] init [-y|--yes] [-f|--spec-file имя_файла_конфигурации]|текст_конфигурации
   

Регистрирует новый кластер Postgres Pro Shardman в распределённом хранилище или повторно инициализирует уже существующий кластер, задавая новую конфигурацию кластера и удаляя все его данные и узлы.

При повторной инициализации кластера эта команда удаляет все пользовательские параметры сегментов и узлов.

-f имя_файла_конфигурации
--specfile=имя_файла_конфигурации #

Задаёт файл со строкой конфигурации кластера. Значение - означает стандартный ввод. По умолчанию строка передаётся в тексте_конфигурации. Использование данной команды подробно описано в разделе «Регистрация кластера Postgres Pro Shardman». Поддерживаются и автоматически определяются форматы json и yaml.

-y
--yes #

Подтверждает операцию вместо того, чтобы запрашивать подтверждение от стандартного ввода.

intcheck #

Синтаксис:

    shardmanctl [общие_параметры] intcheck [-s|--system] [-u|--user] [-c|--catalog] [-o|--output]  [-n|--node узел]
   

Запускает pg_integrity_check на всех узлах кластера Postgres Pro Shardman или на выбранном одном узле.

-s
--system #

Проверить контрольные суммы неизменяемых файлов. В контрольных суммах неизменяемых файлов учитывается и содержимое, и атрибуты этих файлов.

-u
--user #

Проверить контрольные суммы дополнительных файлов. В контрольных суммах дополнительных файлов учитывается и содержимое, и атрибуты этих файлов.

-c
--catalog #

Проверить контрольные суммы для таблиц системных каталогов. Чтобы ключ -c работал корректно, также необходимо задать параметры подключения к базе данных. Сервер баз данных должен быть запущен и готов принимать подключения.

-o
--output #

Пересчитать контрольные суммы и записать их в файл

-n имена_узлов
--node=имена_узлов #

Выполнять команду pg_integrity_check только на выбранном узле

load #

Синтаксис:

     shardmanctl [общие_параметры] load [ -b | --batch-size предел_числа_строк] [ --destination-fields список_полей]
     [ --distributed-keys список_типов_ключей] [ -D | --delimiter символ]
     [--null_marker строка] [ -e | --escape символ] [ -f | --file входной_файл]
     [ -F | --format текст|csv ] [ -j | --jobs общее_число_заданий] [ -q | --quote символ]
     [ --reject-file имя_файла] [ --schema имя_файла] [ --source файл|postgres]
     [ --source-connstr строка_подключения] [ --source-fields список_полей] [ --source-table исходная_таблица]
     [ -t | --table целевая_таблица]
   

Загрузка данных в кластер Postgres Pro Shardman.

-b предел_числа_строк
--batch-size=предел_числа_строк #

Показывает список резервных копий кластера Postgres Pro Shardman.

По умолчанию: 1000.

--destination-fields=список_полей #

Список полей целевой таблицы, разделённых запятыми. Если значение не задано, то используются все поля таблицы в порядке их объявления.

--distributed-keys=список_типов_ключей #

Список пар, разделённых запятыми. Каждая пара состоит из номера поля (начиная с ноля) и типа, разделённых двоеточием. Поддерживаются следующие типы: bool, char, float4, float8, int2, int4, int8, name, text, varchar и uuid.

-D символ
--delimiter=символ #

Задаёт символ, разделяющий столбцы в строках файла. Задаваемый символ должен быть однобайтовым.

По умолчанию: табуляция для текстового формата, запятая для формата CSV.

--null_marker=строка #

Указывает строку, представляющую нулевое значение.

По умолчанию: \N для текстового формата, пустая строка без кавычек для формата CSV.

-e символ
--escape=символ #

Задаёт символ, который будет выводиться перед символом данных, совпавшим со значением QUOTE. По умолчанию это тот же символ, что и QUOTE (то есть при появлении в данных кавычек они дублируются). Задаваемый символ должен быть однобайтовым. Этот параметр допускается только для режима CSV.

-f filename
--file=filename #

Имя файла входных данных (или - для стандартного ввода)

-F текст|csv
--format=текст|csv #

Формат входных данных. Возможные значения: text и csv.

По умолчанию: text.

-j число
--jobs=число #

Число параллельных процессов для загрузки данных.

По умолчанию равно числу групп репликации.

-q символ
--quote=символ #

Указывает символ кавычек, используемый для заключения данных в кавычки. По умолчанию это символ двойных кавычек. Задаваемый символ должен быть однобайтовым. Этот параметр поддерживается только для формата CSV.

--reject-file=filename #

Все порции данных с ошибками при загрузке будут записаны в этот файл. Если значение не задано, то такие порции будут пропущены.

--schema=filename #

Схема, определяющая правила передачи данных из PostgreSQL в Postgres Pro Shardman. Если установлен данный параметр, то все остальные параметры не используются.

--source=файл|postgres #

Тип источника данных — file или postgres.

По умолчанию: file.

--source-connstr=строка #

Строка подключения к базе источника данных

--source-fields=список_полей #

Список полей исходной таблицы, разделённых запятыми. Если значение не задано, то используются все поля таблицы в порядке их объявления.

--source-table=таблица #

Исходная таблица, представление или функция (funcname(param1,...,paramN)).

-t таблица
--table=таблица #

Целевая таблица.

cluster restart #

Синтаксис:

     shardmanctl [общие_параметры] cluster restart [-y|--yes] [--no-wait] [-m|--message]  [--for-upgrade]
   

Перезапускает кластер Postgres Pro Shardman.

-y
--yes #

Подтверждает операцию вместо того, чтобы запрашивать подтверждение от стандартного ввода.

--no-wait #

Не ждать запуска реплик.

-m
--message #

Показывает причину перезапуска кластера.

--for-upgrade #

Запускать все экземпляры одновременно, не дожидаясь ведущего узла. Используйте этот параметр для обновления Postgres Pro Shardman.

cluster restart rolling #

Синтаксис:

     shardmanctl [общие_параметры] cluster restart rolling [-y|--yes] [--restore-masters] [--upgrade [-s|--shard имя_сегмента]]
   

Последовательно перезапускает кластер Shardman с минимальным временем простоя. Перезапускает сегменты последовательно один за другим. На каждом сегменте команда перезапускает shardmand на всех резервных узлах, переключает ведущий узел на один из резервных узлов, перезапускает shardmand на бывшем ведущем экземпляре, после чего ожидает исправного статуса сегмента.

-y
--yes #

Подтверждает операцию вместо того, чтобы запрашивать подтверждение от стандартного ввода.

--restore-masters #

Возвращает роли ведущих к тем экземплярам, которые были ведущими до команды.

--upgrade #

Запускает shardmanctl upgrade на всех перезапущенных экземпярах.

-s имя_сегмента
--shard имя_сегмента #

Указывает один сегмент, на котором необходимо запустить команду shardmanctl upgrade. Этот параметр можно использовать только с --upgrade.

cluster standby enable #

Синтаксис:

shardmanctl [общие_параметры] cluster standby enable [-y | --yes][--no-wait]

Переключает кластер в резервный режим.

-y
--yes #

Подтверждает операцию вместо того, чтобы запрашивать подтверждение от стандартного ввода.

--no-wait #

Не ждать запуска резервного keeper.

cluster standby disable #

Синтаксис:

shardmanctl [общие_параметры cluster standby disable [-y | --yes] [--lost-shards] [--lost-nodes] [-s | -soft]

Ждёт, пока все экземпляры кластера не восстановятся до одной и той же точки синхронизации, после чего переключает кластер с резервного режима на ведущий. Как только резервный режим выключается, все экземпляры кластера читают ключ shardman/<имя_кластера>/data/last-replay-lsn/<имя_сегмента>/<node_address>, проверяющий, что все экземпляры восстановлены до одинаковой контрольной точки.

Обратите внимание, что в этом случае узел-рефери только останавливается.

Рекомендуется размещать все узлы резервного кластера в резервном ЦОД, а не на узлах ведущего кластера. Например, если узлы рефери резервного кластера размещаются в ведущем ЦОД, они могут стать недоступными вместе с этим ЦОД.

Если узел-рефери становится недоступным и без него не хватает кворума BiHA или синхронных резервных узлов в сегменте, команда выводит предупреждение и продолжает переключение. Сегмент остаётся доступным только для чтения или его транзакции ждут, пока узел-рефери не восстановят или не заменят. В этом случае команда также ожидает завершения транзакций.

Если команда прервалась, выполните её ещё раз, чтобы завершить отключение режима резерва.

-y
--yes #

Подтверждает операцию вместо того, чтобы запрашивать подтверждение от стандартного ввода.

--lost-shards #

Имена неработающих или потерянных сегментов ведущего кластера.

--lost-nodes #

Имена узлов резервного кластера, которые не нужно повышать.

-s
-soft #

Позволяет keeper резервного сегмента воспроизвести WAL до максимального CSN.

Обратите внимание, что после запуска кластера могут появиться ошибки словаря, которые можно исправить с помощью команды shardmanctl config update fdw.

cluster standby config #

Синтаксис:

shardmanctl [общие_параметры] cluster standby config --main-peers имя_узла:порт [--main-zone имя_зоны] [--main-ssl] [--main-cluster имя_кластера] [-f|--specfile файл_конфигурации_сегмента | файл_конфигурации_shardman]|текст_конфигурации

Создаёт конфигурационный файл sdmspec для резервного кластера и записывает его в стандартный вывод. Выполнить команду на одном из узлов резервного ЦОД.

Примечание

Файл конфигурации sdmspec, созданный этой командой, не включает параметры, указанные в pgParameters для конкретных сегментов и узлов ведущего кластера. В режиме резерва процесс мониторинга периодически синхронизирует параметры, применяемые ко всему кластеру, отдельным ролям и сегментам из основного кластера, за следующими исключениями:

  • Пользовательские параметры для определённых узлов не синхронизируются в резервный кластер, так как их конфигурации могут отличаться.

  • Параметры, относящиеся к настройке SSL, никогда не синхронизируются и должны быть определены вручную в резервном кластере.

--main-zone имя_зоны #

Указывает имя зоны основного кластера.

По умолчанию: main.

--main-ssl true|false #

Указывает, использует ли кластер в ОЦОД SSL.

По умолчанию: false.

--main-cluster cluster_name #

Указывает имя кластера в ОЦОД.

По умолчанию: cluster0.

--main-peers имя_узла:порт #

Указывает разделённый запятыми список узлов, на которых выполняется shardmand в ОЦОД.

-f файл_конфигурации_сегмента|файл_конфигурации_shardman
--specfile=файл_конфигурации_сегмента|файл_конфигурации_shardman #

Указывает файл конфигурации резервного кластера Postgres Pro Shardman. Тип файла конфигурации определяется автоматически. Значение - означает стандартный ввод. По умолчанию конфигурация передаётся в тексте_конфигурации. Поддерживаются и автоматически определяются форматы json и yaml.

cluster standby catchup #

Синтаксис:

shardmanctl [общие_параметры] cluster standby catchup
[-y|--yes]
[-s|--shard имя_сегмента]
[-n|--node имя_узла]
[-j|--jobs число]
[--log-directory путь]
[--log-to-console]

Копирует данные из экземпляра ведущего кластера в экземпляр резервного кластера, если один из экземпляров резервного кластера отстаёт. Запускается на узле резервного кластера при использовании параметра StandbySettings из файла конфигурации sdmspec.

-y
--yes #

Подтверждает операцию вместо того, чтобы запрашивать подтверждение от стандартного ввода.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента резервного кластера.

-n имена_узлов
--node=имена_узлов #

Задаёт узел резервного кластера. Команду необходимо выполнять на отстающем узле.

--jobs число
-j число #

Число параллельных потоков, которые используются pg_probackup при создании резервной копии.

По умолчанию: 1.

--log-directory путь #

Задаёт каталог для журналов команды catchup расширения pg_probackup.

--log-to-console #

Включает вывод журналов catchup расширения pg_probackup на консоль.

cluster switchover #

Синтаксис:

shardmanctl [общие_параметры] cluster switchover --peer-peers имя_узла:порт_shardmand> [--peer-zone имя_зоны] [--peer-cluster имя_кластера] [--peer-ssl] [--no-demote] [--abort] [-w|--wait длительность] [-y|--yes]

Меняет ролями ведущий кластер и резервный кластер: ведущий кластер получает роль резервного, а резервный кластер становится ведущим. За подробной информацией о переключении кластеров обратитесь к главе Подраздел 33.5.10.2.

Прогресс выполнения команды сохраняется в распределённом хранилище. При возникновении ошибки, можно выполнить команду ещё раз, чтобы возобновить переключение кластеров. Также можно прервать процесс переключения кластеров, если резервный кластер ещё не стал ведущим.

Важно

Эта команда не перемещает слоты логической репликации из старого ведущего кластера в новый. При необходимости создайте требуемые слоты логической репликации в новом ведущем кластере вручную после переключения ролей кластеров.

--peer-peers имя_узла:порт_shardmand> #

Указывает разделённый запятыми список узлов, на которых выполняется shardmand в резервном кластере. Все резервные узлы, указанные в этом параметре, должны использовать один и тот же порт. В противном случае команда завершается ошибкой.

Важно

Требуется указать хотя бы один работоспособный узел в резервном кластере.

При использовании --abort этот параметр можно опустить. В этом случае команда прерывает процесс переключения только для ведущего кластера. Это может быть полезно, если резервный кластер временно недоступен.

--peer-zone имя_зоны #

Указывает имя зоны резервного кластера.

По умолчанию: main.

--peer-cluster имя_кластера #

Указывает имя резервного кластера.

По умолчанию: cluster0.

--peer-ssl #

Указывает, использует ли резервный кластер SSL.

По умолчанию: false.

--no-demote #

Указывает, оставляет ли команда ведущий кластер в замороженном состоянии, не понижая его роль до резервного, после повышения резервного кластера до ведущего. В этом случае процесс переключения кластеров не будет завершён. Вы можете завершить переключение позже и понизить замороженный ведущий кластер до резервного, выполнив команду cluster switchover без параметра --no-demote.

--abort #

Указывает, прерывает ли команда незавершённый процесс переключения кластеров. Этот параметр доступен, только если резервный кластер ещё не переключился на ведущую роль.

Если кластер уже повысил свою роль, команда возвращает ошибку.

-w длительность
--wait длительность #

Указывает время ожидания синхронизации резервного кластера с ведущим, начиная с момента заморозки ведущего кластера. Если по истечении указанного времени резервный кластер не синхронизировался, команда пытается отменить процесс переключения кластеров.

Этот параметр нельзя использовать с --abort.

По умолчанию: 10 минут.

-y
--yes #

Подтверждает операцию вместо того, чтобы запрашивать подтверждение от стандартного ввода.

params set #

Синтаксис:

shardmanctl [общие_параметры] params set param1=value1 [param2=value2 […]] [-n|--node имя_узла[:порт] [-s|--shard имя_сегмента] [-r|--role роль_узла]] [-y|--yes] [-w|--wait длительность] [-f|--force] [--repair]

Задаёт значения указанных параметров кластера базы Postgres Pro Shardman. Поддерживает следующие местозаполнители для параметров postgres: {{cluster}}, {{shard}}, {{dataDir}}, {{keeperDir}}, {{keeperID}}, {{host}}. Примеры можно найти здесь. Рекомендуется задавать по одному параметру за раз.

-n
--node #

Указывает узел кластера, для которого необходимо задать параметры базы данных.

К узлу можно обращаться по его имени хоста или IP‑адресу. Можно также указать порт. Имя хоста должно правильно разрешаться в IP-адрес на всех узлах.

-r
--role #

Указывает роль узлов, на которых требуется задать параметры базы данных. Если также указать сегмент, параметры будут заданы только на узлах указанной роли на указанном сегменте. Этот параметр нельзя использовать с --node.

Эти параметры применяются на всех затронутых узлах кластера Postgres Pro Shardman до инициализации узла. Параметры для определённых ролей обычно используются для ограничения использования аппаратных ресурсов для узлов-рефери, которым не требуется столько ресурсов, сколько узлам других ролей.

Возможные значения:

  • leader

  • follower

  • referee

  • referee-with-wal

По умолчанию: не задан.

-s
--shard #

Указывает сегмент, для которого необходимо задать параметры базы данных.

Также требуется указать имя сегмента, если невозможно однозначно идентифицировать экземпляр на узле с помощью -n или --node.

-w
--wait #

Указывает, что shardmanctl должен дождаться вступления в силу изменений конфигурации. Примеры значений: 2h45m, 1m30s, 5m, 10s.

По умолчанию: 1h.

-y
--yes #

Подтвердить перезапуск, необходимый для вступления в силу значений параметров. Если параметр не задан, а для изменения параметров требуется перезапуск, то будет запрошено подтверждение вручную. Если подтверждение не получено, кластер продолжит работу, но новые значения параметров вступят в силу только после перезапуска.

-f
--force #

Выполнить принудительную настройку параметра, если выполняется операция на уровне кластера.

--repair #

Включает режим восстановления кластера, который вышел из строя из-за недопустимых значений параметров.

По умолчанию: отключён.

params unset #

Синтаксис:

shardmanctl [общие_параметры] params unset [pgParam1 [pgParam2 [...]]] [-n|--node имя_узла[:порт] [-s|--shard имя_сегмента] [--all] [-r|--role роль_узла]] [-y|--yes] [-w|--wait длительность] [-f|--force][--repair]

Сбрасывает заданные параметры PostgreSQL до значений по умолчанию. Примеры можно найти здесь. Рекомендуется сбрасывать по одному параметру за раз.

Следующие параметры не могут быть сброшены: max_connections, max_prepared_transactions, max_worker_processes, default_transaction_isolation, shared_preload_libraries, walsender_plugin_libraries.

За подробной информацией о настройке параметров на разных уровнях кластера Postgres Pro Shardman обратитесь к главе Наследование параметров.

-n
--node #

Указывает узел кластера, для которого необходимо сбросить параметры баз данных.

Если нужно указать несколько узлов, либо перечислите их через запятую в одном параметре --node, либо добавьте несколько параметров --node. Узлы могут принадлежать разным сегментам.

К узлу можно обращаться по его имени хоста или IP‑адресу, которые определяются топологией кластера. Можно также указать порт.

-r
--role #

Указывает роль узлов, на которых требуется сбросить параметры базы данных. Если также указать сегмент, параметры будут сброшены только на узлах указанной роли на указанном сегменте. Этот параметр нельзя использовать с --node.

Эти параметры применяются на всех затронутых узлах кластера Postgres Pro Shardman до инициализации узла. Параметры для определённых ролей обычно используются для ограничения использования аппаратных ресурсов для узлов-рефери, которым не требуется столько ресурсов, сколько узлам других ролей.

Возможные значения:

  • leader

  • follower

  • referee

  • referee-with-wal

По умолчанию: не задан.

-s
--shard #

Указывает сегмент, для которого необходимо сбросить параметры базы данных.

Если у хоста, указанного в параметре --node, процессы keeper выполняются на нескольких сегментах, либо укажите параметр --shard, либо добавьте порт в параметр --node, чтобы можно было различать эти процессы.

Сброс параметра на сегменте не приводит к сбросу этого параметра на узлах сегмента.

--all #

Указывает, что команда сбрасывает все пользовательские параметры для указанного сегмента или узла.

Этот параметр должен использоваться вместе с --node или --shard. Параметр нельзя использовать, если указан список параметров, которые нужно сбросить.

-w
--wait #

Задаёт максимальное время, до которого shardmanctl будет ждать вступления в силу изменений конфигурации.

По умолчанию: 1h.

-y
--yes #

Подтвердить перезапуск, необходимый для вступления в силу значений параметров. Если параметр не задан, а для изменения параметров требуется перезапуск, то будет запрошено подтверждение вручную. Если подтверждение не получено, кластер продолжит работу, но новые значения параметров вступят в силу только после перезапуска.

-f
--force #

Выполнить принудительную настройку параметра, если выполняется операция на уровне кластера.

--repair #

Включает режим восстановления кластера, который вышел из строя из-за недопустимых значений параметров.

По умолчанию: отключён.

params get #

Синтаксис:

shardmanctl [общие_параметры] params get shard [-s|--shard имя_сегмента]  [-n|--node имя_узла[:порт_shardman] [-r|--role роль_узла]] [ -f | --file входной_файл] [-f|--format text|json] [--sort shard|node|param|source]

Показывает пользовательские параметры PostgreSQL.

Эта команда возвращает информационное сообщение, если при заданной комбинации фильтров либо не найдено пользовательских параметров, либо такую комбинацию нельзя использовать (например, если указано имя несуществующего узла).

-s имя_сегмента
--shard=имя_сегмента #

Фильтрует параметры по имени сегмента.

-n имя_узла[:порт_shardman],имя_узла[:порт_shardman]
--node=имя_узла[:порт_shardman],имя_узла[:порт_shardman] #

Фильтрует по имени узла.

Порт по умолчанию: 15432.

-r
--role #

Фильтрует по ролям узлов. Нельзя использовать с параметром --node.

Возможные значения:

  • leader

  • follower

  • referee

  • referee-with-wal

По умолчанию: не задан.

-f filename
--file=filename #

Указывает выходной файл.

По умолчанию: stdout.

-F text|json
--format=text|json #

Формат данных. Возможные значения: text и json.

Когда указано значение json, команда выводит массив JSON-объектов, а не единичный JSON-объект.

По умолчанию: text.

--sort=shard|node|param|source #

Порядок сортировки.

Возможные значения:

  • shard: Сортировать параметры по имени сегмента.

  • node: Сортировать параметры по имени узла.

  • params: Сортировать параметры по их имени.

  • params: сортировать параметры по имени их источника данных.

По умолчанию: shard.

Регистрация кластера Postgres Pro Shardman #

Чтобы зарегистрировать кластер Postgres Pro Shardman в распределённом хранилище, выполните следующую команду:

    shardmanctl [общие_параметры] init [-y|--yes] [-f|--spec-file имя_файла_конфигурации]|текст_конфигурации
   

В этой команде необходимо передать строку с конфигурацией кластера. Это можно сделать следующим образом:

  • В командной строке — не указывать параметр -f и передать строку в текст_конфигурации.

  • В стандартном вводе — указать параметр -f и передать - в имя_файла_конфигурации.

  • В файле — указать параметр -f и передать имя файла в имя_файла_конфигурации.

Эта команда завершится с ошибкой, если узлы кластера не используют одинаковые локали. За подробностями обратитесь к Главе 22.

Отображение топологии кластера #

Команда cluster topology отображает текущую топологию кластера, по умолчанию в виде таблицы. Все узлы кластера будут сгруппированы по группам репликации, к которым они принадлежат. Для каждого узла будет отображаться его статус.

    shardmanctl [общие_параметры] cluster topology -f|--format table|json|text
   

Описание статусов узлов

  • CANDIDATE — узел предложил себя в качестве кандидата на выборах нового лидера.

  • CSTATE_FORMING — узел получает и отправляет сообщения о контроле состояния, чтобы определить, в какое состояние он должен перейти.

  • FOLLOWER — узел является последователем, т.е. репликой лидера. Если biha.can_be_leader и biha.can_vote установлены в true, последователь может быть избран новым лидером.

  • FOLLOWER_OFFERED — узел был вручную назначен новым лидером.

  • FRONT_FOLLOWER — главный узел-последователь (физический узел-последователь, который исполняет функции лидера в сегменте-последователе).

  • LAST ONLINE время AGO — узел недоступен. время — это время, прошедшее с момента получения последнего сообщения о контроле состояния.

  • LEADER_RO — узел является лидером, доступным только для операций чтения.

  • LEADER_RW — узел является лидером, доступным для операций на чтение и запись.

  • MAINTENANCE — узел в режиме обслуживания. Он не управляется shardmand keeper и может быть безопасно остановлен или изменён внешним приложением.

  • NODE_ERROR — узел в нерабочем состоянии из-за ошибки. Когда узел в состоянии NODE_ERROR, чтение с этого узла запрещено. Чтобы получить больше информации об ошибке, используйте функцию biha.error_details. Чтобы восстановить дефектный узел, см. Подраздел 26.2.3.

  • RECOVERY_ERROR — узел в нерабочем состоянии из-за ошибки, которая возникла при восстановлении базы данных из резервной копии.

  • REFEREE — узел является рефери кластера в режиме referee.

  • REFEREE_WITH_WAL — узел является рефери кластера в режиме referee_with_wal.

  • STARTUP — узел ожидает, пока процесс запуска Postgres Pro Shardman достигнет точки согласованности.

  • STOPPED — узел остановлен.

  • SYNC_OK — узел в резервном кластере синхронизирован с ведущим кластером.

  • SYNC_WAITING — узел в резервном кластере ожидает синхронизации с ведущим кластером.

  • UNINITIALIZED — узел не инициализирован.

  • UNKNOWN — узел недоступен для текущего узла.

  • WAIT_BIHA — узел ожидает BiHA, чтобы определить свою роль.

cluster maintenance set

Синтаксис:

shardmanctl [общие_параметры] cluster maintenance set -n|--nodes имя_узла:порт [-e|--enable true|false]

Включить или отключить режим обслуживания для указанных экземпляров PostgreSQL. В режиме обслуживания экземпляры PostgreSQL не управляются shardman keeper и могут быть безопасно остановлены или изменены внешним приложением.

-n имя_узла:порт,имя_узла:порт
--nodes=имя_узла:порт,имя_узла:порт #

Задаёт разделённый запятыми список узлов, для которых вы хотите включить режим обслуживания.

-e true|false
--enable true|false #

Указывает, включить или выключить режим обслуживания.

По умолчанию: false.

Команды узлов #

nodes add #

Синтаксис:

shardmanctl [общие_параметры] nodes add -n|--nodes имя_узла[:порт_shardmand][@порт_pg[:порт_silk[:порт_biha]]] [--no-rebalance] -c|--copy-local-tables

Добавляет узлы в кластер Postgres Pro Shardman. По завершении команды создаётся дамп.

-n имя_узла[:порт_shardmand][@порт_pg[:порт_silk[:порт_biha]]]
--nodes=имя_узла[:порт_shardmand][@порт_pg[:порт_silk[:порт_biha]]] #

Обязательный параметр.

Задаёт список добавляемых узлов, разделённых запятыми. При указании портов PostgreSQL, Silk и BiHA после @ можно опустить некоторые из этих значений, при этом будут использоваться соответствующие значения по умолчанию. Необходимо сохранять двоеточия между значениями портов и опускать завершающие двоеточия. Например: -n node1@5433,node2@5433::25433.

Порт shardmand по умолчанию: 15432.

Порт PostgreSQL по умолчанию: на основе значения PGsInitialPort.

Порт Silk по умолчанию: на основе значения SilkInitialPort.

Порт BiHA по умолчанию: на основе значения BiHAInitialPort.

--no-rebalance #

Пропуск шага перебалансировки секций сегментированных таблиц. За подробностями обратитесь к Подразделу «Добавление узлов в кластер Postgres Pro Shardman».

-c
--copy-local-tables #

Обязательный параметр.

Позволяет сохранить все локальные таблицы при добавлении нового сегмента. Если не задано, все локальные таблицы удаляются.

nodes rm #

Синтаксис:

shardmanctl [общие_параметры] nodes rm -n|--nodes имена_узлов[:порт_PostgreSQL]

Удаляет узлы из кластера Postgres Pro Shardman. По завершении команды создаётся дамп.

-n имя_узла[:порт_PostgreSQL]
--nodes=имя_узла[:порт_PostgreSQL] #

Задаёт список удаляемых узлов, разделённых запятыми. Использование данной команды подробно описано в Подразделе «Добавление узлов в кластер Postgres Pro Shardman».

nodes start #

Синтаксис:

     shardmanctl [общие_параметры] nodes start -n|--nodes имена_узлов [--no-wait]
   

Запускает узлы.

-n имена_узлов
--nodes=имена_узлов

Имена узлов.

--no-wait

Задаёт поведение shardmanctl, при котором не ожидается запуск узлов.

nodes restart #

Синтаксис:

     shardmanctl [общие_параметры] nodes restart -n|--nodes имена_узлов [--no-wait]
   

Перезапускает узлы.

-n имена_узлов
--nodes=имена_узлов

Имена узлов.

--no-wait

Не ждать перезапуска узлов.

nodes stop #

Синтаксис:

     shardmanctl [общие_параметры] nodes stop -n|--nodes имена_узлов [--no-wait]
   

Останавливает узлы.

-n имена_узлов
--nodes=имена_узлов

Имена узлов.

--no-wait

Не ждать остановки узлов.

Добавление узлов в кластер Postgres Pro Shardman #

Чтобы добавить узлы в кластер Postgres Pro Shardman, выполните следующую команду:

shardmanctl [общие_параметры] nodes add -n|--nodes имя_узла[:порт_shardmand][@порт_pg[:порт_silk[:порт_biha]]] [--no-rebalance] [-c|--copy-local-tables]

Необходимо указать -n (--nodes) для передачи списка добавляемых узлов, разделённых запятыми. Ко всем узлам можно обращаться по их именам хостов или IP-адресам. Дополнительно можно задать порты shardmand, PostgreSQL, Silk и BiHA. Имена должны быть правильно разрешены на всех узлах.

Эта команда завершится с ошибкой, если локаль узла, который нужно добавить, отличается от локали узлов, которые уже являются участниками кластера. За подробностями обратитесь к Главе 22.

Если во время выполнения команды nodes add произошёл сбой, используйте команду cleanup --after-node-operation, чтобы исправить возможные проблемы с конфигурацией кластера.

Удаление узлов из кластера Postgres Pro Shardman #

Чтобы удалить узлы из кластера Postgres Pro Shardman, выполните следующую команду:

shardmanctl [общие_параметры] nodes rm -n|--nodes имена_узлов[:порт_PostgreSQL]

Укажите параметр -n (--nodes) для передачи списка удаляемых узлов, перечисленных через запятую. Команда восстанавливает все секции сегментированных таблиц.

Примечание

Не используйте команду cleanup для устранения возможных проблем с конфигурацией кластера после сбоя команды nodes rm. Вместо этого ещё раз выполните nodes rm.

Если порт PostgreSQL не указан, команда удаляет все экземпляры Postgres Pro Shardman на указанном узле.

Чтобы удалить все узлы в кластере без сохранения данных, повторно инициализируйте кластер. Если удалённая группа репликации содержит локальные таблицы, данные теряются после удаления группы репликации.

Команды сегментов #

shard add #

Синтаксис:

shardmanctl [общие_параметры] shard -s|--shard имя_сегмента add -n|--nodes имя_узла[:порт_shardmand][@порт_pg[:порт_silk[:порт_biha]]] | -r имя_рефери[:порт_shardmand][@порт_pg[:порт_silk[:порт_biha]]] | -w|--referees-with-wal имя_рефери_с_wal[:порт_shardmand][@порт_pg[:порт_silk[:порт_biha]]] [--no-wait]

Добавляет реплику в сегмент. По завершении команды создаётся дамп.

Эта команда завершится с ошибкой, если локаль любого узла, который является частью добавляемого шарда, отличается от локали узлов, которые уже являются участниками кластера. За подробностями обратитесь к Главе 22.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента.

-n имя_узла[:порт_shardmand][@порт_pg[:порт_silk[:порт_biha]]]
--nodes=имя_узла[:порт_shardmand][@порт_pg[:порт_silk[:порт_biha]]] #

Задаёт список добавляемых узлов-реплик через запятую. При указании портов PostgreSQL, Silk и BiHA после @ можно опустить некоторые из этих значений, при этом будут использоваться соответствующие значения по умолчанию. Необходимо сохранять двоеточия между значениями портов и опускать завершающие двоеточия. Например: -n node1@5433,node2@5433::25433.

Порт shardmand по умолчанию: 15432.

Порт PostgreSQL по умолчанию: на основе значения PGsInitialPort.

Порт Silk по умолчанию: на основе значения SilkInitialPort.

Порт BiHA по умолчанию: на основе значения BiHAInitialPort.

-r имя_рефери[:порт_shardmand][@порт_pg[:порт_silk[:порт_biha]]] #

Задаёт список добавляемых узлов-рефери в режиме referee через запятую.

Порт shardmand по умолчанию: 15432.

Порт PostgreSQL по умолчанию: на основе значения PGsInitialPort.

Порт Silk по умолчанию: на основе значения SilkInitialPort.

Порт BiHA по умолчанию: на основе значения BiHAInitialPort.

-w имя_рефери_wal[:порт_shardmand][@порт_pg[:порт_silk[:порт_biha]]]
--referees-with-wal=имя_рефери_wal[:порт_shardmand][@порт_pg[:порт_silk[:порт_biha]]] #

Задаёт список добавляемых узлов-рефери в режиме referee_with_wal через запятую.

Порт shardmand по умолчанию: 15432.

Порт PostgreSQL по умолчанию: на основе значения PGsInitialPort.

Порт Silk по умолчанию: на основе значения SilkInitialPort.

Порт BiHA по умолчанию: на основе значения BiHAInitialPort.

--no-wait #

Не ждать запуска сегмента.

shard master reset #

Синтаксис:

shardmanctl [общие_параметры] shard -s |--shard имя_сегмента master reset

Сбрасывает параметры приоритетного главного сервера для сегмента.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента.

master reset #

Сбрасывает параметры приоритетного главного сервера для сегмента.

-n имена_узлов
--nodes=имена_узлов #

Задаёт список узлов реплики через запятую.

shard reset #

Синтаксис:

shardmanctl [общие_параметры] shard -s|--shard shard_name reset [--yes | -y][--new-primary | -p]

Сбрасывает узлы группы репликации, если они зависли. Может быть полезно после использования команд, которые в редких случаях могут привести к появлению неверной конфигурации, например shardmanctl shard replica promote.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента.

-y
--yes #

Подтверждает операцию вместо того, чтобы запрашивать подтверждение от стандартного ввода.

--new-primary
-p #

Имя нового ведущего узла.

shard rm #

Синтаксис:

     shardmanctl [общие_параметры] shard -s|--shard имя_сегмента rm -n|--nodes имя_узла[:порт_PostgreSQL]  [-f|--force]

Удаляет резервный узел из сегмента. По завершении команды создаётся дамп.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента

-n имя_узла[:порт_PostgreSQL]
--nodes=имя_узла[:порт_PostgreSQL] #

Задаёт список удаляемых резервных узлов через запятую. Если порт PostgreSQL не указан, команда удаляет все резервные узлы на указанном сегменте.

-f
--force #

Выполнить принудительное удаление узла, даже если он «мёртв».

shard switch #

Синтаксис:

     shardmanctl [общие_параметры] shard -s|--shard имя_сегмента switch [--new-primary имена_узлов] [-f|--force]
   

Переключает ведущий узел. Текущий ведущий узел при запуске этой команды останавливается автоматически.

Перед переключением ведущего узла команда проверяет статус нового ведущего узла и его слотов репликации. Переключение отменяется, если узел недоступен, имеет статус NODE_ERROR либо если его слоты репликации отсутствуют или аннулированы.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента.

--new-primary=имена_узлов #

Имя нового ведущего узла.

-f
--force #

Игнорирует статус нового ведущего узла и принудительно выполняет переключение. Эта команда требует подтверждения пользователя.

Предупреждение

Перед принудительным переключением необходимо восстановить слоты или заново инициализировать узел. Иначе резервные узлы могут не подключиться к новому ведущему узлу.

shard start #

Синтаксис:

     shardmanctl [общие_параметры] shard -s |--shard имя_сегмента start [--no-wait] [-n|--node имя_узла]
   

Запускает сегмент.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента.

--no-wait #

Не ждать запуска сегмента.

-n имя_узла
--node=имя_узла #

Указывает узел, который необходимо запустить.

shard stop #

Синтаксис:

     shardmanctl [общие_параметры] shard -s |--shard имя_сегмента stop [-n|--node имя_узла]
   

Останавливает сегмент.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента.

-n имя_узла
--node=имя_узла #

Указывает узел, который необходимо остановить.

shard node priority set #

Синтаксис:

shardmanctl [общие_параметры] shard -s|--shard имя_сегмента node priority set -n|--node имя_узла -p|--priority priority

Задать приоритет узла.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента.

-n имя_узла
--node=имя_узла #

Указывает узел, для которого необходимо задать приоритет.

-p
--priority #

Приоритет, который необходимо задать для указанного узла. Влияет на выборы и репликацию кластера. Возможные значения: 0 и INT_MAX.

shard node priority reset #

Синтаксис:

     shardmanctl [общие_параметры] shard -s|--shard имя_сегмента node priority reset -n|--node имя_узла

Сбросить приоритет узла.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента.

-n имя_узла
--node=имя_узла #

Указывает узел, приоритет которого необходимо сбросить.

shard replicas reinit #

Синтаксис:

     shardmanctl [общие_параметры] shard -s|--shard имя_сегмента replicas reinit [-n|--node имена_узлов] [-y|--yes] [--no-wait]

Сбрасывает реплики определённого сегмента.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента.

-n имена_узлов
--node=имена_узлов #

Указывает узел, на котором необходимо сбросить реплики. Если не задан, проверяет реплики сегмента на всех узлах.

-y
--yes #

Подтверждает операцию вместо того, чтобы запрашивать подтверждение от стандартного ввода.

--no-wait #

Не ждать готовности реплик.

За подробностями обратитесь к Подразделу «Переинициализация реплик»

shard replicas promote #

Синтаксис:

     shardmanctl [общие_параметры] shard replicas promote  -s|--shard имя_сегмента [-n|--node имя_узла] [-y|--yes]

Данную команду можно использовать только в случае потери кворума при наличии работающего резервного узла. Например, если кластер состоит из ведущего узла, резервного узла и рефери, и ведущий узел и рефери отключаются, из-за чего резервный узел не может остановиться, поскольку нарушен кворум. Резервный узел повышается вне зависимости от настроек кворума и других параметров.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента.

-n имя_узла
--node=имя_узла #

Указывает узел, который необходимо повысить.

-y
--yes #

Подтверждает операцию вместо того, чтобы запрашивать подтверждение от стандартного ввода.

Переинициализация реплик #

Если реплики находятся в неправильном состоянии, их можно сбросить с помощью команды shardmanctl:

shardmanctl [общие_параметры] shard --shard=имя_сегмента replicas reinit

Эта команда определяет узлы, на которых запущены реплики указанного сегмента, и отправляет запрос shardmand на этих узлах. После получения этого запроса shardmand очищает каталог данных postgres и перезапускает процесс keeper, отвечающий за управление репликой. После этого реплики перезапускаются и начинают получать данные от соответствующего ведущего сервера.

Команды статуса #

cluster status #

Синтаксис:

     shardmanctl [общие_параметры] cluster status [-f|--format table|json] [--filter store|metadata|shardmand|rg|master|dictionary|biha|keeper|cluster restart_required_params] [-s|--sort node|rg|status]
    [--exclude store|metadata|shardmand|rg|master|dictionary|biha|keeper|cluster restart_required_params]
   

Выводит информацию о состоянии подсистем кластера Postgres Pro Shardman. Если проблем не обнаружено, подробности и таблицы статуса не отображаются.

-f таблица|json
--format=таблица|json #

Указывает формат отчёта.

По умолчанию: table.

За подробностями обратитесь к Подразделу «Получение статуса подсистем кластера».

--filter store|metadata|shardmand|группа_репликации|master|словарь|biha|keeper|cluster restart_required_params #

Указывает подсистемы, информация о состоянии которых должна быть включена в вывод.

По умолчанию: all.

За подробностями обратитесь к Подразделу «Получение статуса подсистем кластера».

-s узел|группа_репликации|status
--sort узел|группа_репликации|status #

Сортирует сообщения внутри одной группы (таблицы) указанным способом.

По умолчанию: node.

За подробностями обратитесь к Подразделу «Получение статуса подсистем кластера».

--exclude store|metadata|shardmand|группа_репликации|master|словарь|biha|keeper|cluster restart_required_params #

Указывает подсистемы, которые необходимо исключить из вывода cluster status.

cluster status transactions #

Синтаксис:

     shardmanctl [общие_параметры] cluster status transactions [-r|--repgroup имя_группы_репликации
     

Показывает распределённые транзакции, которые не удалось разобрать встроенными инструментами мониторинга Postgres Pro Shardman.

-r имя_группы_репликации
--repgroup=имя_группы_репликации #

Указывает группу репликации, для которой необходимо выводить транзакции.

По умолчанию: все группы репликации.

За подробностями обратитесь к Подразделу «Вывод списка неразобранных распределённых транзакций».

Получение статуса подсистем кластера #

Чтобы получить отчёт о состоянии кластера Postgres Pro Shardman в формате таблицы для подсистем metadata и store, отсортированных по группам репликации, выполните следующую команду:

    shardmanctl [общие_параметры] cluster status --filter=metadata,store --sort=rg
   

Чтобы получить отчёт в формате JSON, используйте параметр -f|--format=json (не включён выше, так как формат table используется по умолчанию). О каждой обнаруженной проблеме сообщается со статусом «Unknown», «Warning», «Error» или «Fatal error». Инструмент также может сообщить об операционной ошибке, что означает, что во время проверки работоспособности кластера возникла проблема. Когда команда обнаруживает критическую или операционную ошибку, дальнейшая диагностика прекращается. Например, несогласованность метаданных хранилища не позволяет выполнять правильные операции с кластером и должна быть устранена в первую очередь.

Вывод списка неразобранных распределённых транзакций #

Чтобы просмотреть список распределённых транзакций, которые не удалось разобрать встроенными средствами мониторинга Postgres Pro Shardman, выполните следующую команду:

    shardmanctl [общие_параметры] cluster status transactions -r|--repgroup имя_группы_репликации

Информация о каждой транзакции состоит из tx_id (идентификатор транзакции), coordinator_id, creation_time и description (ошибка или статус транзакции). Чтобы отобразить список транзакций для определённой группы репликации, используйте параметр -r|--repgroup (по умолчанию для всех групп репликации). Если таких транзакций нет, команда возвращает значение null в формате JSON.

Команды хранилища #

store dump #

Синтаксис:

     shardmanctl [общие_параметры]  [параметры_etcd] store dump [-f|--file имя_файла]
   

Выгружает текущие конфигурации кластеров из хранилища.

параметры_etcd #

Задаёт параметры соединения с etcd.

За подробностями обратитесь к Раздел «Параметры etcd».

-f filename
--file=filename #

Задаёт выходной файл (- для стандартного вывода).

По умолчанию: -.

За подробностями обратитесь к Подразделу «Выгрузка всех ключей из хранилища для отладки конфигурации ошибок».

store restore #

Синтаксис:

     shardmanctl [общие_параметры] store restore [-f|--file имя_файла][-y|--yes]
   

Позволяет безопасно восстановить распределённое хранилище из дампа, созданного с помощью команды shardmanctl store dump.

-f filename
--file=filename #

Указывает имя файла выгрузки.

-y
--yes #

Выполнять автоматическое подтверждение.

store lock #

Синтаксис:

     shardmanctl [общие_параметры] store lock [-f|--format text|json]
   

Показывает информацию о текущей блокировке метаданных кластера.

-f=text|json
--format=text|json #

Указывает выходной формат.

По умолчанию: text.

За подробностями обратитесь к Подразделу «Вывод информации о текущей блокировке метаданных кластера».

store get #

Синтаксис:

    shardmanctl [общие_параметры] store get [[-a|--alias имя_псевдонима]|[-k|--key имя_ключа] [-f|--file имя_файла]]
   

Получает указанный ключ из хранилища.

-a имя_псевдонима
--alias=ladle|cluster |spec|shardspec #

Указывает использование псевдонима вместо полного имени ключа. Нельзя использовать с параметром --key.

За подробностями обратитесь к Подразделу «Получение текущей конфигурации сегмента».

-k имя_ключа
--key=имя_ключа #

Указывает ключ для извлечения из хранилища. Нельзя использовать с параметром --alias.

За подробностями обратитесь к Подразделу «Получение текущей конфигурации сегмента».

-f filename
--file=filename #

Задаёт файл для вывода значения.

По умолчанию: - (стандартный вывод).

За подробностями обратитесь к Подразделу «Получение текущей конфигурации сегмента».

store files get #

Синтаксис:

     shardmanctl [общие_параметры] store files restore [-f|--file имя_файла][-o|--output]
   

Выводит содержимое файла хранилища.

-f filename
--file=filename #

Задаёт файл для чтения.

-o
--output #

Файл вывода. Если не задано, содержимое файла отображается в стандартном выводе.

store files list #

Синтаксис:

     shardmanctl [общие_параметры] store files list [-m|--match]
   

Выводит список файлов хранилища.

-m
--match #

Шаблон имён файлов.

По умолчанию: не задан.

store keys #

Синтаксис:

    shardmanctl [общие_параметры] store keys
   

Получает из хранилища все ключи с текущим префиксом кластера.

За подробностями обратитесь к Подразделу «Получение имён ключей кластера и ковша для текущего кластера».

store set #

Синтаксис:

    shardmanctl [общие_параметры] store set [[-a|--alias имя_псевдонима]|[-k|--key имя_ключа]] [-f|--file имя_файла]
   

Создаёт или перезаписывает ключ в хранилище.

-a ladle|cluster |spec|shardspec
--alias=ladle|cluster |spec|shardspec #

Указывает использование псевдонима вместо полного имени ключа. Нельзя использовать с параметром --key.

-k имя_ключа
--key=имя_ключа #

Указывает имя ключа для размещения в хранилище. Нельзя использовать с параметром --alias.

-f filename
--file=filename #

Задаёт файл с входными данными (- для стандартного ввода).

За подробностями обратитесь к Подразделу «Установка новой конфигурации для кластера».

store delete #

Синтаксис:

    shardmanctl [общие_параметры] store delete [-k|--key имя_ключа]
   

Удаляет ключ из хранилища.

-k имя_ключа
--key=имя_ключа #

Указывает имя ключа, который требуется удалить из хранилища.

store conflicts #

Синтаксис:

     shardmanctl [общие_параметры] store conflicts [-f|--format text|json][--with-values]
     

Отображает конфликты хранилища.

-f text|json
--format=text|json #

Указывает формат отчёта.

По умолчанию: text.

--with-values #

Выводить конфликтующие значения.

store normalize #

Синтаксис:

    shardmanctl [общие_параметры] store normalize
    

Нормализует конфигурацию распределённого хранилища на основе конфигурации текущего узла.

store repair #

Синтаксис:

     shardmanctl [общие_параметры] store repair --data-dir путь_к_хранилищу [--fix]
     

Выводит диагностическую информацию о каталоге локального хранилища на узле и при использовании параметра --fix восстанавливает локальное хранилище. Эта команда не работает с удалёнными узлами, поэтому её можно использовать, даже если узел не может подключиться к кластеру.

--data-dir путь_к_хранилищу #

Определяет путь к локальному каталогу распределённого хранилища. Например: /var/lib/pgpro/sdm-18/data/shardmand.

--fix #

Восстанавливает локальные файлы распределённого хранилища в указанном каталоге. Команда применяет записи из журнала до первой повреждённой записи. Если снимок повреждён, создаётся новый снимок с контрольными суммами на основе предыдущего снимка.

Важно

Команду с параметром --fix следует выполнять, только когда shardmand остановлен.

Если команда выполняется без --fix, она выводит следующую диагностическую информацию о локальном хранилище:

  • список файлов и статусы их контрольных сумм:

    • ok — файл не повреждён;

    • mismatch — файл повреждён;

    • absent — файл не содержит контрольных сумм и не может быть проверен;

    • unknown — shardmanctl не может прочитать файл или его контрольные суммы.

  • количество неповреждённых записей;

  • количество повреждённых файлов, оставшихся от прошлых запусков;

  • статус хранилища — возможно ли восстановить хранилище.

Команду без --fix можно выполнять, даже когда shardmand запущен. Но если хранилище будет изменяться в момент выполнения команды, она может ошибочно сообщить о повреждении хранилища.

Выгрузка всех ключей из хранилища для отладки конфигурации ошибок #

Столкнувшись с ошибкой при использовании кластера Postgres Pro Shardman, для получения исчерпывающего отчёта полезно выгрузить все конфигурации, которые могут привести к такой ошибке, используя следующую команду:

    shardmanctl [общие_параметры] store dump -f|--file имя_файла
   

Могут отображаться некоторые некритичные ошибки, но они не будут прерывать выгрузку. Если имя файла не указано, данные выводятся в stdout и могут замусорить терминал.

Получение текущей конфигурации сегмента #

Чтобы получить текущую конфигурацию сегмента, которая обычно является частью ключа кластера в хранилище, используйте следующую команду:

    shardmanctl [общие_параметры] store get -a|--alias shardnspec -f|--file имя_файла
   

Если сам ключ кластера повреждён, конфигурация сегмента также не будет отображаться. Вместо использования псевдонима можно также узнать полное имя ключа данных кластера (получив список всех ключей с помощью store keys) и использовать store get, чтобы получить имя ключа и найти в нём часть сегмента. Учтите, что при использовании последнего варианта параметр shardman.config_uuid не будет удалён, что может привести к конфликту при последующем использовании этих данных. Для манипуляций с конфигурацией stolon рекомендуется использовать команду shardmanctl store get -a shardspec.

Получение имён ключей кластера и ковша для текущего кластера #

Чтобы получить сразу все имена ключей в хранилище, выполните следующую команду:

    shardmanctl [общие_параметры] store keys
   

Список ключей может отображаться только в формате JSON. Также будут выведены псевдонимы для тех ключей, у которых они есть (за исключением shardspec и spec, так как они являются частями других ключей)

Восстановление локального каталога распределённого хранилища #

Для диагностики локального каталога распределённого хранилища выполните следующую команду:

shardmanctl [общие_параметры] store repair --data-dir путь_к_хранилищу

Эта команда выводит диагностическую информацию о локальном каталоге распределённого хранилища.

Чтобы восстановить локальное хранилище, остановите shardmand и выполните ту же команду с параметром --fix.

store convert #

Синтаксис:

     shardmanctl [общие_параметры]  store convert [-f|--file имя_файла] [-o|--output имя_файла]
   

Конвертирует исходный JSON-файл с выгрузкой хранилища в формат gostore.

-f filename
--file=filename #

Исходный файл с выгрузкой в формате JSON.

-o filename
--output-file=filename #

Файл вывода.

Вывод информации о текущей блокировке метаданных кластера #

Можно просмотреть информацию о текущих блокировках метаданных кластера, полученных любой командой:

    shardmanctl [общие_параметры] store lock -f|--format json
   

Чтобы получить отчёт в формате JSON, используйте параметр -f|--format=json (не указан выше, поскольку формат text используется по умолчанию). Если блокировка не существует, возвращает Lock not found.

Установка новой конфигурации для кластера #

Чтобы установить новую часть конфигурации кластера, выполните следующую команду:

    shardmanctl [общие_параметры] store set --alias=spec --file=spec.json
   

Поскольку spec является частью ключа данных кластера, его нельзя задать в параметре --key. Если выбранный файл не формата JSON, новая часть конфигурации не будет установлена.

Команды таблиц #

tables sharded info #

Синтаксис:

    shardmanctl [общие_параметры] tables sharded info [-t|--table имя_таблицы]
   

Получает информацию о сегментированной таблице.

-t таблица
--table=таблица #

Указывает имя таблицы в формате schema.table

tables sharded list #

Синтаксис:

    shardmanctl [общие_параметры] tables sharded list
   

Получает список всех сегментированных таблиц.

tables sharded norebalance #

Синтаксис:

    shardmanctl [общие_параметры] tables sharded norebalance
   

Получает список сегментированных таблиц с отключённой автоматической перебалансировкой.

tables sharded partmove #

Синтаксис:

    shardmanctl [общие_параметры] tables sharded partmove [-t|--table имя_таблицы] [-s|--shard имя_сегмента] [-p|--partnum число]
   

Перемещает указанную секцию сегментированной таблицы в новый сегмент.

-t таблица
--table=таблица #

Указывает имя таблицы в формате schema.table.

-p число
--partnum=число #

Указывает номер секции для перемещения.

-s имя_сегмента
--shard=имя_сегмента #

Указывает имя нового сегмента для секции.

tables sharded rebalance #

Синтаксис:

    shardmanctl [общие_параметры] tables sharded rebalance [-t|--table имя_таблицы]
   

Включает и запускает автоматическую перебалансировку данных для выбранной сегментированной таблицы.

-t таблица
--table=таблица #

Указывает имя таблицы в формате schema.table.

Команды схемы тестирования #

bench init #

Синтаксис:

shardmanctl [общие_параметры] bench init [--schema-type single|simple|shardman|custom]
[--schema-file имя_файла] [-s|--scale значение_масштабирования]  [-n|--no-vacuum]
[-F|--fillfactor значение_коэффициента_заполнения]

Инициализирует схему тестирования через pgbench. Схема может быть пользовательской или предопределённой. Создаёт таблицы схемы tpc-b и заполняет их.

--schema-type=single|simple|shardman|custom #

Тип схемы, используемый при её инициализации. Возможные значения:

  • single — схема для одиночного теста производительности PostgreSQL

  • simple — простая сегментированная схема

  • shardman — сегментированная схема, оптимизированная для Postgres Pro Shardman

  • custom — схема, инициализированная пользователем из файла --schema-file

По умолчанию: shardman.

--schema-file=file_name #

Файл с DDL-запросом для пользовательского типа схемы, который будет использоваться для создания таблиц tpc-b для pgbench: pgbench_accounts, pgbench_branches, pgbench_tellers, pgbench_history.

-s значение_масштабирования
--scale=значение_масштабирования #

Умножить количество сгенерированных строк на заданный коэффициент масштабирования.

-n
--no-vacuum #

Не выполнять очистку во время инициализации.

-F значение_коэффициента_заполнения
--fillfactor=значение_коэффициента_заполнения #

Заполнить таблицы pgbench заданным значением коэффициента заполнения.

bench run #

Синтаксис:

shardmanctl [общие_параметры] bench run [--schema-type single|simple|shardman|custom]
[-f|--file имя_файла] [-c|--client число_клиентов]  [-C|--connect] [--full-output]
[-j|--jobs число_процессов][-T|--time секунды][-t|--transactions число_транзакций]
[-s|--scale коэффициент_масштаба] [ -P | --progress секунды] [ -R | --rate скорость] [ -M | --protocol режим_запросов]
[-D|--define имя_переменной=значение]

Запускает инициализированный тест производительности через pgbench. Можно использовать скрипт pgbench по умолчанию или пользовательский скрипт из файла.

--schema-type=single|simple|shardman|custom #

Тип схемы, используемый при её инициализации (bench init). Возможные значения:

  • single — схема для одиночного теста производительности PostgreSQL

  • simple — простая сегментированная схема

  • shardman — сегментированная схема, оптимизированная для Postgres Pro Shardman

  • custom — схема, инициализированная пользователем из файла --schema-file.

По умолчанию: shardman.

-f file_name
--file=file_name #

Добавить в список выполняемых скриптов скрипт транзакции из файла имя_файла.

Дополнительно можно задать целочисленный вес после @, меняющий вероятность выбора этого скрипта относительно других. По умолчанию вес считается равным 1. (Если вам нужно передать имя скрипта, содержащее символ @, добавьте к такому имени вес, чтобы исключить неоднозначность прочтения, например filen@me@1).

-c число_клиентов
--client=число_клиентов #

Число имитируемых клиентов, то есть число одновременных сеансов базы данных.

-C
--connect #

Устанавливать новое подключение для каждой транзакции вместо одного для каждого клиента.

--full-output #

Вывести полный вывод pgbench.

-j число_процессов
--jobs=число_процессов #

Количество рабочих потоков в pgbench.

-s коэффициент_масштаба
--scale=коэффициент_масштаба #

Умножить количество сгенерированных строк на заданный коэффициент масштабирования.

-T секунды
--time=секунды #

Выполнять тест с ограничением по времени в указанное количество секунд. Значение по умолчанию — 0, что означает отсутствие ограничения по времени. Обратите внимание, что флаги -T и -t являются взаимоисключающими, и флаг -T имеет приоритет. Если задан флаг -T, флаг -t игнорируется.

-t число_транзакций
--transactions=число_транзакций #

Выполнять тест с ограничением в указанное количество транзакций на каждом клиенте. Значение по умолчанию — 10. Обратите внимание, что флаги -T и -t являются взаимоисключающими, и флаг -T имеет приоритет. Если задан флаг -T, флаг -t игнорируется.

-P секунды
--progress=секунды #

Выводить отчёт о прогрессе через заданное число секунд (сек). Выдаваемый отчёт включает время, прошедшее с момента запуска, скорость (в TPS) с момента предыдущего отчёта, а также среднее время ожидания транзакций, стандартное отклонение и количество неуспешных транзакций с момента последнего отчёта. В режиме ограничения скорости (-R) время ожидания вычисляется относительно назначенного времени запуска транзакции, а не фактического времени её начала, так что оно включает и среднее время отставания от графика. Когда параметр --max-tries включает повторение транзакций после ошибок сериализации/взаимоблокировок, в отчёт добавляется количество повторявшихся транзакций и общее число повторов.

-R скорость_передачи
--rate=скорость_передачи #

Выполнять транзакции, ориентируясь на заданную скорость, а не максимально быстро (по умолчанию). Скорость задаётся в транзакциях в секунду. Если заданная скорость превышает максимально возможную, это ограничение скорости не повлияет на результаты.

-M режим_запросов
--protocol=режим_запросов #

Протокол, выбираемый для передачи запросов на сервер:

  • simple: использовать простой протокол запросов.

  • extended: использовать расширенный протокол запросов.

  • prepared: использовать расширенный протокол запросов с подготовленными операторами.

В режиме prepared pgbench повторно использует результат разбора запроса, начиная со второй итерации, и поэтому работает быстрее, чем в других режимах.

По умолчанию: simple.

-D
--define=имя_переменной =значение #

Определить переменную для пользовательского скрипта (см. ниже). Параметр -D может добавляться неоднократно.

bench cleanup #

Синтаксис:

shardmanctl [общие_параметры] bench cleanup

Очищает базу данных схемы после тестов производительности. Удаляет таблицы tpc-b.

bench generate #

Синтаксис:

shardmanctl [общие_параметры] bench generate [-c|--config имя_файла] [-o|--output-file имя_файла]

Получает конфигурацию теста производительности из файла и генерирует bash-скрипт для создания схемы, оптимизированной для Postgres Pro Shardman, и запуска теста производительности с использованием pgbench. Файл конфигурации должен быть в формате yaml.

-c file_name
--config=file_name #

Путь к файлу конфигурации. Этот файл содержит последовательность конфигураций скрипта. Каждый скрипт должен иметь тип схемы (schema_type): single|simple|shardman|custom. Для пользовательской схемы необходимо указать schema_file с DDL-скриптом. Необязательные параметры: init_flags (набор по умолчанию: -s 1000), run_flags (набор по умолчанию: -n -P 10 -c 10 -j 4 -T 60), секции (значение по умолчанию: 50). Настоятельно рекомендуется использовать параметр -n (--no-vacuum) внутри run_flags. Пример файла конфигурации:

    benches:
    - schema_type: single
      init_flags: "-s 3"
      run_flags: "-n -P 10 -c 10 -j 4 -T 10"
    - schema_type: simple
      init_flags: "-s 4"
      run_flags: "-n -P 10 -c 20 -j 4 -T 10"
      partitions: 100
    - schema_type: shardman
      init_flags: "-s 5"
      run_flags: "-n -P 10 -c 20 -j 4 -T 10"
    - schema_type: custom
      init_flags: "-s 6"
      schema_file: "schema.psql"
                            
-o file_name
--output-file=file_name #

Файл вывода. По умолчанию: stdout.

Команды TPC-C #

TPC-C — это тест производительности для систем оперативной обработки транзакций (OLTP). Он имитирует работу оптового поставщика с несколькими географически распределёнными точками продаж и соответствующими им складами. Каждый региональный склад обслуживает десять точек продаж. Каждая точка продаж обслуживает 3000 клиентов. Все склады хранят запасы по 100000 наименований товаров. Для получения дополнительной информации обратитесь к сайту TPC-C.

Важно

Команды shardmanctl tpcc требуют установки версии go-tpc для Postgres Pro Shardman из репозитория Postgres Pro Shardman.

tpcc prepare #

Синтаксис:

shardmanctl [общие_параметры] tpcc prepare [--warehouses число_складов] [-T|--threads число_потоков] [--parts число_секций] [--no-check] [--dropdata]

Создаёт секционированные таблицы для теста производительности TPC-C и загружает тестовые данные.

--warehouses=число_складов #

Указывает количество складов в тестовых данных.

По умолчанию: 10.

-T число_потоков
--threads=число_потоков #

Указывает количество потоков для загрузки тестовых данных.

По умолчанию: 1.

--parts=число_секций #

Создаёт секционированные таблицы TPC-C с указанным количеством секций.

По умолчанию: 0 (число секций равняется числу групп репликации).

--no-check #

Пропустить проверку согласованности после загрузки данных.

По умолчанию: true.

--dropdata #

Удаляет существующие таблицы TPC-C перед созданием новых таблиц и загрузкой тестовых данных.

По умолчанию: false.

tpcc run #

Синтаксис:

shardmanctl [общие_параметры] tpcc run [--warehouses число_складов] [-T|--threads число_потоков] [--time длительность] [--interval интервал] [--wait] [--weight коэффициент]

Запускает тест производительности TPC-C. Эта команда не получает блокировку метаданных кластера.

--warehouses=число_складов #

Указывает количество складов в тестовых данных. Это значение должно совпадать с количеством складов, указанным в команде tpcc prepare.

По умолчанию: 10.

-T число_потоков
--threads=число_потоков #

Указывает количество потоков для выполнения теста производительности.

По умолчанию: 1.

--time=длительность #

Указывает время выполнения теста производительности, например: 30s, 5m, 2h.

По умолчанию: 1m.

--interval=интервал #

Указывает интервал вывода отчёта о прогрессе.

По умолчанию: 10s.

--wait #

Имитирует время, которое требуется пользователю на обдумывание и отправку ответа (время размышления и время ввода с клавиатуры). Результаты получаются более реалистичными, но пропускная способность снижается.

По умолчанию: false.

--weight=коэффициент #

Указывает взвешенное распределение типов транзакций теста производительности. Представляет собой разделённый запятыми список коэффициентов для каждого типа транзакции: NewOrder, Payment, OrderStatus, Delivery, StockLevel. Сумма коэффициентов в списке должна составлять 100.

Требуемое соотношение типов транзакций в тесте производительности достигается путём единообразного выбора типа каждой новой транзакции случайным образом из указанного взвешенного распределения.

По умолчанию: 45,43,4,4,4.

tpcc cleanup #

Синтаксис:

shardmanctl [общие_параметры] tpcc cleanup

Удаляет все таблицы TPC-C.

Команды TPC-H #

TPC-H — это тест производительности для систем поддержки принятия решений. Он состоит из набора бизнес-ориентированных случайных запросов и параллельно выполняемых операций по изменению данных. Для получения дополнительной информации обратитесь к сайту TPC-H.

Важно

Команды shardmanctl tpch требуют установки версии go-tpc для Postgres Pro Shardman.

tpch prepare #

Синтаксис:

shardmanctl [общие_параметры] tpch prepare [--sf коэффициент_масштаба] [-T|--threads число_потоков] [--parts число_секций]

Создаёт таблицы TPC-H и загружает тестовые данные.

--sf=коэффициент_масштаба #

Указывает коэффициент масштаба, который определяет размер набора данных для теста производительности TPC-H.

По умолчанию: 1. Это значение примерно соответствует 1 ГБ несжатых данных.

-T число_потоков
--threads=число_потоков #

Указывает количество потоков для загрузки данных.

По умолчанию: 1.

--parts=число_секций #

Создаёт секционированные таблицы TPC-H с указанным количеством секций.

По умолчанию: 0 (число секций равняется числу групп репликации).

tpch run #

Синтаксис:

shardmanctl [общие_параметры] tpch run [--sf коэффициент_масштаба] [-T|--threads число_потоков] [--time длительность] [--count число_запросов] [--queries список_запросов]

Запускает тест производительности TPC-H. Эта команда не получает блокировку метаданных кластера.

--sf=коэффициент_масштаба #

Указывает коэффициент масштаба. Это значение должно совпадать со значением, использованным в команде tpch prepare.

По умолчанию: 1.

-T число_потоков
--threads=число_потоков #

Указывает количество потоков для выполнения теста производительности.

По умолчанию: 1.

--time=длительность #

Ограничивает время выполнения теста производительности. Например: 30s, 5m, 2h, 2h30m. 0 означает, что используется только лимит, указанный в параметре --count.

По умолчанию: 0.

--count=число #

Ограничивает количество выполняемых запросов в одном потоке. 0 означает, что используется только лимит, указанный в параметре --time.

По умолчанию: 22.

--queries=список_запросов #

Задаёт список запросов для выполнения через запятую. Например: q1,q5,q13. Если параметр не задан, выполняются все запросы.

tpch cleanup #

Синтаксис:

shardmanctl [общие_параметры] tpch cleanup

Удаляет все таблицы TPC-H.

Команды очистки #

cleanup #

Синтаксис:

shardmanctl [общие_параметры] cleanup [-p|--processrepgroups] --after-node-operation|--after-rebalance

Выполняет очистку после команды nodes add или cluster rebalance.

-p имена_узлов
--processrepgroups=имена_узлов #

Выполняет фактическую очистку. По умолчанию утилита показывает только действия, которые необходимо выполнить во время фактической очистки. За дополнительными сведениями обратитесь к разделу Подразделу «Выполнение очистки».

--after-node-operation #

Выполняет очистку после сбоя команды nodes add.

--after-rebalance #

Выполнить очистку после сбоя команды cluster rebalance.

Выполнение очистки #

По умолчанию cleanup работает только в режиме отчёта, т. е. следующая команда покажет только действия, которые необходимо выполнить во время фактической очистки:

    shardmanctl [общие_параметры] cleanup --after-node-operation|--after-rebalance
   

Чтобы выполнить фактическую очистку, запустите следующую команду:

    shardmanctl [общие_параметры] cleanup -p|--processrepgroups --after-node-operation|--after-rebalance
   

Команды схемы #

schema verify #

Синтаксис:

     shardmanctl [общие_параметры] schema verify [--filter partitions|extensions|tables|roles|schemas|sequences|tablespace|language|collations]
   

Проверяет, что в схеме содержатся правильные данные о секциях, а также что они расположены на тех же ведущих узлах, что и соответствующие секции совмещённой таблицы. Также проверяет, что у всех сегментов одинаковые глобальные и сегментированные таблицы, глобальные роли, глобальные последовательности, схемы и расширения, и что имена сегментов отличаются от их локальных версий.

--filter partitions|расширение|таблицы|roles|schemas|sequences #

Указывает, какие проверки запустить. Если не задан, запускаются все проверки.

По умолчанию: не задан.

schema list #

Синтаксис:

     shardmanctl [общие_параметры] schema list [-f|--format text|json]
   

Показывает список сохранённых дампов схемы shardman.

-f=text|json
--format=text|json #

Указывает выходной формат.

По умолчанию: text.

schema show #

Синтаксис:

     shardmanctl [общие_параметры] shard show --shard имя_сегмента --dump-id ид_дампа
   

Выводит дамп с указанным идентификатором для заданного сегмента.

--shard=имя_сегмента #

Указывает имя сегмента.

--dump-id=ид_дампа #

Идентификатор дампа.

schema restore #

Синтаксис:

     shardmanctl [общие_параметры] schema restore --dump-id ид_дампа [--shards список_сегментов_через_запятую] [--smart]
   

Восстанавливает схему shardman из дампа с указанным идентификатором.

--dump-id=ид_дампа #

Идентификатор дампа.

--shards=список_сегментов_через_запятую #

Задаёт список сегментов для восстановления. Если значение не задано, восстанавливаются все сегменты кластера. Дамп должен содержать все сегменты, которые необходимо восстановить.

--smart #

Восстанавливает схему shardman из системных таблиц PostgreSQL, если была нарушена целостность схемы. Однако в некоторых случаях (например, при потере данных на всех сегментах) полное рабочее восстановление гарантировать невозможно, поэтому рекомендуется использовать частично восстановленную схему в качестве источника данных и продолжить восстановление на другой работающий кластер Postgres Pro Shardman. Таблицы, подлежащие восстановлению, при этом должны быть пустыми, что делает частичное восстановление таблиц невозможным.

schema dump #

Синтаксис:

     shardmanctl [общие_параметры] schema dump [--no-verify]
   

Создаёт дамп схемы shardman в распределённом хранилище с ключом shardman/имя_кластера/shardman_schema_dumps/ид_дампа. Может быть сохранено не более 10 дампов. В случае превышения этого количества удаляется самый старый дамп. Если новый дамп совпадает с одним из существующих, остаётся только более новый из них.

--no-verify #

Пропустить проверку согласованности дампов.

По умолчанию: отключено (проверка не пропускается).

Команды демона конфигурации #

daemon set #

Синтаксис:

shardmanctl [общие_параметры] daemon set [--session-log-level debug | info | warn | error] [--session-log-format json|text] [--session-log-nodes]

Позволяет обновить параметры протоколирования «на лету».

--session-log-level debug | info | warn | error #

Указывает уровень детализации сообщений: debug, info, warn или error.

--session-log-format json|text #

Указывает выходной формат журнала: text или json.

--session-log-nodes #

Указывает узел, которые необходимо обновить. Если не задан, параметры обновляются на всех узлах.

По умолчанию: все узлы.

daemon check #

Синтаксис:

shardmanctl [общие_параметры] daemon check -n|--nodes имя_узла:порт

Проверяет shardmand на узлах.

-n имя_узла:порт
--nodes=имя_узла:порт #

Список узлов, на которых будет проведена проверка shardmand. За подробностями обратитесь к Подразделу «Проверка работы службы shardmand на узлах».

Проверка работы службы shardmand на узлах #

Команда daemon check не только проверяет, запущена ли служба shardmand на указанных узлах, но и гарантирует, что эти службы настроены для того же кластера, что и shardmanctl:

    shardmanctl [общие_параметры] daemon check -n|--nodes имена_узлов
   

Команды файлов данных #

Команда datactl repack #

Синтаксис:

shardmanctl [общие_параметры] datactl repack
    -s|--shard имя_сегмента
    -t|--tablespace имя_табличного_пространства
    --t-calg целевой_алгоритм_сжатия
    (--target целевой_путь | --in-place)
    [-n|--node имя_узла]
    [-c|--calg алгоритм_сжатия]
    [--clevel уровень_сжатия]
    [--zero-on-error]
    [-f|--file файл]
    [--ssh-key ключ]
    [--ssh-user пользователь]
    [--ssh-port порт]

Меняет алгоритм сжатия и/или уровень сжатия файлов CFS на узлах сегмента. Команда выполняет следующие шаги:

  1. Останавливает указанный сегмент или узел.

  2. Одновременно запускает по SSH команду pgpro_datactl repack на узлах указанного сегмента или на указанном узле.

  3. Запускает указанный сегмент или узел.

-s имя_сегмента
--shard имя_сегмента #

Указывает имя сегмента, на котором требуется перепаковать файлы CFS.

-t имя_табличного_пространства
--tablespace имя_табличного_пространства #

Указывает имя табличного пространства, которое требуется перепаковать.

--t-calg целевой_алгоритм_сжатия #

Указывает целевой алгоритм сжатия. Возможные значения:

  • pglz

  • lz4

  • zstd

  • zlib

  • none

--target целевой_путь #

Указывает путь к каталогу для перепакованных файлов. Требуется указать либо этот параметр, либо --in-place.

--in-place #

Если указан этот параметр, перепакованные файлы помещаются в исходном каталоге. Требуется указать либо этот параметр, либо --target.

Предупреждение

При использовании этого параметра все исходные файлы будут удалены из исходного каталога, поэтому применяйте его с осторожностью.

-n узел
--node узел #

Указывает один узел, на котором необходимо запустить команду datactl repack. Если узел не указан, команда запускается на всех узлах сегмента.

-c алгоритм_сжатия
--calg алгоритм_сжатия #

Указывает текущий алгоритм сжатия. Если параметр не указан, команда datactl repack возьмёт это значение из файла pg_compression.

--clevel уровень_сжатия #

Указывает уровень сжатия для выбранного целевого алгоритма сжатия. Возможные значения зависят от указанного алгоритма сжатия:

  • 0–9 для zlib

  • 1 для pglz

  • 0–12 для lz4

  • -131072–22 для zstd

При значении 0 для всех алгоритмов сжатия устанавливается уровень сжатия по умолчанию, равный 1.

По умолчанию: 1.

--zero-on-error #

При указании этого параметра все повреждённые блоки заменяются нулями, что предотвращает аварийное завершение процесса или появление сообщений об ошибках.

-f файл
--file файл #

Записывает вывод команды pgpro_datactl в указанный файл вместо stdout.

--ssh-key ключ #

Задаёт путь к закрытому ключу SSH.

По умолчанию: $HOME/.ssh/id_rsa.

--ssh-user пользователь #

Указывает имя пользователя SSH.

По умолчанию: postgres.

--ssh-port порт #

Указывает порт SSH.

По умолчанию: 22.

Команда datactl unpack #

Синтаксис:

shardmanctl [общие_параметры] datactl unpack
    -s|--shard имя_сегмента
    -t|--tablespace имя_табличного_пространства
    --target целевой_путь
    [-n|--node имя_узла]
    [-c|--calg алгоритм_сжатия]
    [--zero-on-error]
    [-f|--file файл]
    [--ssh-key ключ]
    [--ssh-user пользователь]
    [--ssh-port порт]

Распаковывает файлы CFS на узлах сегмента. Команда выполняет следующие шаги:

  1. Останавливает указанный сегмент или узел.

  2. Одновременно запускает по SSH команду pgpro_datactl unpack на узлах указанного сегмента или на указанном узле.

  3. Запускает указанный сегмент или узел.

-s имя_сегмента
--shard имя_сегмента #

Указывает имя сегмента, на котором требуется распаковать файлы CFS.

-t имя_табличного_пространства
--tablespace имя_табличного_пространства #

Указывает имя табличного пространства, которое требуется распаковать.

--target целевой_путь #

Указывает выходной каталог для распакованных файлов.

-n узел
--node узел #

Указывает один узел, на котором необходимо запустить команду datactl unpack. Если узел не указан, команда запускается на всех узлах сегмента.

-c алгоритм_сжатия
--calg алгоритм_сжатия #

Указывает текущий алгоритм сжатия. Если параметр не указан, команда datactl unpack возьмёт это значение из файла pg_compression.

--zero-on-error #

При указании этого параметра все повреждённые блоки заменяются нулями, что предотвращает аварийное завершение процесса или появление сообщений об ошибках.

-f файл
--file файл #

Записывает вывод команды pgpro_datactl в указанный файл вместо stdout.

--ssh-key ключ #

Задаёт путь к закрытому ключу SSH.

По умолчанию: $HOME/.ssh/id_rsa.

--ssh-user пользователь #

Указывает имя пользователя SSH.

По умолчанию: postgres.

--ssh-port порт #

Указывает порт SSH.

По умолчанию: 22.

Команда datactl stat #

Синтаксис:

shardmanctl [общие_параметры] datactl stat
    -s|--shard имя_сегмента
    -t|--tablespace имя_табличного_пространства
    [-f|--file файл]
    [--ssh-key ключ]
    [--ssh-user пользователь]
    [--ssh-port порт]

Собирает статистику по сжатым табличным пространствам в кластере. Команда выполняет следующие шаги:

  1. Для каждого сегмента кластера:

    1. Подключается к главному серверу сегмента и получает список сжатых табличных пространств на сервере.

      В список не включаются табличные пространства pg_default, pg_global и pg_temp_default.

    2. Подключается к главному серверу сегмента по SSH и затем запускает команду pgpro_datactl stat для каждого табличного пространства из списка выше.

  2. Собирает в единое целое вывод каждой отдельной команды pgpro_datactl.

    Команда ничего не выводит, если в кластере нет сжатых табличных пространств.

Команда datactl stat обрабатывает сегменты последовательно. Если во время обработки сегмента возникает ошибка, то выполнение команды прерывается и оставшиеся сегменты не обрабатываются.

-s имя_сегмента
--shard имя_сегмента #

Указывает имя сегмента, для которого нужно собрать статистику. Другие сегменты не будут обработаны.

-t имя_табличного_пространства
--tablespace имя_табличного_пространства #

Указывает имя табличного пространства, для которого нужно собрать статистику. Другие табличные пространства не будут обработаны.

-f файл
--file файл #

Записывает вывод команды pgpro_datactl в указанный файл вместо stdout.

--ssh-key ключ #

Задаёт путь к закрытому ключу SSH.

По умолчанию: $HOME/.ssh/id_rsa.

--ssh-user пользователь #

Указывает имя пользователя SSH.

По умолчанию: postgres.

--ssh-port порт #

Указывает порт SSH.

По умолчанию: 22.

Команда datactl tablespaces #

Синтаксис:

shardmanctl [общие_параметры] datactl tablespaces
    [-f|--format text|json]

Выводит следующую информацию о табличных пространствах в кластере Postgres Pro Shardman из представления shardman.tablespaces:

  • имя табличного пространства

  • имя сегмента

  • путь к каталогу с объектами табличного пространства

  • OID табличного пространства (SPCOID)

-f text|json
--format text|json #

Указывает выходной формат.

По умолчанию: text.

Другие команды #

getconnstr #

Синтаксис:

shardmanctl [общие_параметры] getconnstr --all shard -s |--shard имя_сегмента

Получает строку подключения libpq для подключения к кластеру в роли администратора.

--all #

Добавляет информацию о репликах в результат команды getconnstr.

-s имя_сегмента
--shard=имя_сегмента #

Сформировать строку соединения только для указанного сегмента. Если не задано, строка соединения формируется для всех сегментов.

forall #

Синтаксис:

shardmanctl [общие_параметры] forall --sql запрос[ --sql запрос[ --sql запрос ...]] [--twophase] [-d --dbname] [--no-transaction] [--format text|json]

Выполнение оператора SQL для всех групп репликации в кластере Postgres Pro Shardman.

--sql запрос #

Указывает оператор, который должен быть выполнен.

--twophase #

Указывает использовать протокол двухфазной фиксации для выполнения оператора.

-d
--dbname #

Задаёт базу данных, для которой запустить запрос. Если не задан, используется значение по умолчанию.

По умолчанию: postgres.

--no-transaction #

Позволяет выполнять команды вне блока транзакции, например, VACUUM.

--format text|json #

Указывает выходной формат.

По умолчанию: text.

cluster rebalance

Синтаксис:

shardmanctl [общие_параметры] cluster rebalance [-f|--force]

Выполняет перебалансировку сегментированных таблиц. По завершении команды создаётся дамп.

-f
--force #

Выполнить принудительную перебалансировку сегментированных таблиц, секции которых были перемещены вручную.

cluster upgrade #

Синтаксис:

shardmanctl [общие_параметры] cluster upgrade  [--with-restart] [-y]

Обновляет расширение shardman базы данных и изменяет параметры pg_foreign_server.

--with-restart #

Перезапустить кластер перед обновлением.

-y #

Подтверждает обновление вместо того, чтобы запрашивать подтверждение от стандартного ввода.

script #

Синтаксис:

shardmanctl [общие_параметры] script -s|--shard имя_сегмента[[-f|--file имя_файла][--sql запрос][--format text|json]]

Выполняет нетранзакционные команды из файла или командной строки на указанных сегментах.

-s имя_сегмента
--shard=имя_сегмента #

Указывает имя хоста или IP-адрес сегмента, на котором требуется выполнить нетранзакционные команды.

-f file_name
--file=file_name #

Добавляет в список выполняемых скриптов скрипт транзакции из файла имя_файла.

--sql запрос #

Указывает оператора для выполнения. Нельзя использовать с параметром -f.

--format text|json #

Указывает выходной формат.

По умолчанию: text.

psql #

Синтаксис:

shardmanctl [общие_параметры] psql -s |--shard имя_сегмента [-c|--command] [-t|--tuples-only]

Без заданных параметров подключается к первому доступному ведущему узлу.

-s имя_сегмента
--shard=имя_сегмента #

Имя сегмента. Если оно указано, подключение происходит к текущему ведущему узлу сегмента.

-c команда
--command=команда #

Указывает, какую SQL-команду выполнить. Может использоваться неоднократно, если задать для параметра значение несколько раз.

-t строка
--tuples-only=строка #

Включает только строковый вывод.

history #

Синтаксис:

shardmanctl [общие_параметры] ] history [--reverse | -r] [-f|--format json|text] [-l|--limit число_команд]

Выводит историю команд, которые привели к изменению кластера. По умолчанию отсортированы от самых недавних к самым старым.

-r
--reverse #

Переключает на сортировку по возрастанию.

-f json|text
--format=json|text #

Указывает выходной формат.

По умолчанию: text.

-l
--limit=число_команд #

Лимит числа выводимых последних команд. Максимальное число — 200.

По умолчанию: 20.

--log-format json|text #

Указывает выходной формат: text или json.

Общие параметры #

Общие параметры shardmanctl — это необязательные параметры, не являющиеся специфичными для данной утилиты. Они определяют имя кластера и некоторые другие параметры. По умолчанию shardmanctl использует имя кластера cluster0. Уровень журнала по умолчанию — info.

-h, --help #

Показывает краткую справочную информацию.

--cluster-name cluster_name #

Указывает имя кластера, где будет работать. По умолчанию указывается имя кластера cluster0.

--log-level level #

Задаёт уровень детализации журнала. Возможные значения уровня (от минимального до максимального): error, warn, info и debug. По умолчанию используется info.

--monitor-port число #

Указывает порт HTTP-сервера shardmand для метрик и точек трассировки. По умолчанию — 15432.

--api-port число #

Указывает порт для API HTTP-сервера shardmand. По умолчанию — 15432.

--version #

Показывает информацию о версии shardman-utils.

--pg-major #

Текущая версия PostgreSQL.

--bin-path #

Путь до двоичных утилит.

--probackup-path #

Путь к pg_probackup.

--server-host #

Имя хоста, к которому shardmand может подключиться извне. Также используется для идентификации узла хранилища.

-y, --yes #

Автоматически подтверждает операцию. Может применяться для любой команды, но подтверждение требуется только для тех команд, описания которых в данной главе содержат этот параметр.

Параметры etcd #

Параметры etcd приложения shardmanctl определяют параметры подключения к etcd, используемые командой shardmanctl store dump для миграции данных из etcd.

--session-timeout секунды #

Указывает таймаут блокировок в сеансе shardmanctl. Если нет связи между shardmanctl и хранилищем etcd в течение указанного количества секунд, блокировка снимается. Значение по умолчанию — 30.

--store-endpoints строка #

Задаёт адрес/порт etcd в формате: http[s]://адрес[:порт](,http[s]://адрес[:порт])*. Значение по умолчанию — http://127.0.0.1:2379.

--store-ca-file строка #

Проверяет сертификат сервера хранилища etcd с поддержкой HTTPS, используя этот пакет CA.

--store-cert-file строка #

Указывает файл сертификата для идентификации клиента в хранилище etcd.

--store-key строка #

Указывает файл закрытого ключа для идентификации клиента в хранилище etcd.

--store-timeout длительность #

Задаёт тайм-аут для запроса etcd. Значение по умолчанию — 5 секунд.

Переменные окружения #

SDM_BACKUP_MODE #

Аналог параметра --backup-mode.

SDM_BACKUP_PATH #

Аналог параметра --backup-path.

SDM_CLUSTER_NAME #

Аналог параметра --cluster-name.

SDM_FILE #

Аналог параметра --file в команде config update.

SDM_LOG_LEVEL #

Аналог параметра --log-level.

SDM_NODES #

Аналог параметра --nodes в командах nodes add и nodes rm.

SDM_SPEC_FILE #

Аналог параметра --spec-file в команде init.

SDM_PG_MAJOR #

Аналог параметра --pg-major.

SDM_BIN_PATH #

Аналог параметра --bin-path.

SDM_PROBACKUP_PATH #

Аналог параметра --probackup-path.

SDM_SERVER_HOST #

Аналог параметра --server-host.

Примеры #

Инициализация кластера

Для инициализации кластера Postgres Pro Shardman с именем cluster0, проверьте правильность параметров в файле конфигурации sdmspec.json и выполните:

$ shardmanctl init -f sdmspec.json

Получение строки подключения к кластеру

Чтобы получить строку подключения для кластера Postgres Pro Shardman с именем cluster0, выполните:

 $ shardmanctl getconnstr
 
 dbname=postgres host=n1,n4,n2,n1,n1,n2,n4,n3 password=yourpasswordhere port=5432,5433,5432,5433,5432,5433,5432,5433 user=postgres
 
 

Чтобы добавить информацию о репликах в результат команды getconnstr, используется параметр --all.

Получение статуса кластера

Ниже представлен пример вывода статуса из shardmanctl со статусами OK и Error:

        $ shardmanctl status --filter store,shardmand,rg --sort=node
        
┌──────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                            == STORE STATUS ==                                            │
├────────────┬─────────────────────────────────────────────┬───────────────────────┬───────────────────────┤
│   STATUS   │                   MESSAGE                   │   REPLICATION GROUP   │          NODE         │
├────────────┼─────────────────────────────────────────────┼───────────────────────┼───────────────────────┤
│     OK     │ store is OK                                 │                       │                       │
└────────────┴─────────────────────────────────────────────┴───────────────────────┴───────────────────────┘

        Или в случае ошибок:
┌──────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                            == STORE STATUS ==                                            │
├────────────┬─────────────────────────────────────────────┬───────────────────────┬───────────────────────┤
│   STATUS   │                   MESSAGE                   │   REPLICATION GROUP   │          NODE         │
├────────────┼─────────────────────────────────────────────┼───────────────────────┼───────────────────────┤
│     Error  │ store on node node1 is unavailable          │                       │                       │
└────────────┴─────────────────────────────────────────────┴───────────────────────┴───────────────────────┘
│     Error  │ store data conflict in keys: "key1", "key2" │                       │                       │
└────────────┴─────────────────────────────────────────────┴───────────────────────┴───────────────────────┘

┌──────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                          == SHARDMAND STATUS ==                                          │
├────────────┬─────────────────────────────────────────────┬───────────────────────┬───────────────────────┤
┌──────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                          == SHARDMAND STATUS ==                                          │
├────────────┬─────────────────────────────────────────────┬───────────────────────┬───────────────────────┤
│   STATUS   │                   MESSAGE                   │   REPLICATION GROUP   │          NODE         │
├────────────┼─────────────────────────────────────────────┼───────────────────────┼───────────────────────┤
│     OK     │ shardmand on node 56d819b4e9e4 is OK        │                       │      56d819b4e9e4     │
├────────────┼─────────────────────────────────────────────┼───────────────────────┼───────────────────────┤
│     OK     │ shardmand on node 6d0aabd50acc is OK        │                       │      6d0aabd50acc     │
└────────────┴─────────────────────────────────────────────┴───────────────────────┴───────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                       == REPLICATION GROUP STATUS ==                                      │
├────────────┬──────────────────────────────────────────────┬───────────────────────┬───────────────────────┤
│   STATUS   │                    MESSAGE                   │   REPLICATION GROUP   │          NODE         │
├────────────┼──────────────────────────────────────────────┼───────────────────────┼───────────────────────┤
│     OK     │ Replication group clover-1-56d819b4e9e4 is   │ clover-1-56d819b4e9e4 │                       │
│            │ OK                                           │                       │                       │
├────────────┼──────────────────────────────────────────────┼───────────────────────┼───────────────────────┤
│            │ Replication connection is down for slave     │                       │                       │
│    Error   │ 6d0aabd50acc:5442 in replication group       │ clover-1-6d0aabd50acc │   6d0aabd50acc:5442   │
│            │ clover-1-6d0aabd50acc                        │                       │                       │
└────────────┴──────────────────────────────────────────────┴───────────────────────┴───────────────────────┘
┌─────────────────────────────────────────────────────────────────────────────────────────┐
│                           == RESTART REQUIRED PARAMS STATUS ==                          │
├──────────┬──────────────────────────────────────┬───────────────────┬───────────────────┤
│  STATUS  │                MESSAGE               │ REPLICATION GROUP │        NODE       │
├──────────┼──────────────────────────────────────┼───────────────────┼───────────────────┤
│    OK    │     No pending restart parameters    │      shard-1      │       shrn1       │
├──────────┼──────────────────────────────────────┼───────────────────┼───────────────────┤
│    OK    │     No pending restart parameters    │      shard-2      │       shrn4       │
└──────────┴──────────────────────────────────────┴───────────────────┴───────────────────┘
          
        

Получение статуса резервного кластера

Ниже представлен пример вывода статуса из shardmanctl со статусами OK и Error для кластера в режиме резерва. Он также показывает, до какой точки синхронизации была восстановлена каждая БД и нужно ли ждать восстановления до следующей точки синхронизации. Для резервного кластера вывод будет выглядеть так (в отличие от того, что будет получено командой --filter):

        $ shardmanctl status
        
┌──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                                                                                                        == STANDBY CLUSTER STATUS ==                                                                                                                                                                      │
├─────────────────────────────┬──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─────────────────────────────────────────────────────────┬─────────────────────────────────────────────────────────┤─────────────────────────────────────────────────────┤
│            STATUS           │                                                      MESSAGE                                                     │                           NODE                          │                    REPLICATION GROUP                    │        LSN_DIFF          │        TIME_DIFF         │
├─────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┤──────────────────────────┤──────────────────────────┤
│           WARNING           │ Instance recovered at an older syncpoint with CSN 1754916674425273000; last replay LSN is 0/1189F0A0, last found │                          shrn1r                         │                         shard-1                         │          25.75MB         │           162            │
│                             │                                            syncpoint LSN is 0/11CA0588                                           │                                                         │                                                         │                          │                          │
├─────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┤──────────────────────────┤──────────────────────────┤
│              OK             │                          Instance recovered at a syncpoint with CSN 1754916734406196000                          │                          shrn2r                         │                         shard-2                         │          18.8MB          │           102            │
├─────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────│──────────────────────────┤──────────────────────────┤
│           WARNING           │ Instance recovered at an older syncpoint with CSN 1754916674425273000; last replay LSN is 0/157A3618, last found │                          shrn3r                         │                         shard-3                         │          277.1MB         │           162            │
│                             │                                            syncpoint LSN is 0/233CEB70                                           │                                                         │                                                         │                          │                          │
├─────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┤──────────────────────────┤──────────────────────────┤
│           WARNING           │ Instance recovered at an older syncpoint with CSN 1754916674425273000; last replay LSN is 0/16C743C8, last found │                          shrn4r                         │                         shard-4                         │          277.1MB         │           162            │
│                             │                                            syncpoint LSN is 0/2616C078                                           │                                                         │                                                         │                          │                          │
├─────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┤──────────────────────────┤──────────────────────────┤
│           WARNING           │ Instance recovered at an older syncpoint with CSN 1754916674425273000; last replay LSN is 0/1AB9A798, last found │                          shrn5r                         │                         shard-5                         │          277.1MB         │           162            │
│                             │                                            syncpoint LSN is 0/2DF8F348                                           │                                                         │                                                         │                          │                          │
├─────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┤──────────────────────────┤──────────────────────────┤
│              OK             │                          Instance recovered at a syncpoint with CSN 1754916734406196000                          │                          shrn6r                         │                         shard-6                         │          18.8MB          │           102            │
└─────────────────────────────┴──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────┘


          
        

Для формата json:

shardmanctl status --format json
[
 {
  "Title": "STANDBY CLUSTER STATUS",
  "Messages": [
   {
    "Status": "WARNING",
    "Message": "Instance recovered using catchup, need to wait for recovery to the next syncpoint",
    "Node": "shrn1r",
    "Shard": "shard-1"
   },
   {
    "Status": "OK",
    "Message": "Instance recovered at a syncpoint with CSN 1754917034419818000",
    "Node": "shrn2r",
    "Shard": "shard-2"
   },
   {
    "Status": "OK",
    "Message": "Instance recovered at a syncpoint with CSN 1754917034419818000",
    "Node": "shrn3r",
    "Shard": "shard-3"
   },
   {
    "Status": "OK",
    "Message": "Instance recovered at a syncpoint with CSN 1754917034419818000",
    "Node": "shrn4r",
    "Shard": "shard-4"
   },
   {
    "Status": "OK",
    "Message": "Instance recovered at a syncpoint with CSN 1754917034419818000",
    "Node": "shrn5r",
    "Shard": "shard-5"
   },
   {
    "Status": "OK",
    "Message": "Instance recovered at a syncpoint with CSN 1754917034419818000",
    "Node": "shrn6r",
    "Shard": "shard-6"
   }
  ]
 }
]

LSN_DIFF показывает разницу между последним применённым LSN на основном экземпляре и на резервном. TIME_DIFF показывает, сколько времени в секундах прошло после создания текущей применённой на резервном кластере точки синхронизации.

Изменение конфигурации сегмента

Сначала получите список доступных ключей в хранилище, используя следующую команду:

      $ shardmanctl store keys
        
$ shardmanctl store keys

{
 "Key": "shardman/cluster0/biha/cluster/shard-1/clusterdata"
}{
 "Key": "shardman/cluster0/biha/cluster/shard-1/keepers/info/keeper_1"
}{
 "Key": "shardman/cluster0/biha/cluster/shard-2/clusterdata"
}{
 "Key": "shardman/cluster0/biha/cluster/shard-2/keepers/info/keeper_1"
}{
 "Key": "shardman/cluster0/data/cluster",
 "Alias": "cluster"
}{
 "Key": "shardman/cluster0/data/cluster/revisions"
}{
 "Key": "shardman/cluster0/data/cluster/revisions/2024-10-31T09:29:26"
}{
 "Key": "shardman/cluster0/data/ladle",
 "Alias": "ladle"
}{
 "Key": "shardman/cluster0/data/repgroups",
 "Alias": "repgroups"
}
        
      

Получите конфигурацию сегмента из хранилища и сохраните её в файле shardspec.json, используя команду

       $ shardmanctl store get -a shardspec -f shardspec.json
     

Примените необходимые изменения и загрузите новую конфигурацию командой shardmanctl config update. Учтите, что параметр shardman.config_uuid удаляется в команде shardmanctl store get -a shardspec, а не в shardmanctl store get -k full/path/to/clusterspec; использование конфигурации с существующим shardman.config_uuid приведёт к конфликту.

Важно

Не используйте команду store set для обновления конфигураций кластера, поскольку она не применяет новую конфигурацию ко всем узлам, а только записывает её в хранилище. Для текущего примера с конфигурацией сегмента допустимо выполнение shardmanctl config update или shardmanctl set.

Для перепроверки можно получить ключ кластера с новой ShardSpec по полному имени ключа (которое было показано ранее командой store keys):

      $ shardmanctl store get -k shardman/cluster0/data/cluster
        
{
  "FormatVersion": 1,
  "Spec": {
    "PgSuAuthMethod": "md5",
    "PgSuPassword": "12345",
    "PgSuUsername": "postgres",
    "PgReplAuthMethod": "md5",
    "PgReplPassword": "12345",
    "PgReplUsername": "repluser",
    "ShardSpec": {
      ...
}
        
      

Добавление узлов в кластер

Чтобы добавить узлы n1,n2, n3 и n4 в кластер, выполните:

$ shardmanctl nodes add -n n1,n2,n3,n4

Узлы n1,n2, n3 and n4 устанавливаются как ведущие для репликационных групп. После этого можно вывести топологию кластера:

$ shardmanctl cluster topology

┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-1, RGID - 1 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n1    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-2, RGID - 2 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n2    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-3, RGID - 3 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n3    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-4, RGID - 4 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n4    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘

Для добавления новой реплики выполните команду:

shardmanctl shard -s shard-1 add -n n2

Это создаст кластер со следующей топологией:

$ shardmanctl cluster topology

┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-1, RGID - 1 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n1    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n2    │         5433        │       keeper_2      │       FOLLOWER      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-2, RGID - 2 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n2    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-3, RGID - 3 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n3    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
┌───────────────────────────────────────────────────────────────────────────────────────────────────┐
│                             == REPLICATION GROUP shard-4, RGID - 4 ==                             │
├───────────┬─────────────────────┬─────────────────────┬─────────────────────┬─────────────────────┤
│    HOST   │         PORT        │        KEEPER       │        STATUS       │       PRIORITY      │
├───────────┼─────────────────────┼─────────────────────┼─────────────────────┼─────────────────────┤
│     n4    │         5432        │       keeper_1      │      LEADER_RW      │       NOT SET       │
└───────────┴─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘

Удаление узлов из кластера

Чтобы удалить узлы n1 и n2 из кластера cluster0, выполните:

      $ shardmanctl nodes rm -n n1,n2
    

Выполнение запроса во всех группах репликации

Чтобы выполнить запрос select version() во всех группах репликации, используйте:

 $ shardmanctl forall --sql 'select version()'
 
 Node 1 says:
 [PostgreSQL 13.1 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 9.3.0-17ubuntu1~20.04) 9.3.0, 64-bit]
 Node 4 says:
 [PostgreSQL 13.1 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 9.3.0-17ubuntu1~20.04) 9.3.0, 64-bit]
 Node 3 says:
 [PostgreSQL 13.1 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 9.3.0-17ubuntu1~20.04) 9.3.0, 64-bit]
 Node 2 says:
 [PostgreSQL 13.1 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 9.3.0-17ubuntu1~20.04) 9.3.0, 64-bit]
 
 

Выполнение перебалансировки

Чтобы выполнить перебалансировку сегментированных таблиц в кластере cluster0, выполните:

 $ shardmanctl rebalance
 

Обновление параметров конфигурации PostgreSQL #

Чтобы установить для параметра max_connections значение 200 в кластере, создайте файл конфигурации (например, ~/shardspec.json) со следующим содержимым:

 {
   "pgParameters": {
     "max_connections": "200"
   }
 }
 

Затем выполните:

 $ shardmanctl config update -p -f ~/shardspec.json
 

Поскольку для изменения max_connections требуется перезапуск, эта команда перезапускает экземпляры СУБД.

Чтобы установить параметры work_mem и maintenance_work_mem для всех узлов shard-1, выполните:

echo '{"pgParameters":{"work_mem":"32MB","maintenance_work_mem":"256MB"}}' | \
shardmanctl config update --patch -s shard-1 -f -

Чтобы переопределить work_mem для одного узла shrn1 сегмента shard-1, выполните:

shardmanctl config update --patch -s shard-1 -n shrn1:5432 \
'{"pgParameters":{"work_mem":"128MB"}}'

Чтобы обновить параметры из файла конфигурации с автоматическим определением сегмента:

echo '{"pgParameters":{"log_min_duration_statement":"1000"}}' > node.json
shardmanctl config update --patch -n shrn3:5432 -f node.json

Сброс пользовательских параметров #

Чтобы сбросить параметр min_wal_size на сегменте shard-1, выполните:

shardmanctl params unset min_wal_size -s shard-1

Чтобы сбросить параметр work_mem на узлах shrn1 и shrn4, выполните:

shardmanctl params unset work_mem -n shrn1:5432,shrn4:5432

Чтобы сбросить все пользовательские параметры на узлах shrn1 и shrn2, выполните:

shardmanctl params unset --all -n shrn1:5432 -n shrn2:5432

Выполнение резервного копирования и восстановления

Чтобы создать резервную копию кластера cluster0 и сохранить его в локальном каталоге /var/backup/shardman, выполните:

$ shardmanctl backup --datadir=/var/backup/shardman --use-ssh

Предположим, что вы выполняете восстановление из резервной копии в кластер cluster0 и берёте описание резервной копии из файла /var/backup/shardman/backup_info. Отредактируйте файл /var/backup/shardman/backup_info, если необходимо, задайте параметры DataRestoreCommand, RestoreCommand и запустите:

$ shardmanctl recover --info /var/backup/shardman/backup_info

For metadata-only restore, run:

$ shardmanctl recover --metadata-only --dumpfile /var/backup/shardman/distributed_storage_dump

For schema-only restore, run:

$ shardmanctl recover --schema-only --dumpfile /var/backup/shardman/distributed_storage_dump

For single shard restore, run:

$ shardmanctl recover  --info /var/backup/shardman/backup_info --shard shard_1

Выполнение резервного копирования и восстановления с использованием команды probackup

Чтобы создать резервную копию кластера cluster0 и сохранить её в локальном каталоге /var/backup/shardman, сначала инициализируйте репозиторий резервных копий подкомандой init:

$ shardmanctl probackup init --backup-path=/var/backup/shardman

Затем добавьте и включите команду archive_command с подкомандой archive-command:

$ shardmanctl probackup archive-command add --backup-path=/var/backup/shardman

Если репозиторий успешно инициализирован и успешно добавлена archive-command, создайте резервную копию в режиме FULL, используя подкоманду backup:

$ shardmanctl probackup backup --backup-path=/var/backup/shardman --backup-mode=FULL --compress-algorithm=zlib --compress-level=5

Чтобы создать резервную копию в режиме DELTA, PTRACK или PAGE, запустите подкоманду backup со значением DELTA, PTRACK или PAGE параметра --backup-mode:

$ shardmanctl probackup backup --backup-path=/var/backup/shardman --backup-mode=DELTA --compress-algorithm=zlib --compress-level=5

Чтобы посмотреть идентификатор созданной резервной копии, выполните подкоманду show:

$ shardmanctl probackup show --backup-path=/var/backup/shardman --format=json

[
 {
  "Title": "BACKUP ID 'TGB9LW'",
  "Messages": [
   {
    "instance": "shard-1",
    "host": "shrn1",
    "end-time": "2026-06-08 11:37:20+0000",
    "backup-mode": "FULL",
    "wal-mode": "ARCHIVE",
    "tli": "4/0",
    "data": "48.82MiB",
    "wal": "16MiB",
    "wal-bytes-compress": "0B",
    "wal-segment-size": "16MiB",
    "server-version": 18,
    "z-ratio": "1.00",
    "start-lsn": "0/2000028",
    "stop-lsn": "0/2000508",
    "status": "OK"
   },
   {
    "instance": "shard-2",
    "host": "shrn2",
    "end-time": "2026-06-08 11:37:20+0000",
    "backup-mode": "FULL",
    "wal-mode": "ARCHIVE",
    "tli": "4/0",
    "data": "48.83MiB",
    "wal": "16MiB",
    "wal-bytes-compress": "0B",
    "wal-segment-size": "16MiB",
    "server-version": 18,
    "z-ratio": "1.00",
    "start-lsn": "0/2000028",
    "stop-lsn": "0/2000508",
    "status": "OK"
   }
  ]
 }
]

В режиме PTRACK Postgres Pro Shardman отслеживает изменения страниц на лету. Чтобы он работал, не требуется производить непрерывное архивирование. При каждом изменении страницы отношения она помечается в специальной битовой карте PTRACK. Это отслеживание немного увеличивает издержки в работе сервера, но значительно ускоряет инкрементальное резервное копирование.

Если будут использоваться резервные копии PTRACK, выполните следующие дополнительные шаги:

  • Предварительно загрузите общую библиотеку ptrack на каждом узле. Добавьте значение ptrack к параметру shared_preload_libraries.

  • Создайте расширение PTRACK на каждом узле кластера:

                                $ shardmanctl forall --sql "create extension ptrack"
    
  • Для включения отслеживания изменений страницы, задайте параметр ptrack.map_size следующим образом:

                                $ shardmanctl update '{"pgParameters":{"ptrack.map_size":"64"}}'
    

    Для оптимальной производительности рекомендуется задавать ptrack.map_size равным N/1024, где N — максимальный размер узла кластера в мегабайтах. Если задать меньшее значение, увеличится вероятность наложения информации из разных блоков в карте PTRACK, что повлечёт ложные положительные результаты при определении изменённых блоков и, как следствие, увеличение размера инкрементальной копии, так как в копию будут попадать и фактически неизменённые блоки. Использовать значения ptrack.map_size, превышающие 1024, не рекомендуется, хотя PTRACK поддерживает большие карты.

Чтобы проверить созданную резервную копию, запустите подкоманду validate:

$ shardmanctl probackup validate --backup-path=/var/backup/shardman --backup-id=RFP1FI

Предположим, что выполняется восстановление из резервной копии в кластер cluster0 и берётся идентификатор резервной копии из команды show:

$ shardmanctl probackup restore --backup-path=/var/backup/shardman --backup-id=RFP1FI
  

Наконец, нужно снова включить archive_command.

$ shardmanctl probackup archive-command add --backup-path=/var/backup/shardman

Для восстановления только метаданных выполните:

$ shardmanctl probackup restore --metadata-only --backup-path=/var/backup/shardman --backup-id=RFP1FI

Для восстановления только схемы выполните:

$ shardmanctl probackup restore --schema-only --backup-path=/var/backup/shardman --backup-id=RFP1FI

Для восстановления одного сегмента выполните:

$ shardmanctl probackup restore --backup-path=/var/backup/shardman --backup-id=RFP1FI --shard shard_1

Для восстановления на определённый момент времени выполните:

$ shardmanctl probackup restore --metadata-only --backup-path=/var/backup/shardman --backup-id=RFP1FI --recovery-target-time='2006-01-02 15:04:05' -s

Загрузка данных из текстового файла

Чтобы загрузить данные в кластер Postgres Pro Shardman, выполните следующую команду:

$ shardmanctl load --file=/var/load/data.tsv --table=mytable --source file --format text -j 8
    

В этом примере данные загружаются из файла данных /var/load/data.tsv (с разделением табуляцией) в таблицу mytable в 8 параллельных потоков. Можно использовать schema.table в качестве имени таблицы.

Загрузка данных из таблицы PostgreSQL

Чтобы загрузить данные в кластер Postgres Pro Shardman из таблицы PostgreSQL, выполните следующую команду:

$ shardmanctl load -t desttable --source postgres --source-connstr "dbname=db host=srchost port=srcport user=login password=passwd" --source-table sourcetable -j 8
     

В этом примере данные загружаются из таблицы sourcetable в таблицу desttable в 8 параллельных потоков. Можно использовать schema.table в качестве имён таблиц.

Загрузка данных из схемы PostgreSQL #

Чтобы загрузить данные из схемы PostgreSQL в кластер Postgres Pro Shardman, выполните следующую команду:

$ shardmanctl load --schema load_schema.yaml
     

Файл load_schema.yaml имеет следующий формат:

version: "1.0"
migrate:
  connstr: "dbname=workdb host=workhost port=workport user=workuser password=workpassword"
  jobs: 8
  batch: 1000
  options:
    - create_schema
    - create_table
    - create_index
    - create_sequence
    - create_foreign_key
    - create_role
    - copy_ownership
    - copy_grants
    - truncate_table
    - skip_no_pkey_tables
    - skip_create_index_error
    - skip_create_extension_error
    - skip_load_errors
    - skip_create_foreign_key_error
    - skip_create_role_error
    - skip_copy_grants_error
    - skip_copy_ownership_error
  schemas:
    - name: public
      all: false
      tables:
        - name: tab1
          type: sharded
          partitions: 6
          distributedby: id
          priority: 3
        - name: tab2
          type: global
        - name: tab3
          type: sharded
          partitions: 6
          distributedby: field_id
          colocatewith: tab1
        - name: table4
            type: global
            source: schema.view
            source_pk: field_id
        - name: table5
            type: global
            source: schema.func(arg)
            source_pk: field_id
    - name: schema2
      all: false
      default_type: sharded
      default_partitions: 6
      tables:
        - name: table1
          distributedby: field_id
          priority: 2
        - name: table2
          type: global
        - name: table3
          source: schema.view
          distributedby: field_id
          priority: 3
        - name: table4
          distributedby: field_id
          source: schema.func(arg)
        - name: table5
          source: schema."complex.""table.name"
          distributedby: field_id
    - name: schema3
      all: true
      skip_tables: [table1, table2, table3]
  roles:
    - name: test_user1
      password: test_password
    - name: test_user2
    

Параметр migrate.jobs определяет количество параллельных процессов загрузки данных.

Параметр migrate.batch задаёт число строк в одной порции (рекомендуемое значение — 1000).

Параметр migrate.schema определяет массив желаемых схем исходной базы данных. Все остальные схемы будут пропущены.

Если для параметра all задано значение true, то будут перенесены все таблицы из текущей схемы (с типом global по умолчанию). Если таблица указана в массиве migrate.schemas.tables, то для неё необходимо явно указать тип целевой таблицы. В настоящее время поддерживаются два типа таблиц: global и sharded. Сначала загружаются глобальные (global) таблицы, затем сегментированные (sharded) таблицы и в конце сегментированные таблицы с параметром colocatedwith. Порядок загрузки таблиц одного типа можно изменить с помощью параметра priority.

Секция migrate.schemas.skip_tables определяет массив имён таблиц, которые будут пропущены при загрузке схемы, даже если для параметра all установлено значение true.

Для сегментированных таблиц должны быть установлены следующие атрибуты: distributedby (указывает имя столбца, используемого для секционирования таблицы) и partitions (количество секций, которые будут созданы для этой таблицы). Для сегментированных таблиц может быть дополнительно установлен атрибут colocatewith (имя таблицы, с которой выполняется совместное размещение). Postgres Pro Shardman попытается разместить секции созданной таблицы с тем же ключом секции на тех же узлах, что и соответствующие секции таблицы, указанные в colocatewith.

Можно указать параметр таблицы default_type для схемы: global или sharded (по умолчанию: global). Для сегментированного типа также можно указать параметр default_partitions (по умолчанию: 20). Если установлен default_type sharded, необходимо указать параметр distributedby для каждой таблицы.

Параметр source для таблицы должен включать схему и исходную таблицу: schema.source. Исходной может быть таблица, представление или функция. Например: public.table, public.view, public.func(arg). Если устанавливается представление или функция source для глобальной таблицы, необходимо указать в параметре source_pk, какой первичный ключ установлен для этой таблицы. Если source не указан или содержит имя таблицы, также можно указать параметр source_pk, чтобы создать первичный ключ или переопределить существующий.

Параметр priority для таблицы определяет порядок загрузки таблиц одного типа. Таблицы с большим значением priority загружаются раньше. Значение priority по умолчанию — 0.

Раздел migrate.roles определяет массив имён таблиц и паролей, которые будут скопированы из исходной базы данных, если задан параметр create_role.

Схема поддерживает следующие параметры:

  • create_schema — создавать схемы баз данных, если они не существуют.

  • create_table — создавать таблицы, если они не существуют.

  • create_index — создавать индексы после создания таблиц.

  • create_sequence — создавать последовательности, если они не существуют.

  • create_index — создавать индексы после создания таблиц.

  • truncate_table — опустошать таблицы перед загрузкой данных.

  • create_role — создать глобальные роли, заданные в migrate.roles, и скопировать параметры ролей из исходной базы данных.

  • copy_grants — скопировать права доступа из исходной базы данных.

  • copy_ownership — сменить владельцев таблиц на владельца в исходной базе данных.

  • skip_no_pkey_tables — пропускать таблицы без первичных ключей.

  • skip_create_index_error — пропускать ошибки создания индекса.

  • skip_create_extension_error — пропускать ошибки создания расширений.

  • skip_load_errors — продолжать загрузку при возникновении ошибок.

  • skip_create_foreign_key_error — пропускать ошибки создания внешних ключей.

  • skip_create_role_error — пропускать ошибки создания ролей.

  • skip_copy_ownership_error — пропускать ошибки смены владельца таблицы.

  • skip_copy_grants_error — пропускать ошибки при копировании прав доступа из исходной базы данных.

Инициализация и тесты производительности #

Чтобы инициализировать тест производительности через shardmanctl, используя pgbench со схемой shardman, масштабирование=1000, разделы=40, запустите:

$ shardmanctlbench init --schema-type=shardman --scale=1000 --partitions=40

Чтобы запустить инициализированный тест производительности для той же схемы shardman, при количестве заданий=4, количестве клиентов=10, продолжительности в секундах=60 и с полным выводом pgbench, используйте:

$ shardmanctl bench run --schema-type=shardman --jobs=4 --client=10 --time=60 --full-output

Чтобы инициализировать тест производительности с использованием custom схемы из файла schema.psql с масштабированием=1000, выполните:

$ shardmanctlbench init --schema-type=custom --schema-file=schema.psql --scale=1000

Чтобы запустить инициализированный тест производительности с использованием custom схемы и пользовательского скрипта транзакции из script.psql с количеством заданий =4, числом клиентов=10, продолжительность в секундах=60, используйте:

$ shardmanctl bench run --schema-type=custom --file=script.psql --jobs=4 --client=10 --time=60

Чтобы очистить базу данных PostgreSQL от таблиц tpc-b, используйте:

$ shardmanctl bench cleanup

Скрипты генерации тестов производительности

Чтобы сгенерировать последовательность тестов производительности через shardmanctl из файла конфигурации=cfg.yaml и вывести результат в file=script.sh, запустите:

$ shardmanctlbenchgenerate --config=cfg.yaml --output-file=script.sh

Пример файла конфигурации:

    benches:
    - schema_type: single
      init_flags: "-s 3"
      run_flags: "-n -P 10 -c 10 -j 4 -T 10"
    - schema_type: simple
      init_flags: "-s 4"
      run_flags: "-n -P 10 -c 20 -j 4 -T 10"
      partitions: 100
    - schema_type: shardman
      init_flags: "-s 5"
      run_flags: "-n -P 10 -c 20 -j 4 -T 10"
    - schema_type: custom
      init_flags: "-s 6"
      schema_file: "schema.psql"
                            
FAQ