18.5. Журнал предзаписи
За дополнительной информацией о настройке этих параметров обратитесь к Разделу 28.5.
18.5.1. Параметры
wal_level(enum)Параметр
wal_levelопределяет, как много информации записывается в WAL. Со значениемreplica(по умолчанию) в журнал записываются данные, необходимые для поддержки архивирования WAL и репликации, включая запросы только на чтение на ведомом сервере. Вариантminimalоставляет только информацию, необходимую для восстановления после сбоя или аварийного отключения. Наконец,logicalдобавляет информацию, требующуюся для поддержки логического декодирования. Каждый последующий уровень включает информацию, записываемую на всех уровнях ниже. Задать этот параметр можно только при запуске сервера.На уровне
minimalгенерируется минимальный объём WAL. В журнал не записывается информация о производимых до конца транзакции операциях с постоянными отношениями, созданными или перезаписанными в данной транзакции. Это позволяет значительно ускорить такие операции (см. Подраздел 14.4.7). Такая оптимизация включается после следующих команд:ALTER ... SET TABLESPACECLUSTERCREATE TABLEREFRESH MATERIALIZED VIEW(безCONCURRENTLY)REINDEXTRUNCATEОднако минимальный журнал не будет содержать достаточно информации для восстановления на момент времени, поэтому для включения непрерывной архивации (archive_mode) и потоковой двоичной репликации необходимо использовать уровень не ниже
replica. Фактически сервер даже не запустится в этом режиме, если значениеmax_wal_sendersотлично от нуля. Заметьте, что в случае изменения значенияwal_levelнаminimalсделанные ранее базовые копии становятся непригодными для восстановления на момент времени и для резервных серверов.На уровне
logicalв журнал записывается та же информация, что и на уровнеreplica, плюс информация, необходимая для извлечения из журнала наборов логических изменений. Повышение уровня доlogicalприводит к значительному увеличению объёма WAL, особенно если многие таблицы имеют характеристикуREPLICA IDENTITY FULLи выполняется множество командUPDATEиDELETE.В выпусках до 9.6 для этого параметра допускались значения
archiveиhot_standby. Эти значения по-прежнему принимаются, но теперь отображаются в значениеreplica.fsync(boolean)Если этот параметр установлен, сервер Postgres Pro старается добиться, чтобы изменения были записаны на диск физически, выполняя системные вызовы
fsync()или другими подобными методами (см. wal_sync_method). Это даёт гарантию, что кластер баз данных сможет вернуться в согласованное состояние после сбоя оборудования или операционной системы.Хотя отключение
fsyncчасто даёт выигрыш в скорости, это может привести к неисправимой порче данных в случае отключения питания или сбоя системы. Поэтому отключатьfsyncрекомендуется, только если вы легко сможете восстановить всю базу из внешнего источника.В качестве примеров, когда отключение
fsyncнеопасно, можно привести начальное наполнение нового кластера данными из копии, обработку массива данных, после которой базу данных можно удалить и создать заново, либо эксплуатацию копии базы данных только для чтения, которая регулярно пересоздаётся и не используется для отработки отказа. Качественное оборудование само по себе не является достаточной причиной для отключенияfsync.При смене значения
fsyncс off на on для надёжного восстановления также необходимо сбросить все изменённые буферы из ядра в надёжное хранилище. Это можно сделать, когда сервер остановлен или когда режимfsyncвключён, с помощью командыinitdb --sync-only, либо выполнить командуsync, размонтировать файловую систему или перезагрузить сервер.Во многих случаях отключение synchronous_commit для некритичных транзакций может дать больший выигрыш в скорости, чем отключение
fsync, при этом не добавляя риски повреждения данных.Параметр
fsyncможно задать только в файлеpostgresql.confили в командной строке при запуске сервера. Если вы отключаете этот параметр, возможно, имеет смысл отключить также и full_page_writes.synchronous_commit(enum)Определяет, после завершения какого уровня обработки WAL сервер будет сообщать об успешном выполнении операции. Допустимые значения:
remote_apply(применено удалённо),on(вкл., по умолчанию),remote_write(записано удалённо),local(локально) иoff(выкл.).Если значение
synchronous_standby_namesне задано, для данного параметра имеют смысл только значенияonиoff; с вариантамиremote_apply,remote_writeиlocalбудет выбран тот же уровень синхронизации, что и сon. Локальное действие всех отличных отoffрежимов заключается в ожидании локального сброса WAL на диск. В режимеoffожидание отсутствует, поэтому может образоваться окно от момента, когда клиент узнаёт об успешном завершении, до момента, когда транзакция действительно гарантированно защищена от сбоя. (Максимальный размер окна равен тройному значению wal_writer_delay.) В отличие от fsync, значениеoffэтого параметра не угрожает целостности данных: сбой операционной системы или базы данных может привести к потере последних транзакций, считавшихся зафиксированными, но состояние базы данных будет точно таким же, как и в случае штатного прерывания этих транзакций. Поэтому выключение режимаsynchronous_commitможет быть полезной альтернативой отключению fsync, когда производительность важнее, чем надёжная гарантия сохранности каждой транзакции. Подробнее это обсуждается в Разделе 28.4.Если значение synchronous_standby_names не пустое, параметр
synchronous_commitтакже определяет, должен ли сервер при фиксировании транзакции ждать, пока соответствующие записи WAL будут обработаны на ведомом сервере (серверах).Со значением
remote_applyфиксирование завершается только после получения ответов от текущих синхронных ведомых серверов, говорящих, что они получили запись о фиксировании транзакции, сохранили её в надёжном хранилище, а также применили транзакцию, так что она стала видна для запросов на этих серверах. С таким вариантом задержка при фиксировании оказывается больше, так как необходимо дожидаться воспроизведения WAL. Со значениемonфиксирование завершается только после получения ответов от текущих синхронных ведомых серверов, подтверждающих, что они получили запись о фиксировании транзакции и передали её в надёжном хранилище. Это гарантирует, что транзакция не будет потеряна, если только база данных не будет повреждена и на ведущем, и на всех синхронных ведомых серверах. Со значениемremote_writeфиксирование завершается после получения ответов от текущих синхронных серверов, говорящих, что они получили запись о фиксировании транзакции и сохранили её в своих ФС. Этот вариант позволяет гарантировать сохранность данных в случае отказа ведомого сервера Postgres Pro, но не в случае сбоя на уровне ОС, так как данные могут ещё не достичь надёжного хранилища на этом сервере. Со значениемlocalфиксирование завершается после локального сброса данных, не дожидаясь репликации. Обычно это нежелательный вариант при синхронной репликации, но он представлен для полноты.Этот параметр можно изменить в любое время; поведение каждой конкретной транзакции определяется значением, действующим в момент её фиксирования. Таким образом, есть возможность и смысл фиксировать некоторые транзакции синхронно, а другие — асинхронно. Например, чтобы зафиксировать одну транзакцию из нескольких команд асинхронно, когда по умолчанию выбран противоположный вариант, выполните в этой транзакции
SET LOCAL synchronous_commit TO OFF.Характеристики различных значений
synchronous_commitсведены в Таблице 18.1.Таблица 18.1. Режимы synchronous_commit
значение synchronous_commit гарантированная локальная фиксация гарантированная фиксация на ведомом после сбоя PG гарантированная фиксация на ведомом после сбоя ОС согласованность запросов на ведомом remote_apply • • • • on • • • remote_write • • local • off wal_sync_method(enum)Метод, применяемый для принудительного сохранения изменений WAL на диске. Если режим
fsyncотключён, данный параметр не действует, так как принудительное сохранение изменений WAL не производится вовсе. Возможные значения этого параметра:open_datasync(для сохранения файлов WAL открывать их функциейopen()с параметромO_DSYNC)fdatasync(вызыватьfdatasync()при каждом фиксировании)fsync(вызыватьfsync()при каждом фиксировании)fsync_writethrough(вызыватьfsync()при каждом фиксировании, форсируя сквозную запись кеша)open_sync(для сохранения файлов WAL открывать их функциейopen()с параметромO_SYNC)
Варианты
open_* также применяют флагO_DIRECT, если он доступен. Не все эти методы поддерживается в разных системах. По умолчанию выбирается первый из этих методов, который поддерживается текущей системой, с одним исключением — в Linux и FreeBSD по умолчанию выбираетсяfdatasync. Выбираемый по умолчанию вариант не обязательно будет идеальным; в зависимости от требований к отказоустойчивости или производительности может потребоваться скорректировать выбранное значение или внести другие изменения в конфигурацию вашей системы. Соответствующие аспекты конфигурации рассматриваются в Разделе 28.1. Этот параметр можно задать только в файлеpostgresql.confили в командной строке при запуске сервера.full_page_writes(boolean)Когда этот параметр включён, сервер Postgres Pro записывает в WAL всё содержимое каждой страницы при первом изменении этой страницы после контрольной точки. Это необходимо, потому что запись страницы, прерванная при сбое операционной системы, может выполниться частично, и на диске окажется страница, содержащая смесь старых данных с новыми. При этом информации об изменениях на уровне строк, которая обычно сохраняется в WAL, будет недостаточно для получения согласованного содержимого такой страницы при восстановлении после сбоя. Сохранение образа всей страницы гарантирует, что страницу можно восстановить корректно, ценой увеличения объёма данных, которые будут записываться в WAL. (Так как воспроизведение WAL всегда начинается от контрольной точки, достаточно сделать это при первом изменении каждой страницы после контрольной точки. Таким образом, уменьшить затраты на запись полных страниц можно, увеличив интервалы контрольных точек.)
Отключение этого параметра ускоряет обычные операции, но может привести к неисправимому повреждению или незаметной порче данных после сбоя системы. Так как при этом возникают практически те же риски, что и при отключении
fsync, хотя и в меньшей степени, отключать его следует только при тех же обстоятельствах, которые перечислялись в рекомендациях для вышеописанного параметра.Отключение этого параметра не влияет на возможность применения архивов WAL для восстановления состояния на момент времени (см. Раздел 24.3).
Этот параметр можно задать только в
postgresql.confили в командной строке при запуске сервера. По умолчанию этот параметр имеет значениеon.wal_log_hints(boolean)Когда этот параметр имеет значение
on, сервер Postgres Pro записывает в WAL всё содержимое каждой страницы при первом изменении этой страницы после контрольной точки, даже при второстепенных изменениях так называемых вспомогательных битов.Если включён расчёт контрольных сумм данных, изменения вспомогательных битов всегда проходят через WAL и этот параметр игнорируется. С помощью этого параметра можно проверить, насколько больше дополнительной информации записывалось бы в журнал, если бы для базы данных был включён подсчёт контрольных сумм.
Этот параметр можно задать только при запуске сервера. По умолчанию он имеет значение
off.wal_compression(boolean)Когда этот параметр имеет значение
on, сервер Postgres Pro сжимает образ полной страницы, записываемый в WAL, например, когда включён режим full_page_writes, при создании базовой копии и т.д. Сжатый образ страницы будет развёрнут при воспроизведении WAL. Значение по умолчанию —off. Изменить этот параметр могут только суперпользователи.Этот параметр позволяет без дополнительных рисков повреждения данных уменьшить объём WAL, ценой дополнительной нагрузки на процессор, связанной со сжатием данных при записи в WAL и разворачиванием их при воспроизведении WAL.
wal_init_zero(boolean)Если этот параметр включён (
on), создаваемые файлы WAL заполняются нулями. В ряде файловых систем благодаря этому заранее выделяется пространство, которое потребуется для записи WAL. Однако с файловыми системами, работающими по принципу COW (Copy-On-Write, Копирование при записи), это может быть бессмысленно, поэтому данный параметр позволяет отключить в данном случае неэффективное поведение. Со значениемoffв создаваемый файл записывается только последний байт, чтобы файл WAL сразу обрёл желаемый размер.wal_recycle(boolean)Если этот параметр имеет значение
on(по умолчанию), файлы WAL используются повторно (для этого они переименовываются), что избавляет от необходимости создавать новые файлы. В файловых системах COW может быть быстрее создать новые файлы, поэтому данный параметр позволяет отключить это поведение.wal_buffers(integer)Объём разделяемой памяти, который будет использоваться для буферизации данных WAL, ещё не записанных на диск. Значение по умолчанию, равное -1, задаёт размер, равный 1/32 (около 3%) от shared_buffers, но не меньше чем
64 КБи не больше чем размер одного сегмента WAL (обычно16 МБ). Это значение можно задать вручную, если выбираемое автоматически слишком мало или велико, но при этом любое положительное число меньше32 КБбудет восприниматься как32 КБ. Если это значение задаётся без единиц измерения, оно считается заданным в блоках WAL (размер которых равенXLOG_BLCKSZбайт, обычно это 8 КБ). Этот параметр можно задать только при запуске сервера.Содержимое буферов WAL записывается на диск при фиксировании каждой транзакции, так что очень большие значения вряд ли принесут значительную пользу. Однако значение как минимум в несколько мегабайт может увеличить быстродействие при записи на нагруженном сервере, когда сразу множество клиентов фиксируют транзакции. Автонастройка, действующая при значении по умолчанию (-1), в большинстве случаев выбирает разумные значения.
wal_writer_delay(integer)Определяет, с какой периодичностью процесс записи WAL будет сбрасывать WAL на диск. После очередного сброса WAL он делает паузу, длительность которой задаётся параметром
wal_writer_delay, но может быть пробуждён асинхронно фиксируемой транзакцией. Если предыдущая операция сброса имела место в течение заданного параметромwal_writer_delayвремени и полученный за это время объём WAL не достиг значенияwal_writer_flush_after, данные WAL только передаются ОС, но не сбрасываются на диск. Если это значение задаётся без единиц измерения, оно считается заданным в миллисекундах. Значение по умолчанию — 200 миллисекунд (200ms). Заметьте, что во многих системах разрешение таймера паузы составляет 10 мс; если задать вwal_writer_delayзначение, не кратное 10, может быть получен тот же результат, что и со следующим за ним кратным 10. Задать этот параметр можно только вpostgresql.confили в командной строке при запуске сервера.wal_writer_flush_after(integer)Определяет, при каком объёме процесс записи WAL будет сбрасывать WAL на диск. Если предыдущая операция сброса имела место в течение заданного параметром
wal_writer_delayвремени и полученный после неё объём WAL не достиг значенияwal_writer_flush_after, данные WAL только передаются ОС, но не сбрасываются на диск. Еслиwal_writer_flush_afterравен0, WAL сбрасывается на диск немедленно. Если это значение задаётся без единиц измерения, оно считается заданным в блоках WAL (размер которых равенXLOG_BLCKSZбайт, обычно это 8 КБ). Значение по умолчанию — 1 мегабайт (1MB). Задать этот параметр можно только вpostgresql.confили в командной строке при запуске сервера.wal_skip_threshold(integer)Когда выбран
wal_levelminimalи фиксируется транзакция, которая создавала или перезаписывала постоянное отношение, этот параметр определяет, как будут сохраняться новые данные. Если объём данных меньше заданного значения, они будут записываться в журнал WAL; в противном случае затронутые файлы просто синхронизируются с ФС. Изменение этого параметра в зависимости от характеристик вашего хранилища может быть полезным, если при фиксировании такой транзакции наблюдается замедление других транзакций. Если это значение задаётся без единиц измерения, оно считается заданным в килобайтах. Значение по умолчанию — два мегабайта (2MB).commit_delay(integer)Параметр
commit_delayдобавляет паузу перед собственно выполнением сохранения WAL. Эта задержка может увеличить быстродействие при фиксировании множества транзакций, позволяя зафиксировать большее число транзакций за одну операцию сохранения WAL, если система нагружена достаточно сильно и за заданное время успевают зафиксироваться другие транзакции. Однако этот параметр также увеличивает задержку максимум доcommit_delayпри каждом сохранении WAL. Эта задержка окажется бесполезной, если никакие другие транзакции не будут зафиксированы за это время, поэтому она добавляется, только если в момент запроса сохранения WAL активны как минимумcommit_siblingsдругих транзакций. Кроме того, эти задержки не добавляются при выключенномfsync. Если это значение задаётся без единиц измерения, оно считается заданным в микросекундах. По умолчанию значениеcommit_delayравно нулю (задержка отсутствует). Изменить этот параметр могут только суперпользователи.В PostgreSQL до версии 9.3, параметр
commit_delayработал по-другому и не так эффективно: он задерживал только фиксирование транзакций, а не все операции сохранения WAL, и заданная пауза выдерживалась полностью, даже если WAL удавалось сохранить быстрее. Начиная с версии 9.3, заданное время ожидает только первый процесс, готовый произвести сохранение, тогда как все последующие процессы ждут только, когда он закончит эту операцию.commit_siblings(integer)Минимальное число одновременно открытых транзакций, при котором будет добавляться задержка
commit_delay. Чем больше это значение, тем больше вероятность, что минимум одна транзакция окажется готовой к фиксированию за время задержки. По умолчанию это число равно пяти.
18.5.2. Контрольные точки
checkpoint_timeout(integer)Максимальное время между автоматическими контрольными точками в WAL. Если это значение задаётся без единиц измерения, оно считается заданным в секундах. Допускаются значения от 30 секунд до одного дня. Значение по умолчанию — пять минут (
5min). Увеличение этого параметра может привести к увеличению времени, которое потребуется для восстановления после сбоя. Задать этот параметр можно только вpostgresql.confили в командной строке при запуске сервера.checkpoint_completion_target(floating point)Задаёт целевое время для завершения процедуры контрольной точки, как долю общего времени между контрольными точками. Значение по умолчанию — 0.9, что распределяет контрольную точку почти по всему доступному интервалу, обеспечивая достаточно стабильную нагрузку ввода-вывода, а также оставляя некоторое время для издержек на завершение процедуры контрольной точки. Уменьшать значение этого параметра не рекомендуется, так как это ускорит данную процедуру, что нежелательно, поскольку приведёт к ускорению ввода-вывода в процессе контрольной точки, и, следовательно, к меньшему объёму ввода-вывода в промежуток времени между завершением процедуры контрольной точки и следующей запланированной контрольной точкой. Этот параметр можно установить только в файле
postgresql.confили в командной строке сервера.checkpoint_flush_after(integer)Когда в процессе контрольной точки записывается больше заданного объёма данных, сервер даёт указание ОС произвести запись этих данных в нижележащее хранилище. Это ограничивает объём «грязных» данных в страничном кеше ядра и уменьшает вероятность затормаживания при выполнении
fsyncв конце контрольной точки или когда ОС сбрасывает данные на диск большими порциями в фоне. Часто это значительно уменьшает задержки транзакций, но бывают ситуации (особенно когда объём рабочей нагрузки больше shared_buffers, но меньше страничного кеша ОС), когда производительность может упасть. Этот параметр действует не на всех платформах. Если значение параметра задаётся без единиц измерения, оно считается заданным в блоках (размер которых равенBLCKSZбайт, обычно это 8 КБ). Он может принимать значение от0(при этом управление отложенной записью отключается) до 2 мегабайт (2MB). Значение по умолчанию —256kBв Linux и0в других ОС. (ЕслиBLCKSZотличен от 8 КБ, значение по умолчанию и максимум корректируются пропорционально.) Задать этот параметр можно только вpostgresql.confили в командной строке при запуске сервера.checkpoint_warning(integer)Записывать в журнал сервера сообщение в случае, если контрольные точки, вызванные заполнением файлов сегментов WAL, выполняются быстрее, чем через заданное время (что говорит о том, что нужно увеличить
max_wal_size). Если это значение задаётся без единиц измерения, оно считается заданным в секундах. Значение по умолчанию равно 30 секундам (30s). При нуле это предупреждение отключается. Еслиcheckpoint_timeoutменьше чемcheckpoint_warning, предупреждения так же не будут выводиться. Задать этот параметр можно только вpostgresql.confили в командной строке при запуске сервера.max_wal_size(integer)Максимальный размер, до которого может вырастать WAL во время автоматических контрольных точек. Это мягкий предел; размер WAL может превышать
max_wal_sizeпри особых обстоятельствах, например при большой нагрузке, сбое вarchive_commandили при большом значенииwal_keep_size. Если это значение задаётся без единиц измерения, оно считается заданным в мегабайтах. Значение по умолчанию — 1 ГБ. Увеличение этого параметра может привести к увеличению времени, которое потребуется для восстановления после сбоя. Задать этот параметр можно только вpostgresql.confили в командной строке при запуске сервера.min_wal_size(integer)Пока WAL занимает на диске меньше этого объёма, старые файлы WAL в контрольных точках всегда перерабатываются, а не удаляются. Это позволяет зарезервировать достаточно места для WAL, чтобы справиться с резкими скачками использования WAL, например, при выполнении больших пакетных заданий. Если это значение задаётся без единиц измерения, оно считается заданным в мегабайтах. Значение по умолчанию — 80 МБ. Этот параметр можно установить только в
postgresql.confили в командной строке сервера.
18.5.3. Архивация
archive_mode(enum)Когда параметр
archive_modeвключён, полные сегменты WAL передаются в хранилище архива командой archive_command. Помимо значенияoff(выключающего архивацию) есть ещё два:on(вкл.) иalways(всегда). В обычном состоянии эти два режима не различаются, но в режимеalwaysархивация WAL активна и во время восстановления архива, и при использовании ведомого сервера. В этом режиме все файлы, восстановленные из архива или полученные при потоковой репликации, будут архивироваться (снова). За подробностями обратитесь к Подразделу 25.2.9.Параметры
archive_modeиarchive_commandразделены, чтобы команду архивации (archive_command) можно было изменять, не отключая режим архивации. Этот параметр можно задать только при запуске сервера. Режим архивации нельзя включить, когда установлен минимальный уровень WAL (wal_levelимеет значениеminimal).archive_command(string)Команда локальной оболочки, которая будет выполняться для архивации завершённого сегмента WAL. Любое вхождение
%pв этой строке заменяется путём архивируемого файла, а вхождение%fзаменяется только его именем. (Путь задаётся относительно рабочего каталога сервера, то есть каталога данных кластера.) Чтобы вставить в команду символ%, его нужно записать как%%. Важно, чтобы команда возвращала нулевой код, только если она завершается успешно. За дополнительной информацией обратитесь к Подразделу 24.3.1.Этот параметр можно задать только в
postgresql.confили в командной строке при запуске сервера. Если режим архивации (archive_mode) не был включён при запуске, этот параметр игнорируется. Если значениеarchive_command— пустая строка (по умолчанию), ноarchive_modeвключён, архивация WAL временно отключается, но сервер продолжает накапливать файлы сегментов WAL в ожидании, что команда будет вскоре определена. Если в качествеarchive_commandзадать команду, которая ничего не делает, но сообщает об успешном завершении, например/bin/true(илиREMв Windows), архивация по сути отключается, но при этом нарушается цепочка файлов WAL, необходимых для восстановления архива, поэтому такой вариант следует использовать только в особых случаях.archive_timeout(integer)Команда archive_command вызывается только для завершённых сегментов WAL. Поэтому, если ваш сервер записывает мало данных WAL (или это наблюдается в некоторые периоды времени), от завершения транзакции до надёжного сохранения её в архивном хранилище может пройти довольно много времени. Для ограничения времени существования неархивированных данных можно установить значение
archive_timeout, чтобы сервер периодически переключался на новый файл сегмента WAL. Когда этот параметр больше нуля, сервер будет переключаться на новый файл сегмента, если с момента последнего переключения на новый файл прошло заданное время и наблюдалась какая-то активность базы данных, даже если это была просто контрольная точка. (Контрольные точки пропускаются, если в базе отсутствует активность). Заметьте, что архивируемые файлы, закрываемые досрочно из-за принудительного переключения, всё равно будут иметь тот же размер, что и полностью заполненные. Поэтому устанавливать дляarchive_timeoutочень маленькое значение неразумно — это ведёт к раздуванию архивного хранилища. Обычно дляarchive_timeoutимеет смысл задавать значение около минуты. Если вам нужно, чтобы данные копировались с главного сервера быстрее, вам следует подумать о переходе от архивации к потоковой репликации. Если это значение задаётся без единиц измерения, оно считается заданным в секундах. Этот параметр можно задать только вpostgresql.confили в командной строке при запуске сервера.
18.5.4. Восстановление из архива
В этом разделе описываются параметры, действующие только в процессе восстановления. Они должны сбрасываться для любой последующей операции восстановления.
Под «восстановлением» здесь понимается и использование сервера в качестве ведомого, и выполнение целевого восстановления данных. Обычно ведомые серверы используется для обеспечения высокой степени доступности и/или масштабируемости чтения, тогда как целевое восстановление производится в случае потери данных.
Чтобы запустить сервер в режиме ведомого, создайте в каталоге данных файл standby.signal. Сервер перейдёт к восстановлению и останется в этом состоянии и по достижении конца заархивированного WAL, чтобы осуществлять восстановление дальше. Для этого он подключится к передающему серверу, используя параметры в primary_conninfo, или будет получать новые сегменты WAL с помощью команды restore_command. Применительно к данному режиму представляют интерес параметры, описанные в этом разделе и в Подразделе 18.6.3. Параметры, описанные в Подраздел 18.5.5, также будут действовать, хотя для данного режима они вряд ли будут полезными.
Чтобы запустить сервер в режиме целевого восстановления, создайте в каталоге данных recovery.signal. В случае одновременного существования файлов standby.signal и recovery.signal предпочтение отдаётся режиму ведомого. Режим целевого восстановления завершается после полного воспроизведения WAL из архива или при достижении целевой точки (recovery_target). В данном режиме используются параметры, описанные в этом разделе и в Подразделе 18.5.5.
restore_command(string)Команда оболочки ОС, которая выполняется для извлечения архивного сегмента из набора файлов WAL. Этот параметр требуется для восстановления из архива, но необязателен для потоковой репликации. Любое вхождение
%fв строке заменяется именем извлекаемого из архива файла, а%pзаменяется на путь назначения на сервере. (Путь указывается относительно текущего рабочего каталога, т. е. относительно каталога хранения данных кластера.) Любое вхождение%rзаменяется на имя файла, в котором содержится последняя действительная точка перезапуска. Это самый ранний файл, который требуется хранить для возможности восстановления; зная его имя, размер архива можно уменьшить до минимально необходимого.%rобычно используется при организации тёплого резерва (см. Раздел 25.2). Для того чтобы указать символ%, продублируйте его (%%).Обратите внимание, что команда должна возвращать ноль на выходе лишь в случае успешного выполнения. Команде будут поступать имена файлов, отсутствующих в архиве; в этом случае она должна возвращать ненулевой статус. Примеры:
restore_command = 'cp /mnt/server/archivedir/%f "%p"' restore_command = 'copy "C:\\server\\archivedir\\%f" "%p"' # Windows
В случае прерывания команды сигналом (отличным от SIGTERM, который используется для остановки сервера баз данных) или при возникновении ошибки оболочки (например, если команда не найдена), процесс восстановления будет остановлен и сервер не запустится.
archive_cleanup_command(string)Этот необязательный параметр указывает команду оболочки ОС, которая будет вызываться при каждой точке перезапуска. Назначение команды
archive_cleanup_command— предоставить механизм очистки от старых архивных файлов WAL, которые более не нужны на ведомом сервере. Любое вхождение%rзаменяется на имя файла, содержащего последнюю действительную точку перезапуска. Это самый ранний файл, который необходимо хранить для возможности восстановления, а более старые файлы вполне можно удалить. Эта информация может быть использована для усечения архива с целью его минимизации при сохранении возможности последующего восстановления из заданной точки. Модуль pg_archivecleanup часто используется в качествеarchive_cleanup_commandв конфигурациях с одним ведомым сервером, например:archive_cleanup_command = 'pg_archivecleanup /mnt/server/archivedir %r'
Стоит обратить внимание, что в конфигурациях с множеством ведомых серверов, использующих общий архивный каталог для восстановления, необходимо контролировать удаление файлов WAL, так как они могут ещё быть нужны некоторым серверам. Поэтому
archive_cleanup_commandобычно используется при организации тёплого резерва (см. Раздел 25.2). Чтобы указать символ%в команде, продублируйте его (%%).В случаях, когда команда возвращает ненулевой статус завершения, в журнал записывается предупреждающее сообщение. Если же команда прерывается сигналом или оболочка ОС выдаёт ошибку (например, команда не найдена), вызывается критическая ошибка.
Задать этот параметр можно только в
postgresql.confили в командной строке при запуске сервера.recovery_end_command(string)Этот параметр задаёт команду оболочки, которая будет выполнена единожды в конце процесса восстановления. Назначение параметра
recovery_end_command— предоставить механизм для очистки после репликации или восстановления. Любое вхождение%rзаменяется именем файла, содержащим последнюю действительную точку восстановления, например, как в archive_cleanup_command.В случаях, когда команда возвращает ненулевой статус завершения, в журнал записывается предупреждающее сообщение, но сервер, несмотря на это, продолжает запускаться. Если же команда прерывается сигналом или оболочка ОС выдаёт ошибку (например, команда не найдена), кластер баз данных не запускается.
Задать этот параметр можно только в
postgresql.confили в командной строке при запуске сервера.
18.5.5. Цель восстановления
По умолчанию восстановление производится вплоть до окончания журнала WAL. Чтобы остановить процесс восстановления в более ранней точке, можно использовать один из следующих параметров: recovery_target, recovery_target_lsn, recovery_target_name, recovery_target_time или recovery_target_xid. Если в конфигурационном файле устанавливаются сразу несколько этих параметров, выдаётся ошибка. Задать эти параметры можно только при запуске сервера.
recovery_target= 'immediate'Данный параметр указывает, что процесс восстановления должен завершиться, как только будет достигнуто целостное состояние, т. е. как можно раньше. При восстановлении из оперативной резервной копии, это будет точкой, в которой завершился процесс резервного копирования.
Технически это строковый параметр, но значение
'immediate'— единственно допустимое в данный момент.recovery_target_name(string)Этот параметр указывает именованную точку восстановления (созданную с помощью
pg_create_restore_point()), до которой будет производиться восстановление.recovery_target_time(timestamp)Данный параметр указывает точку времени, вплоть до которой будет производиться восстановление. Окончательно точка останова определяется в зависимости от значения recovery_target_inclusive.
Значение этого параметра задаётся в том же формате, что принимается типом данных
timestamp with time zone, за исключением того, что в нём нельзя использовать сокращённое название часового пояса (если только переменная timezone_abbreviations не была установлена в файле конфигурации выше). Поэтому рекомендуется задавать числовое смещение от UTC или записывать название часового пояса полностью, напримерEurope/Helsinki(но неEEST).recovery_target_xid(string)Параметр указывает идентификатор транзакции, вплоть до которой необходимо произвести процедуру восстановления. Имейте в виду, что числовое значение идентификатора отражает последовательность именно старта транзакций, а фиксироваться они могут в ином порядке. Восстановлению будут подлежать все транзакции, что были зафиксированы до указанной (и, возможно, включая её). Точность точки останова также зависит от recovery_target_inclusive.
recovery_target_lsn(pg_lsn)Данный параметр указывает LSN позиции в журнале предзаписи, до которой должно выполняться восстановление. Точная позиция остановки зависит также от параметра recovery_target_inclusive. Этот параметр принимает значение системного типа данных
pg_lsn.
Следующие параметры уточняют целевую точку восстановления и определяют, что будет происходить при её достижении:
recovery_target_inclusive(boolean)Указывает на необходимость остановки сразу после (
on) либо до (off) достижения целевой точки. Применяется одновременно с recovery_target_lsn, recovery_target_time или recovery_target_xid. Этот параметр определяет, нужно ли восстанавливать транзакции, у которых позиция в WAL (LSN), время фиксации либо идентификатор в точности совпадает с заданным соответствующим значением. По умолчанию выбирается вариантon.recovery_target_timeline(string)Указывает линию времени для восстановления. Значение может задаваться числовым идентификатором линии времени или ключевым словом. С ключевым словом
currentвосстанавливается та линия времени, которая была активной при создании базовой резервной копии. С ключевым словомlatestвосстанавливаться будет последняя линия времени, найденная в архиве, что полезно для ведомого сервера. По умолчанию подразумеваетсяlatest.Задавать этот параметр обычно требуется только в сложных ситуациях с повторами восстановления, когда необходимо вернуться к состоянию, которое само было достигнуто после восстановления на момент времени. Это обсуждается в Подразделе 24.3.5.
recovery_target_action(enum)Указывает, какое действие должен предпринять сервер после достижения цели восстановления. Вариант по умолчанию —
pause, что означает приостановку восстановления. Второй вариант,promote, означает, что процесс восстановления завершится, и сервер начнёт принимать подключения. Наконец, с вариантомshutdownсервер остановится, как только цель восстановления будет достигнута.Вариант
pauseпозволяет выполнить запросы к базе данных и убедиться в том, что достигнутая цель оказалась желаемой точкой восстановления. Для снятия с паузы нужно вызватьpg_wal_replay_resume()(см. Таблицу 9.89), что в итоге приведёт к завершению восстановления. Если же окажется, что мы ещё не достигли желаемой точки восстановления, нужно остановить сервер, установить более позднюю цель и перезапустить сервер для продолжения восстановления.Вариант
shutdownполезен для получения готового экземпляра сервера в желаемой точке. При этом данный экземпляр сможет воспроизводить дополнительные записи WAL (а при перезапуске ему придётся воспроизводить записи WAL после последней контрольной точки).Заметьте, что так как
recovery.signalне переименовывается, когда вrecovery_target_actionвыбран вариантshutdown, при последующем запуске будет происходить немедленная остановка, пока вы не измените конфигурацию или не удалите файлrecovery.signalвручную.Этот параметр не действует, если цель восстановления не установлена. Если не включён режим hot_standby, значение
pauseдействует так же, как иshutdown. Если цель восстановления достигается в процессе повышения,pauseдействует какpromote.В любом случае, если задана цель восстановления, но восстановление архива завершается до её завершения, сервер завершит работу с критической ошибкой.
recovery_target_db(string)Указывает разделённый запятыми список OID баз данных, WAL-записи которых следует обрабатывать при восстановлении. WAL-записи для остальных баз данных пропускаются, что ускоряет процесс восстановления.
Если этот параметр не задан, по умолчанию обрабатываются все WAL-записи.
18.5. Write Ahead Log
For additional information on tuning these settings, see Section 28.5.
18.5.1. Settings
wal_level(enum)wal_leveldetermines how much information is written to the WAL. The default value isreplica, which writes enough data to support WAL archiving and replication, including running read-only queries on a standby server.minimalremoves all logging except the information required to recover from a crash or immediate shutdown. Finally,logicaladds information necessary to support logical decoding. Each level includes the information logged at all lower levels. This parameter can only be set at server start.The
minimallevel generates the least WAL volume. It logs no row information for permanent relations in transactions that create or rewrite them. This can make operations much faster (see Section 14.4.7). Operations that initiate this optimization include:ALTER ... SET TABLESPACECLUSTERCREATE TABLEREFRESH MATERIALIZED VIEW(withoutCONCURRENTLY)REINDEXTRUNCATEHowever, minimal WAL does not contain sufficient information for point-in-time recovery, so
replicaor higher must be used to enable continuous archiving (archive_mode) and streaming binary replication. In fact, the server will not even start in this mode ifmax_wal_sendersis non-zero. Note that changingwal_leveltominimalmakes previous base backups unusable for point-in-time recovery and standby servers.In
logicallevel, the same information is logged as withreplica, plus information needed to extract logical change sets from the WAL. Using a level oflogicalwill increase the WAL volume, particularly if many tables are configured forREPLICA IDENTITY FULLand manyUPDATEandDELETEstatements are executed.In releases prior to 9.6, this parameter also allowed the values
archiveandhot_standby. These are still accepted but mapped toreplica.fsync(boolean)If this parameter is on, the Postgres Pro server will try to make sure that updates are physically written to disk, by issuing
fsync()system calls or various equivalent methods (see wal_sync_method). This ensures that the database cluster can recover to a consistent state after an operating system or hardware crash.While turning off
fsyncis often a performance benefit, this can result in unrecoverable data corruption in the event of a power failure or system crash. Thus it is only advisable to turn offfsyncif you can easily recreate your entire database from external data.Examples of safe circumstances for turning off
fsyncinclude the initial loading of a new database cluster from a backup file, using a database cluster for processing a batch of data after which the database will be thrown away and recreated, or for a read-only database clone which gets recreated frequently and is not used for failover. High quality hardware alone is not a sufficient justification for turning offfsync.For reliable recovery when changing
fsyncoff to on, it is necessary to force all modified buffers in the kernel to durable storage. This can be done while the cluster is shutdown or whilefsyncis on by runninginitdb --sync-only, runningsync, unmounting the file system, or rebooting the server.In many situations, turning off synchronous_commit for noncritical transactions can provide much of the potential performance benefit of turning off
fsync, without the attendant risks of data corruption.fsynccan only be set in thepostgresql.conffile or on the server command line. If you turn this parameter off, also consider turning off full_page_writes.synchronous_commit(enum)Specifies how much WAL processing must complete before the database server returns a “success” indication to the client. Valid values are
remote_apply,on(the default),remote_write,local, andoff.If
synchronous_standby_namesis empty, the only meaningful settings areonandoff;remote_apply,remote_writeandlocalall provide the same local synchronization level ason. The local behavior of all non-offmodes is to wait for local flush of WAL to disk. Inoffmode, there is no waiting, so there can be a delay between when success is reported to the client and when the transaction is later guaranteed to be safe against a server crash. (The maximum delay is three times wal_writer_delay.) Unlike fsync, setting this parameter tooffdoes not create any risk of database inconsistency: an operating system or database crash might result in some recent allegedly-committed transactions being lost, but the database state will be just the same as if those transactions had been aborted cleanly. So, turningsynchronous_commitoff can be a useful alternative when performance is more important than exact certainty about the durability of a transaction. For more discussion see Section 28.4.If synchronous_standby_names is non-empty,
synchronous_commitalso controls whether transaction commits will wait for their WAL records to be processed on the standby server(s).When set to
remote_apply, commits will wait until replies from the current synchronous standby(s) indicate they have received the commit record of the transaction and applied it, so that it has become visible to queries on the standby(s), and also written to durable storage on the standbys. This will cause much larger commit delays than previous settings since it waits for WAL replay. When set toon, commits wait until replies from the current synchronous standby(s) indicate they have received the commit record of the transaction and flushed it to durable storage. This ensures the transaction will not be lost unless both the primary and all synchronous standbys suffer corruption of their database storage. When set toremote_write, commits will wait until replies from the current synchronous standby(s) indicate they have received the commit record of the transaction and written it to their file systems. This setting ensures data preservation if a standby instance of Postgres Pro crashes, but not if the standby suffers an operating-system-level crash because the data has not necessarily reached durable storage on the standby. The settinglocalcauses commits to wait for local flush to disk, but not for replication. This is usually not desirable when synchronous replication is in use, but is provided for completeness.This parameter can be changed at any time; the behavior for any one transaction is determined by the setting in effect when it commits. It is therefore possible, and useful, to have some transactions commit synchronously and others asynchronously. For example, to make a single multistatement transaction commit asynchronously when the default is the opposite, issue
SET LOCAL synchronous_commit TO OFFwithin the transaction.Table 18.1 summarizes the capabilities of the
synchronous_commitsettings.Table 18.1. synchronous_commit Modes
synchronous_commit setting local durable commit standby durable commit after PG crash standby durable commit after OS crash standby query consistency remote_apply • • • • on • • • remote_write • • local • off wal_sync_method(enum)Method used for forcing WAL updates out to disk. If
fsyncis off then this setting is irrelevant, since WAL file updates will not be forced out at all. Possible values are:open_datasync(write WAL files withopen()optionO_DSYNC)fdatasync(callfdatasync()at each commit)fsync(callfsync()at each commit)fsync_writethrough(callfsync()at each commit, forcing write-through of any disk write cache)open_sync(write WAL files withopen()optionO_SYNC)
The
open_* options also useO_DIRECTif available. Not all of these choices are available on all platforms. The default is the first method in the above list that is supported by the platform, except thatfdatasyncis the default on Linux and FreeBSD. The default is not necessarily ideal; it might be necessary to change this setting or other aspects of your system configuration in order to create a crash-safe configuration or achieve optimal performance. These aspects are discussed in Section 28.1. This parameter can only be set in thepostgresql.conffile or on the server command line.full_page_writes(boolean)When this parameter is on, the Postgres Pro server writes the entire content of each disk page to WAL during the first modification of that page after a checkpoint. This is needed because a page write that is in process during an operating system crash might be only partially completed, leading to an on-disk page that contains a mix of old and new data. The row-level change data normally stored in WAL will not be enough to completely restore such a page during post-crash recovery. Storing the full page image guarantees that the page can be correctly restored, but at the price of increasing the amount of data that must be written to WAL. (Because WAL replay always starts from a checkpoint, it is sufficient to do this during the first change of each page after a checkpoint. Therefore, one way to reduce the cost of full-page writes is to increase the checkpoint interval parameters.)
Turning this parameter off speeds normal operation, but might lead to either unrecoverable data corruption, or silent data corruption, after a system failure. The risks are similar to turning off
fsync, though smaller, and it should be turned off only based on the same circumstances recommended for that parameter.Turning off this parameter does not affect use of WAL archiving for point-in-time recovery (PITR) (see Section 24.3).
This parameter can only be set in the
postgresql.conffile or on the server command line. The default ison.wal_log_hints(boolean)When this parameter is
on, the Postgres Pro server writes the entire content of each disk page to WAL during the first modification of that page after a checkpoint, even for non-critical modifications of so-called hint bits.If data checksums are enabled, hint bit updates are always WAL-logged and this setting is ignored. You can use this setting to test how much extra WAL-logging would occur if your database had data checksums enabled.
This parameter can only be set at server start. The default value is
off.wal_compression(boolean)When this parameter is
on, the Postgres Pro server compresses full page images written to WAL (e.g. when full_page_writes is on, during a base backup, etc.). A compressed page image will be decompressed during WAL replay. The default value isoff. Only superusers can change this setting.Turning this parameter on can reduce the WAL volume without increasing the risk of unrecoverable data corruption, but at the cost of some extra CPU spent on the compression during WAL logging and on the decompression during WAL replay.
wal_init_zero(boolean)If set to
on(the default), this option causes new WAL files to be filled with zeroes. On some file systems, this ensures that space is allocated before we need to write WAL records. However, Copy-On-Write (COW) file systems may not benefit from this technique, so the option is given to skip the unnecessary work. If set tooff, only the final byte is written when the file is created so that it has the expected size.wal_recycle(boolean)If set to
on(the default), this option causes WAL files to be recycled by renaming them, avoiding the need to create new ones. On COW file systems, it may be faster to create new ones, so the option is given to disable this behavior.wal_buffers(integer)The amount of shared memory used for WAL data that has not yet been written to disk. The default setting of -1 selects a size equal to 1/32nd (about 3%) of shared_buffers, but not less than
64kBnor more than the size of one WAL segment, typically16MB. This value can be set manually if the automatic choice is too large or too small, but any positive value less than32kBwill be treated as32kB. If this value is specified without units, it is taken as WAL blocks, that isXLOG_BLCKSZbytes, typically 8kB. This parameter can only be set at server start.The contents of the WAL buffers are written out to disk at every transaction commit, so extremely large values are unlikely to provide a significant benefit. However, setting this value to at least a few megabytes can improve write performance on a busy server where many clients are committing at once. The auto-tuning selected by the default setting of -1 should give reasonable results in most cases.
wal_writer_delay(integer)Specifies how often the WAL writer flushes WAL, in time terms. After flushing WAL the writer sleeps for the length of time given by
wal_writer_delay, unless woken up sooner by an asynchronously committing transaction. If the last flush happened less thanwal_writer_delayago and less thanwal_writer_flush_afterworth of WAL has been produced since, then WAL is only written to the operating system, not flushed to disk. If this value is specified without units, it is taken as milliseconds. The default value is 200 milliseconds (200ms). Note that on many systems, the effective resolution of sleep delays is 10 milliseconds; settingwal_writer_delayto a value that is not a multiple of 10 might have the same results as setting it to the next higher multiple of 10. This parameter can only be set in thepostgresql.conffile or on the server command line.wal_writer_flush_after(integer)Specifies how often the WAL writer flushes WAL, in volume terms. If the last flush happened less than
wal_writer_delayago and less thanwal_writer_flush_afterworth of WAL has been produced since, then WAL is only written to the operating system, not flushed to disk. Ifwal_writer_flush_afteris set to0then WAL data is always flushed immediately. If this value is specified without units, it is taken as WAL blocks, that isXLOG_BLCKSZbytes, typically 8kB. The default is1MB. This parameter can only be set in thepostgresql.conffile or on the server command line.wal_skip_threshold(integer)When
wal_levelisminimaland a transaction commits after creating or rewriting a permanent relation, this setting determines how to persist the new data. If the data is smaller than this setting, write it to the WAL log; otherwise, use an fsync of affected files. Depending on the properties of your storage, raising or lowering this value might help if such commits are slowing concurrent transactions. If this value is specified without units, it is taken as kilobytes. The default is two megabytes (2MB).commit_delay(integer)Setting
commit_delayadds a time delay before a WAL flush is initiated. This can improve group commit throughput by allowing a larger number of transactions to commit via a single WAL flush, if system load is high enough that additional transactions become ready to commit within the given interval. However, it also increases latency by up to thecommit_delayfor each WAL flush. Because the delay is just wasted if no other transactions become ready to commit, a delay is only performed if at leastcommit_siblingsother transactions are active when a flush is about to be initiated. Also, no delays are performed iffsyncis disabled. If this value is specified without units, it is taken as microseconds. The defaultcommit_delayis zero (no delay). Only superusers can change this setting.In PostgreSQL releases prior to 9.3,
commit_delaybehaved differently and was much less effective: it affected only commits, rather than all WAL flushes, and waited for the entire configured delay even if the WAL flush was completed sooner. Beginning in PostgreSQL 9.3, the first process that becomes ready to flush waits for the configured interval, while subsequent processes wait only until the leader completes the flush operation.commit_siblings(integer)Minimum number of concurrent open transactions to require before performing the
commit_delaydelay. A larger value makes it more probable that at least one other transaction will become ready to commit during the delay interval. The default is five transactions.
18.5.2. Checkpoints
checkpoint_timeout(integer)Maximum time between automatic WAL checkpoints. If this value is specified without units, it is taken as seconds. The valid range is between 30 seconds and one day. The default is five minutes (
5min). Increasing this parameter can increase the amount of time needed for crash recovery. This parameter can only be set in thepostgresql.conffile or on the server command line.checkpoint_completion_target(floating point)Specifies the target of checkpoint completion, as a fraction of total time between checkpoints. The default is 0.9, which spreads the checkpoint across almost all of the available interval, providing fairly consistent I/O load while also leaving some time for checkpoint completion overhead. Reducing this parameter is not recommended because it causes the checkpoint to complete faster. This results in a higher rate of I/O during the checkpoint followed by a period of less I/O between the checkpoint completion and the next scheduled checkpoint. This parameter can only be set in the
postgresql.conffile or on the server command line.checkpoint_flush_after(integer)Whenever more than this amount of data has been written while performing a checkpoint, attempt to force the OS to issue these writes to the underlying storage. Doing so will limit the amount of dirty data in the kernel's page cache, reducing the likelihood of stalls when an
fsyncis issued at the end of the checkpoint, or when the OS writes data back in larger batches in the background. Often that will result in greatly reduced transaction latency, but there also are some cases, especially with workloads that are bigger than shared_buffers, but smaller than the OS's page cache, where performance might degrade. This setting may have no effect on some platforms. If this value is specified without units, it is taken as blocks, that isBLCKSZbytes, typically 8kB. The valid range is between0, which disables forced writeback, and2MB. The default is256kBon Linux,0elsewhere. (IfBLCKSZis not 8kB, the default and maximum values scale proportionally to it.) This parameter can only be set in thepostgresql.conffile or on the server command line.checkpoint_warning(integer)Write a message to the server log if checkpoints caused by the filling of WAL segment files happen closer together than this amount of time (which suggests that
max_wal_sizeought to be raised). If this value is specified without units, it is taken as seconds. The default is 30 seconds (30s). Zero disables the warning. No warnings will be generated ifcheckpoint_timeoutis less thancheckpoint_warning. This parameter can only be set in thepostgresql.conffile or on the server command line.max_wal_size(integer)Maximum size to let the WAL grow during automatic checkpoints. This is a soft limit; WAL size can exceed
max_wal_sizeunder special circumstances, such as heavy load, a failingarchive_command, or a highwal_keep_sizesetting. If this value is specified without units, it is taken as megabytes. The default is 1 GB. Increasing this parameter can increase the amount of time needed for crash recovery. This parameter can only be set in thepostgresql.conffile or on the server command line.min_wal_size(integer)As long as WAL disk usage stays below this setting, old WAL files are always recycled for future use at a checkpoint, rather than removed. This can be used to ensure that enough WAL space is reserved to handle spikes in WAL usage, for example when running large batch jobs. If this value is specified without units, it is taken as megabytes. The default is 80 MB. This parameter can only be set in the
postgresql.conffile or on the server command line.
18.5.3. Archiving
archive_mode(enum)When
archive_modeis enabled, completed WAL segments are sent to archive storage by setting archive_command. In addition tooff, to disable, there are two modes:on, andalways. During normal operation, there is no difference between the two modes, but when set toalwaysthe WAL archiver is enabled also during archive recovery or standby mode. Inalwaysmode, all files restored from the archive or streamed with streaming replication will be archived (again). See Section 25.2.9 for details.archive_modeandarchive_commandare separate variables so thatarchive_commandcan be changed without leaving archiving mode. This parameter can only be set at server start.archive_modecannot be enabled whenwal_levelis set tominimal.archive_command(string)The local shell command to execute to archive a completed WAL file segment. Any
%pin the string is replaced by the path name of the file to archive, and any%fis replaced by only the file name. (The path name is relative to the working directory of the server, i.e., the cluster's data directory.) Use%%to embed an actual%character in the command. It is important for the command to return a zero exit status only if it succeeds. For more information see Section 24.3.1.This parameter can only be set in the
postgresql.conffile or on the server command line. It is ignored unlessarchive_modewas enabled at server start. Ifarchive_commandis an empty string (the default) whilearchive_modeis enabled, WAL archiving is temporarily disabled, but the server continues to accumulate WAL segment files in the expectation that a command will soon be provided. Settingarchive_commandto a command that does nothing but return true, e.g.,/bin/true(REMon Windows), effectively disables archiving, but also breaks the chain of WAL files needed for archive recovery, so it should only be used in unusual circumstances.archive_timeout(integer)The archive_command is only invoked for completed WAL segments. Hence, if your server generates little WAL traffic (or has slack periods where it does so), there could be a long delay between the completion of a transaction and its safe recording in archive storage. To limit how old unarchived data can be, you can set
archive_timeoutto force the server to switch to a new WAL segment file periodically. When this parameter is greater than zero, the server will switch to a new segment file whenever this amount of time has elapsed since the last segment file switch, and there has been any database activity, including a single checkpoint (checkpoints are skipped if there is no database activity). Note that archived files that are closed early due to a forced switch are still the same length as completely full files. Therefore, it is unwise to use a very shortarchive_timeout— it will bloat your archive storage.archive_timeoutsettings of a minute or so are usually reasonable. You should consider using streaming replication, instead of archiving, if you want data to be copied off the primary server more quickly than that. If this value is specified without units, it is taken as seconds. This parameter can only be set in thepostgresql.conffile or on the server command line.
18.5.4. Archive Recovery
This section describes the settings that apply only for the duration of the recovery. They must be reset for any subsequent recovery you wish to perform.
“Recovery” covers using the server as a standby or for executing a targeted recovery. Typically, standby mode would be used to provide high availability and/or read scalability, whereas a targeted recovery is used to recover from data loss.
To start the server in standby mode, create a file called standby.signal in the data directory. The server will enter recovery and will not stop recovery when the end of archived WAL is reached, but will keep trying to continue recovery by connecting to the sending server as specified by the primary_conninfo setting and/or by fetching new WAL segments using restore_command. For this mode, the parameters from this section and Section 18.6.3 are of interest. Parameters from Section 18.5.5 will also be applied but are typically not useful in this mode.
To start the server in targeted recovery mode, create a file called recovery.signal in the data directory. If both standby.signal and recovery.signal files are created, standby mode takes precedence. Targeted recovery mode ends when the archived WAL is fully replayed, or when recovery_target is reached. In this mode, the parameters from both this section and Section 18.5.5 will be used.
restore_command(string)The local shell command to execute to retrieve an archived segment of the WAL file series. This parameter is required for archive recovery, but optional for streaming replication. Any
%fin the string is replaced by the name of the file to retrieve from the archive, and any%pis replaced by the copy destination path name on the server. (The path name is relative to the current working directory, i.e., the cluster's data directory.) Any%ris replaced by the name of the file containing the last valid restart point. That is the earliest file that must be kept to allow a restore to be restartable, so this information can be used to truncate the archive to just the minimum required to support restarting from the current restore.%ris typically only used by warm-standby configurations (see Section 25.2). Write%%to embed an actual%character.It is important for the command to return a zero exit status only if it succeeds. The command will be asked for file names that are not present in the archive; it must return nonzero when so asked. Examples:
restore_command = 'cp /mnt/server/archivedir/%f "%p"' restore_command = 'copy "C:\\server\\archivedir\\%f" "%p"' # Windows
An exception is that if the command was terminated by a signal (other than SIGTERM, which is used as part of a database server shutdown) or an error by the shell (such as command not found), then recovery will abort and the server will not start up.
archive_cleanup_command(string)This optional parameter specifies a shell command that will be executed at every restartpoint. The purpose of
archive_cleanup_commandis to provide a mechanism for cleaning up old archived WAL files that are no longer needed by the standby server. Any%ris replaced by the name of the file containing the last valid restart point. That is the earliest file that must be kept to allow a restore to be restartable, and so all files earlier than%rmay be safely removed. This information can be used to truncate the archive to just the minimum required to support restart from the current restore. The pg_archivecleanup module is often used inarchive_cleanup_commandfor single-standby configurations, for example:archive_cleanup_command = 'pg_archivecleanup /mnt/server/archivedir %r'
Note however that if multiple standby servers are restoring from the same archive directory, you will need to ensure that you do not delete WAL files until they are no longer needed by any of the servers.
archive_cleanup_commandwould typically be used in a warm-standby configuration (see Section 25.2). Write%%to embed an actual%character in the command.If the command returns a nonzero exit status then a warning log message will be written. An exception is that if the command was terminated by a signal or an error by the shell (such as command not found), a fatal error will be raised.
This parameter can only be set in the
postgresql.conffile or on the server command line.recovery_end_command(string)This parameter specifies a shell command that will be executed once only at the end of recovery. This parameter is optional. The purpose of the
recovery_end_commandis to provide a mechanism for cleanup following replication or recovery. Any%ris replaced by the name of the file containing the last valid restart point, like in archive_cleanup_command.If the command returns a nonzero exit status then a warning log message will be written and the database will proceed to start up anyway. An exception is that if the command was terminated by a signal or an error by the shell (such as command not found), the database will not proceed with startup.
This parameter can only be set in the
postgresql.conffile or on the server command line.
18.5.5. Recovery Target
By default, recovery will recover to the end of the WAL log. The following parameters can be used to specify an earlier stopping point. At most one of recovery_target, recovery_target_lsn, recovery_target_name, recovery_target_time, or recovery_target_xid can be used; if more than one of these is specified in the configuration file, an error will be raised. These parameters can only be set at server start.
recovery_target= 'immediate'This parameter specifies that recovery should end as soon as a consistent state is reached, i.e., as early as possible. When restoring from an online backup, this means the point where taking the backup ended.
Technically, this is a string parameter, but
'immediate'is currently the only allowed value.recovery_target_name(string)This parameter specifies the named restore point (created with
pg_create_restore_point()) to which recovery will proceed.recovery_target_time(timestamp)This parameter specifies the time stamp up to which recovery will proceed. The precise stopping point is also influenced by recovery_target_inclusive.
The value of this parameter is a time stamp in the same format accepted by the
timestamp with time zonedata type, except that you cannot use a time zone abbreviation (unless the timezone_abbreviations variable has been set earlier in the configuration file). Preferred style is to use a numeric offset from UTC, or you can write a full time zone name, e.g.,Europe/HelsinkinotEEST.recovery_target_xid(string)This parameter specifies the transaction ID up to which recovery will proceed. Keep in mind that while transaction IDs are assigned sequentially at transaction start, transactions can complete in a different numeric order. The transactions that will be recovered are those that committed before (and optionally including) the specified one. The precise stopping point is also influenced by recovery_target_inclusive.
recovery_target_lsn(pg_lsn)This parameter specifies the LSN of the write-ahead log location up to which recovery will proceed. The precise stopping point is also influenced by recovery_target_inclusive. This parameter is parsed using the system data type
pg_lsn.
The following options further specify the recovery target, and affect what happens when the target is reached:
recovery_target_inclusive(boolean)Specifies whether to stop just after the specified recovery target (
on), or just before the recovery target (off). Applies when recovery_target_lsn, recovery_target_time, or recovery_target_xid is specified. This setting controls whether transactions having exactly the target WAL location (LSN), commit time, or transaction ID, respectively, will be included in the recovery. Default ison.recovery_target_timeline(string)Specifies recovering into a particular timeline. The value can be a numeric timeline ID or a special value. The value
currentrecovers along the same timeline that was current when the base backup was taken. The valuelatestrecovers to the latest timeline found in the archive, which is useful in a standby server.latestis the default.You usually only need to set this parameter in complex re-recovery situations, where you need to return to a state that itself was reached after a point-in-time recovery. See Section 24.3.5 for discussion.
recovery_target_action(enum)Specifies what action the server should take once the recovery target is reached. The default is
pause, which means recovery will be paused.promotemeans the recovery process will finish and the server will start to accept connections. Finallyshutdownwill stop the server after reaching the recovery target.The intended use of the
pausesetting is to allow queries to be executed against the database to check if this recovery target is the most desirable point for recovery. The paused state can be resumed by usingpg_wal_replay_resume()(see Table 9.89), which then causes recovery to end. If this recovery target is not the desired stopping point, then shut down the server, change the recovery target settings to a later target and restart to continue recovery.The
shutdownsetting is useful to have the instance ready at the exact replay point desired. The instance will still be able to replay more WAL records (and in fact will have to replay WAL records since the last checkpoint next time it is started).Note that because
recovery.signalwill not be removed whenrecovery_target_actionis set toshutdown, any subsequent start will end with immediate shutdown unless the configuration is changed or therecovery.signalfile is removed manually.This setting has no effect if no recovery target is set. If hot_standby is not enabled, a setting of
pausewill act the same asshutdown. If the recovery target is reached while a promotion is ongoing, a setting ofpausewill act the same aspromote.In any case, if a recovery target is configured but the archive recovery ends before the target is reached, the server will shut down with a fatal error.
recovery_target_db(string)Specifies a comma-separated list of OIDs for databases whose WAL records should be processed during recovery. WAL records for databases not listed are skipped. This speeds up the recovery process.
If this parameter is not set, all WAL records are processed by default.