E.17. Postgres Pro Enterprise 13.11.1

Дата выпуска: 2023-06-05

E.17.1. Обзор

Этот выпуск основан на PostgreSQL 13.11 и Postgres Pro Enterprise 13.10.2. Все изменения, унаследованные от PostgreSQL 13.11, описаны в Замечаниях к выпуску PostgreSQL 13.11. По сравнению с Postgres Pro Enterprise 13.10.2 эта версия также содержит следующие изменения:

  • Оптимизирован процесс сборки мусора в CFS: уменьшено потребление ресурсов процессора и количество чтений с диска при анализе файлов.

  • Добавлен параметр конфигурации unicode_nul_character_replacement_in_jsonb для замены '\u0000' заданным символом Unicode при вызове функции, обрабатывающей JSONB.

  • Улучшена производительность операций DDL с временными таблицами. Благодаря изменению механизма блокировки теперь при большом значении max_connections стоимость получения блокировок для таблиц с меткой ON COMMIT DELETE ROWS стала ниже.

  • Добавлен журнал операций, в котором хранится информация о критически важных системных событиях, таких как обновление, выполнение pg_resetwal и т. п. Эта информация важна для осуществления технической поддержки со стороны поставщика. Запись в журнал операций производится только на системном уровне, а для его чтения используются функции SQL. (См. Подраздел 9.27.12.)

  • Устранена проблема в пуле соединений, которая могла приводить к завершению обслуживающего процесса, если клиент прерывал соединение во время аутентификации.

  • Исправлена проблема, заключавшаяся в том, что файлы данных CFS на реплике были гораздо большего размера, чем на ведущем сервере. Теперь файлы на реплике записываются таким же образом, как на ведущем сервере, когда достигается согласованное состояние после восстановления.

  • Из файла postgresql.conf удалён признанный устаревшим параметр конфигурации cfs_gc_verify_file. Параметр конфигурации cfs_encryption также признан устаревшим и будет удалён в следующих выпусках.

  • Прекращена поддержка системы Ubuntu 18.04.

  • Приложение mamonsu обновлено до версии 3.5.3, в которой были исправлены некоторые ошибки и появились новые возможности. Основные изменения перечислены ниже:

    • Удалено ограничение, которое не позволяло пользователям, кроме mamonsu, читать и редактировать файл конфигурации agent.conf. В частности, плагин pg_probackup теперь работает корректно, когда пользователь mamonsu является владельцем каталога резервных копий pg_probackup.

    • Удалены метрики, конфликтующие с собственными агентами Zabbix, из экспортируемого файла конфигурации Zabbix.

    • Исправлен выбор расширения по умолчанию для сбора статистики. Теперь, если установлены и pgpro_stats, и pg_stat_statements, pgpro_stats корректно выбирается как используемое по умолчанию.

    • Добавлена проверка того, что сервер, на котором работает плагин mamonsu WAL, не находится в режиме восстановления.

  • Из репликации multimaster исключены команды CREATE TABLESPACE и DROP TABLESPACE. Эти команды должны выполняться отдельно на каждом узле-партнёре.

  • Расширение pg_hint_plan обновлено до версии 1.3.8, в которой появился параметр hints_anywhere, позволяющий размещать указания в любом месте запроса.

  • Приложение pg_probackup обновлено до версии 2.6.4 Enterprise, в которой улучшена производительность и исправлены некоторые ошибки. Предыдущие версии несовместимы с Postgres Pro Enterprise версии 13.11.1. Основные изменения перечислены ниже:

    • Команда catchup, ранее доступная только в тестовом режиме, теперь доступна в производственной среде.

    • Добавлена оптимизация для инкрементальных резервных копий, уменьшающая объём чтения с диска почти в два раза.

    • Улучшена информативность сообщений об ошибках и предупреждений, а также унифицирован стиль сообщений об ошибках.

    • Повышена надёжность и устранены проблемы в операциях merge и backup с таблицами CFS.

    • Устранены проблемы с удобством использования команды show, в частности: исправлено отображение времени восстановления, которое иногда могло не отображаться после успешного резервного копирования; время резервного копирования теперь отображается в табличном виде, даже если резервное копирование завершилось ошибкой.

    • Устранена ошибка в указании относительного пути после восстановления кластера из резервной копии.

    • Исправлено назначение идентификаторов резервных копий, которое в некоторых случаях выполнялось некорректно.

    • Добавлена возможность пропускать создание или инициализацию существующего копируемого экземпляра.

    • Устранена проблема, из-за которой в инкрементальную резервную копию добавлялись все данные, а не только изменённые.

  • Приложение pgpro_stats обновлено до версии 1.6, в которой были исправлены некоторые ошибки и появились новые возможности:

    • Реализована трассировка сеансов приложений на основе фильтров, которые запускают протоколирование выполнения запросов, соответствующих условиям фильтрации. Вы можете использовать функции pgpro_stats для создания, изменения или удаления фильтров запросов. (За подробностями обратитесь к Подразделу G.3.8.1.)

    • Добавлены доступные только для суперпользователей функции, позволяющие создавать представления, которые эмулируют расширения pg_stat_statements и pg_stat_kcache. Можно создать представления pg_stat_statements, pg_stat_statements_info, pg_stat_kcache и pg_stat_kcache_detail. После этого с созданными представлениями можно работать так же, как если бы были установлены соответствующие расширения. (За подробностями обратитесь к Подразделу G.3.6.1.)

    • Добавлено представление pgpro_stats_archiver, которое расширяет системное представление pg_stat_archiver, добавляя к нему два новых поля: общее время, в течение которого процесс архивации был активен, и общее время, затраченное на выполнение команды архивации.

    • Добавлена обратная совместимость интерфейса статистик очистки. Теперь поддерживаются случаи, когда более новая версия загружаемого модуля pgpro_stats используется со старым объявлением SQL функций. Ранее подобные случаи вызывали крах сервера.

    • Устранены возможные сбои сервера, которые могли произойти из-за переполнения PGDATA, когда в расширении pgpro_stats выполнялся один или несколько длинных запросов. Теперь для хранения текстов запросов вместо временного файла, расположенного в каталоге PGDATA/pg_stat_tmp, можно использовать каталог с внешним файлом, установив значение параметра конфигурации pgpro_stats.stats_temp_directory. Можно установить это значение равным значению параметра конфигурации системы stats_temp_directory, но следует учитывать, что значение pgpro_stats.stats_temp_directory можно установить только при запуске сервера.

  • Модуль pgpro_pwr обновлён до версии 4.1.3, в которой добавлена поддержка расширения pgpro_stats версии 1.6 и появились новые возможности:

    • Добавлены таблицы отчётов «Top tables by removed all-visible/all-frozed marks» (Таблицы с наибольшим количеством удалённых меток полной видимости/заморозки).

    • Добавлено несколько новых полей в таблицу отчёта «Cluster Statistics» (Статистика кластера).

  • Расширение PTRACK обновлено до версии 2.4.3.

  • Модуль orafce обновлён до версии 4.2.6.

E.17.2. Миграция на версию 13.11.1

Если вы производите обновление выпуска Postgres Pro Enterprise, базирующегося на той же основной версии PostgreSQL, достаточно просто установить новый выпуск в текущий каталог инсталляции.

Если вы хотите сохранить существующее представление карт видимости в pageinspect при миграции на текущую основную версию Postgres Pro Enterprise с использованием pg_upgrade, выполните команду VACUUM, прежде чем начинать обновление.

При обновлении до версии Postgres Pro Enterprise 13.11.1 и выше обязательно обновите pg_probackup до версии 2.6.4 или выше, поскольку более ранние версии pg_probackup несовместимы с этими версиями Postgres Pro Enterprise.

Если вы ранее мигрировали на Postgres Pro Enterprise версии 13.3.1 или ниже, обязательно перестройте индексы GIN, выполнив команду REINDEX.

Если вы используете PTRACK в процедуре резервного копирования, реализуемой c помощью утилиты pg_probackup, и обновляетесь с Postgres Pro Enterprise версии 13.2.2 или ниже, сделайте полную резервную копию базы данных после обновления.

Если в вашей инсталляции Postgres Pro Enterprise 13.2.1 имеются сжатые табличные пространства, созданные без явного выбора алгоритма pglz, произведите обновление следующим образом. До обновления выгрузите полный дамп, используя pg_dumpall. Обновите Postgres Pro Enterprise, пересоздайте кластер баз данных и восстановите все данные из дампа. Затем вы можете создать табличные пространства CFS по прежней схеме.

Если вы уже обновили инсталляцию Postgres Pro Enterprise 13.2.1 с табличными пространствами CFS и потеряли доступ к сжатым данным, обратитесь к службе поддержки.

Для перехода с PostgreSQL, а также с выпуска Postgres Pro Standard или Postgres Pro Enterprise, базирующегося на предыдущей основной версии PostgreSQL, обратитесь к инструкциям по миграции на версию 13.

E.17. Postgres Pro Enterprise 13.11.1

Release Date: 2023-06-05

E.17.1. Overview

This release is based on PostgreSQL 13.11 and Postgres Pro Enterprise 13.10.2. All changes inherited from PostgreSQL 13.11 are listed in PostgreSQL 13.11 Release Notes. As compared with Postgres Pro Enterprise 13.10.2, this version also provides the following changes:

  • Optimized CFS garbage collector: reduced CPU costs and reads from disk during file analysis.

  • Added the unicode_nul_character_replacement_in_jsonb configuration parameter to replace '\u0000' with the specified unicode character when calling a function processing JSONB.

  • Improved performance of DDL operations on temporary tables. When max_connections is high, the costs to acquire locks for the tables that are marked ON COMMIT DELETE ROWS are now reduced due to the change of the locking mechanism.

  • Added an operation log, which stores information about system events such as an upgrade, execution of pg_resetwal and so on, which is highly useful for vendor's technical support. Recording to the operation log is only done at the system level, and SQL functions are used to read it. (See Section 9.27.12.)

  • Fixed an issue in the connection pooler, which could cause backend termination if the client aborted the connection during authentication.

  • Fixed an issue with much larger CFS data files on the replica compared to the primary. Now the replica writes the files in the same way as the primary when consistent recovery state is reached.

  • Removed the deprecated configuration parameter cfs_gc_verify_file from postgresql.conf. The configuration parameter cfs_encryption is deprecated and will be removed in a future release.

  • Ended support for Ubuntu 18.04.

  • Upgraded mamonsu to version 3.5.3, which provides new features and bugfixes. Notable changes are as follows:

    • Removed the limitation that did not allow a user different from mamonsu to read and edit the configuration file agent.conf. Specifically, the pg_probackup plugin now works correctly when the mamonsu user owns the pg_probackup backup directory.

    • Removed metrics that conflict native Zabbix agents from Zabbix configuration file being exported.

    • Fixed mamonsu choice of the default extension to collect statistics. Now when pgpro_stats and pg_stat_statements are both installed, pgpro_stats is correctly treated as the default one.

    • Added a check that the server where mamonsu WAL plugin runs is not in recovery.

  • Excluded CREATE TABLESPACE and DROP TABLESPACE from multimaster replication. These commands should be executed separately on each peer node.

  • Upgraded pg_hint_plan to version 1.3.8, which provides the hints_anywhere parameter that allows to place hints anywhere in the query.

  • Upgraded pg_probackup to version 2.6.4 Enterprise, which provides optimizations and bug fixes. Lower versions are incompatible with Postgres Pro Enterprise 13.11.1. Notable changes are as follows:

    • Included the catchup command, which was previously provided only in a test mode, in the production delivery.

    • Added optimizations for incremental backups that reduce disk read amount almost twice.

    • Improved error and warning messaging and unified the error message style.

    • Fixed issues and improved the reliability of CFS table merge and backup operations.

    • Fixed usability issues with the show command, in particular: fixed displaying the recovery time, which could sometimes not be displayed after a successful backup; made the backup time be displayed in a table view even if the backup ended with an error.

    • Fixed an error in specifying the relative path after restoring a cluster from a backup.

    • Corrected an improper assignment of backup IDs that took place in some cases.

    • Added an option to skip creation or initialization of an existing backup instance.

    • Fixed an issue with inclusion of the whole data in an incremental backup rather than only the changed data.

  • Upgraded pgpro_stats to version 1.6, which provides new features and bugfixes:

    • Implemented tracing of application sessions, based on filters, which trigger logging the execution of queries that match filtering conditions. You can use pgpro_stats functions to create, update or delete query filters. (See Section G.3.8.1 for details.)

    • Added functions for superuser to create views that emulate pg_stat_statements and pg_stat_kcache extensions. Specifically, pg_stat_statements, pg_stat_statements_info, pg_stat_kcache and pg_stat_kcache_detail views can be created. Once they are created, you can work with them as if the appropriate extension is installed. (See Section G.3.6.1 for details.)

    • Added pgpro_stats_archiver view, which extends the pg_stat_archiver view by adding two fields, showing overall time that the archiver process was active and overall execution time of the archive command.

    • Implemented backward compatibility of the vacuum statistics interface. Now a newer version of the pgpro_stats shared library can be safely used with old declarations of SQL functions. Previously such cases caused a server crash.

    • Fixed possible server crashes that could occur due to PGDATA overflow when in pgpro_stats, one or several long queries were executed. Now instead of storing query texts in a temporary file located in the PGDATA/pg_stat_tmp directory, it is possible to choose the directory with the external file to store query texts by setting the value of the pgpro_stats.stats_temp_directory configuration parameter. If you wish, you can set this value equal to the value of the system configuration parameter stats_temp_directory. But keep in mind that pgpro_stats.stats_temp_directory can only be set at the server start.

  • Upgraded pgpro_pwr to version 4.1.3, which supports pgpro_stats 1.6 and provides the following new features:

    • Added report tables Top tables by removed all-visible/all-frozed marks.

    • Added a few new fields to the Cluster Statistics report table.

  • Upgraded PTRACK to version 2.4.3.

  • Upgraded orafce to version 4.2.6.

E.17.2. Migration to Version 13.11.1

If you are upgrading from a Postgres Pro Enterprise release based on the same PostgreSQL major version, it is enough to install the new version into your current installation directory.

If you are migrating to the current major version of Postgres Pro Enterprise using pg_upgrade, and you want to keep the existing visibility map representation in pageinspect, you should run the VACUUM command before the upgrade.

When upgrading to Postgres Pro Enterprise versions starting with 13.11.1, make sure to upgrade pg_probackup to version 2.6.4 or higher since lower versions are incompatible with these Postgres Pro Enterprise versions.

If you have previously migrated to Postgres Pro Enterprise 13.3.1 or lower, you must run the REINDEX command to rebuild GIN indexes.

If you are upgrading from Postgres Pro Enterprise versions 13.2.2 or lower and take PTRACK backups using pg_probackup, retake a full backup after upgrade.

If you have an installation of Postgres Pro Enterprise 13.2.1 that contains compressed tablespaces created without explicitly specifying the pglz algorithm, perform an upgrade as follows. Before upgrading, make a complete dump using pg_dumpall. Upgrade Postgres Pro Enterprise, re-create your database cluster, and restore the dump. Then you can create compressed tablespaces in the same way as before.

If you have already upgraded your installation with CFS tablespaces from Postgres Pro Enterprise 13.2.1, and you cannot access the compressed data, call the support team.

To migrate from PostgreSQL, as well as Postgres Pro Standard or Postgres Pro Enterprise based on a previous PostgreSQL major version, see the migration instructions for version 13.

FAQ