Параллельные запросы (Роберт Хаас, Амит Капила, Дэвид Роули и многие другие)

С версией 9.6 в PostgreSQL появляется начальная поддержка параллельного выполнения больших запросов. Параллельному выполнению подлежат строго запросы только на чтение, в которых производится последовательное сканирование целевой таблицы. В параллельном режиме могут выполняться и соединения по хешу с вложенными циклами, а также агрегирование (с поддерживаемыми агрегатными функциями). Ещё многое предстоит сделать, но и этот набор возможностей уже весьма полезен.

Параллельное выполнение запросов по умолчанию отключено (пока). Чтобы выключить его, установите для нового конфигурационного параметра max_parallel_workers_per_gather значение, большее нуля. Для дополнительной настройки распараллеливания запросов также введены новые параметры force_parallel_mode, parallel_setup_cost, parallel_tuple_cost и min_parallel_relation_size.

Инфраструктура для обозначения параллельно-безопасности функций (Роберт Хаас, Амит Капила)

Индексы GIN строятся более эффективно при значениях maintenance_work_mem, превышающих 1 ГБ (Роберт Абрахам, Фёдор Сигаев)

Включение страниц, удаляемых из очереди обработки индекса GIN, сразу в карту свободного пространства (Джефф Джейнс, Фёдор Сигаев)

Это предотвращает замусоривание базы, если таблица очищается нечасто.

Добавление функции gin_clean_pending_list(), позволяющей вручную вызвать очистку очереди обработки индекса GIN (Джефф Джейнс)

Ранее такая очистка производилась только в результате очистки или анализа родительской таблицы.

Оптимизация обработки «мёртвых» кортежей в индексах GiST (Анастасия Лубенникова)

Кортежи в индексе теперь помечаются как «мёртвые», если при сканировании индекса обнаруживается, что соответствующий кортеж в куче — «мёртвый». Впоследствии, при добавлении новых кортежей, кортежи, помеченные как «мёртвые», могут быть замещены, если потребуется место на этой странице.

Добавлен класс операторов SP-GiST для типа box (Александр Лебедев)

Увеличение производительности сортировки за счёт использования quicksort вместо выбора с замещением при выполнении этапов внешней сортировки (Питер Гейган)

Новый подход позволяет эффективнее использовать кеш процессора при типичных размерах кеша и объёмах данных. Где необходимо, новое поведение можно скорректировать, воспользовавшись новым конфигурационным параметром replacement_sort_tuples.

Ускорение сортировки текста, когда одна и та же строка встречается многократно (Питер Гейган)

Ускорение сортировки типов uuid, bytea и char(n) за счёт использования «сокращённых» ключей (Питер Гейган)

Поддержка сокращённых ключей была также добавлена в дополнительные классы операторов text_pattern_ops, varchar_pattern_ops и bpchar_pattern_ops. Сокращённые ключи теперь могут задействоваться и при вычислении сортирующих агрегатных функций.

Ускорение команды CREATE INDEX CONCURRENTLY за счёт обработки идентификаторов TID как 64-битных целых в процессе сортировки (Питер Гейган)

Уменьшение конкуренции за ProcArrayLock (Амит Капила, Роберт Хаас)

Улучшение производительности за счёт переноса блокировок содержимого буфера в дескрипторы буферов (Андрес Фройнд, Саймон Риггс)

Замена циклических блокировок заголовков в общем буфере атомарными операциями для улучшения масштабируемости (Александр Коротков, Андрес Фройнд)

Использование атомарных операций вместо циклических блокировок для защиты очереди ожидания LWLock (Андрес Фройнд)

Разбиение на части списка свободных элементов для разделяемых по хешу таблиц, для уменьшения конкуренции на многопроцессорных серверах (Александр Алексеев)

Сокращение взаимоблокировок на резервных серверах при воспроизведении операций очистки индекса-B-дерева (Саймон Риггс)

Это изменение исключает существенные задержки при репликации, которые иногда имели место при воспроизведении таких операций.

Улучшение оценок ANALYZE для столбцов с большим количеством NULL (Томаш Вондра, Александр Шульгин)

Ранее процедура ANALYZE была склонна недооценивать число различных и отличных от NULL значений в столбце со множеством NULL, и также неточно вычисляла наиболее распространённые значения.

Улучшение оценки планировщиком количества различных значений в результате запроса (Томаш Вондра)

Использование связей по внешним ключам для оценки избирательности предикатов соединения (Томаш Вондра, Дэвид Роули)

Если в таблице t имеется ограничение внешнего ключа, например (a,b) REFERENCES r (x,y), то условие WHERE вида t.a = r.x AND t.b = r.y не может выбрать больше одной строки из r для строки t. Ранее планировщик считал объединённые AND условия независимыми и поэтому часто неправильно оценивал избирательность запроса. Теперь он сравнивает условия WHERE с применимыми ограничениями внешнего ключа и получает более точные оценки.

Предупреждение повторной очистки страниц, содержащих только замороженные кортежи (Масахико Савада, Роберт Хаас, Андрес Фройнд)

Ранее очистка для предотвращения зацикливания должна была просматривать все страницы таблицы, даже страницы, с которыми ничего не нужно делать. Теперь страницы, содержащие только замороженные кортежи, обозначаются в карте видимости таблицы, и могут быть пропущены при очистке, даже когда она производится в целях предотвращения зацикливания транзакций. Это должно значительно снизить стоимость обслуживания больших таблиц, содержащих в основном постоянные данные.

Если необходимо, при очистке можно принудительно включить обработку полностью замороженных страниц, передав нововведённый параметр DISABLE_PAGE_SKIPPING. Это никогда не нужно делать в обычных условиях, но при повреждении карты видимости это может быть полезно.

Предупреждение бесполезных попыток усечения кучи в процессе VACUUM (Джефф Джейнс, Том Лейн)

Это изменение предотвращает исключительную блокировку таблицы в некоторых случаях, когда усечение таблицы невозможно. Прежде всего это полезно тем, что позволяет лишний раз не отменять запросы на резервных серверах.

Возможность аннулирования старых снимков MVCC после настраиваемого промежутка времени (Кевин Гриттнер)

Обычно удалённые кортежи не могут быть ликвидированы физически при очистке, пока не будет отработана последняя транзакция, в которой они могут быть видны. Транзакция, остающаяся открытой в течение долгого времени, таким образом может стать причиной значительного замусоривания таблицы, препятствуя освобождению места. Это средство позволяет задать с помощью нового конфигурационного параметра old_snapshot_threshold ограничение времени, в течение которого снимок MVCC будет гарантированно актуальным. По истечении этого времени мёртвые кортежи могут быть удалены. Транзакция, использующая просроченный снимок, получит ошибку, если она попытается прочитать страницу, которая могла бы содержать такие данные.

Игнорирование в GROUP BY столбцов, функционально зависящих от других (Дэвид Роули)

Если в предложение GROUP BY включаются все столбцы неотложенного первичного ключа, а также другие столбцы той же таблицы, последние столбцы являются избыточными и могут быть исключены из группировки. Во многих распространённых случаях это упрощает вычисления.

Возможность использования сканирования только индекса с частичным индексом, когда предложение WHERE индекса обращается к не индексированным столбцам (Томаш Вондра, Кётаро Хоригути)

Например, индекс, определённый командой CREATE INDEX tidx_partial ON t(b) WHERE a > 0, теперь может использоваться для сканирования только по индексу в запросе, в котором задаётся условие WHERE a > 0 и никак больше не задействуется a. Ранее это использование не допускалось, на основании того, что a не входит в число столбцов индекса.

Выполнение записи в контрольных точках упорядоченным образом (Фабьен Коэльо, Андрес Фройнд)

Ранее, в контрольных точках грязные страницы записывались в том порядке, в каком они располагались в общих буферах, то есть практически в случайном. Это влекло снижение производительности, особенно на вращающихся носителях. В результате данного изменения запись в контрольных точках будет производиться по порядку файлов и номеров блоков, и будет сбалансирована по табличным пространствам.

Там, где возможно, вызывать функцию отложенной записи в ядре после некоторого количества операций записи, во избежание накопления «грязных» данных в дисковых буферах ядра (Фабьен Коэльо, Андрес Фройнд)

PostgreSQL записывает данные в дисковый кеш ядра, откуда они будут сброшены в физическое хранилище в нужное время. Многие операционные системы не очень эффективно управляют этим, позволяя накапливаться в памяти большим объёмам данным, которые затем приходится сбрасывать на диск одномоментно, что приводит к большим задержкам при очередных операциях ввода/вывода до завершения сброса. Это изменение внесено, чтобы снять эту проблему, явно запрашивая сброс данных через определённый настраиваемый интервал.

В Linux для этой цели применяется функция sync_file_range(), и так как она практически безвредна, этот механизм задействуется в Linux по умолчанию. Возможность сброса буфера доступна и на других платформах, где имеется функция msync() или posix_fadvise(), но эти функции дают некоторые нежелательные побочные эффекты, поэтому на всех платформах кроме Linux данный механизм по умолчанию отключён.

Этим поведением управляют новые конфигурационные параметры backend_flush_after, bgwriter_flush_after, checkpoint_flush_after и wal_writer_flush_after.

Увеличение производительности агрегатных функций в результате разделения вычислений между несколькими агрегатами, если они имеют одинаковые аргументы и функции перехода (Дэвид Роули)

Например, в запросе SELECT AVG(x), VARIANCE(x) FROM tab для строки может быть достаточно одной операции для вычисления обоих агрегатов.

Ускорение проверок видимости для недавно созданных кортежей путём проверки снимка текущей транзакции, вместо pg_clog, для определения, должна ли исходная транзакция считаться зафиксированной (Джефф Джейнс, Том Лейн)

Допущение установки вспомогательных битов кортежей на более раннем этапе (Андрес Фройнд)

Увеличение производительности подготовленных транзакций с коротким временем жизни (Стас Кельвич, Саймон Риггс, Паван Деоласи)

Информация о двухфазной фиксации теперь записывается только в WAL во время PREPARE TRANSACTION и считывается назад из WAL во время COMMIT PREPARED, если это имеет место вскоре. Отдельный файл состояния создаётся, только если ожидающая транзакция не фиксируется и не прерывается к моменту следующей контрольной точки.

Увеличение скорости уничтожения контекста памяти (Ян Вик)

Увеличение производительности владельцев ресурсов с большим количеством отслеживаемых объектов (Александр Алексеев)

Увеличение скорости функций вывода типов timestamp, time и date (Дэвид Роули, Андрес Фройнд)

Недопущение некоторых излишних отмен запросов на серверах горячего резерва при воспроизведении действий, требующих блокировок AccessExclusive (Джефф Джейнс)

Расширение отношений на несколько блоков сразу при конкуренции за блокировку расширения отношения (Дилип Кумар)

Это улучшает масштабируемость и снижает уровень конфликтов.

Увеличение числа буферов clog для лучшей масштабируемости (Амит Капила, Андрес Фройнд)

Ускорение вычисления выражений в PL/pgSQL за счёт постоянного хранения в памяти записей ParamListInfo для простых переменных (Том Лейн)

Недопущение уменьшения значения SO_SNDBUF ниже значения по умолчанию в последних версиях Windows (Чен Хуацзюнь)

Отключение механизма update_process_title по умолчанию в Windows (Такаюки Цунакава)

В Windows издержки изменения заголовка процесса гораздо выше, чем на многих других платформах, и само это изменение менее полезно, так как большинство пользователей Windows не имеют утилит для наблюдения за заголовками процессов.

Добавление системного представления pg_stat_progress_vacuum для наблюдения за процессом выполнения операций VACUUM (Амит Ланготе, Роберт Хаас, Винаяк Покале, Рахила Сьед)

Добавление функций pg_control_system(), pg_control_checkpoint(), pg_control_recovery() и pg_control_init(), выдающих поля pg_control в SQL (Джо Конвей, Микаэль Пакье)

Добавление системного представления pg_config (Джо Конвей)

В этом представлении выводится та же информация, что выдаётся утилитой командной строки pg_config, а именно разнообразные конфигурационные параметры времени компиляции PostgreSQL.

Добавление столбца confirmed_flush_lsn в системное представление pg_replication_slots (Марко Тииккая)

Добавление системного представления pg_stat_wal_receiver с информацией о состоянии процесса приёмника WAL на сервере горячего резерва (Микаэль Пакье)

Добавление функции pg_blocking_pids() для надёжного определения, какие сеансы блокируют какие (Том Лейн)

Эта функция возвращает массив идентификаторов процессов всех сеансов, которые блокируют сеанс с заданным идентификатором. Ранее пользователи получали такую информацию, образуя замкнутое соединение с представлением pg_locks. Однако сделать это сколь-нибудь корректно слишком сложно, а с внедрением параллельных запросов старый подход стал полностью непрактичным, так как блокировки могут удерживаться или запрашиваться дочерними рабочими процессами, а не главным обслуживающим процессом сеанса.

Добавление функции pg_current_xlog_flush_location() для вывода текущей позиции сброшенной записи в журнале транзакции (Томаш Вондра)

Добавление функции pg_notification_queue_usage(), показывающей, насколько заполнена очередь NOTIFY (Брендан Юрд)

Ограничение подробностей при выводе статистики использования контекстов памяти (Том Лейн)

Информация об использовании памяти, выводимая в протокол главного сервера при нехватке памяти, теперь включает итоговую статистику при большом числе контекстов памяти, вместо одного объёмного отчёта. Также в неё теперь входит итоговая строка «Всего».

Добавление метода аутентификации BSD, позволяющего использовать для проверки подлинности клиентов PostgreSQL системную службу аутентификации BSD (Мариса Эмерсон)

Аутентификация BSD в настоящее время поддерживается только в OpenBSD.

Когда используется аутентификация PAM, через поле PAM_RHOST модулям PAM может выдаваться IP-адрес или имя компьютера клиента (Гжегож Сампольски)

Добавление вывода в протокол сервера сообщений о дополнительных типах ошибок при проверке пароля (Том Лейн)

Теперь в случае любых ошибок, которые обычно могут возникать, в протокол должны выдаваться сообщения уровня ПОДРОБНО.

Поддержка паролей RADIUS длиной до 128 символов (Марко Тииккая)

Добавление новых параметров аутентификации SSPI compat_realm и upn_username, позволяющих выбрать, как при проверке подлинности SSPI будут использоваться имена области и пользователя (NetBIOS или Kerberos) (Кристиан Ульрих)

Возможность автоматического завершения сеансов, которые находятся в состоянии простоя в транзакции слишком долго (Вик Фиринг)

Данное поведение настраивается новым конфигурационным параметром idle_in_transaction_session_timeout. Это помогает бороться с забытыми транзакциями, которые могут удерживать блокировки или мешать производить очистку в течение длительного времени.

Увеличение максимально допустимого значения checkpoint_timeout до 24 часов (Саймон Риггс)

Возможность устанавливать effective_io_concurrency для табличного пространства; это полезно в случаях, когда различные табличные пространства имеют разные характеристики ввода/вывода (Жюльен Руо)

Добавление в log_line_prefix спецкода %n для вывода текущего времени в формате Unix, с миллисекундами (Томаш Вондра, Джефф Дэвис)

Добавление конфигурационных параметров syslog_sequence_numbers и syslog_split_messages для дополнительной манипуляции форматом сообщений при выводе их в syslog (Питер Эйзентраут)

Объединение значений archive и hot_standby конфигурационного параметра wal_level в одном новом значении replica (Питер Эйзентраут)

Различать эти варианты больше не имеет смысла, и их слияние является шагом вперёд к запланированному упрощению организации репликации. Старые варианты по-прежнему принимаются, но внутри преобразуются к replica.

Добавление в configure параметра --with-systemd, позволяющего вызывать sd_notify() при запуске и остановке сервера (Питер Эйзентраут)

Это позволяет использовать единицы служб systemd типа notify, что значительно упрощает управление PostgreSQL в окружении systemd.

Теперь к файлу SSL-ключа сервера может быть разрешён доступ группы на чтение, если он принадлежит пользователю root (Кристоф Берг)

Ранее мы настаивали на том, чтобы файл ключа принадлежал пользователю, запускающему сервер PostgreSQL, но это оказалось неудобным в некоторых системах (например, в Debian), в которых организовано централизованное управление сертификатами. Поэтому стоит допустить случай, когда файл принадлежит root, а группа имеет доступ на чтение. И в этом случае администратор отвечает за то, чтобы в эту группу не входили недоверенные пользователи.

Принудительное завершение обслуживающих процессов в случае отключения главного процесса (Раджив Растоги, Роберт Хаас)

При нормальных обстоятельствах главный процесс всегда должен жить дольше своих дочерних процессов. Если же он по какой-то причине умирает, процессы, обслуживающие клиентов, принудительно завершаются с ошибкой. Ранее работающие процессы продолжали выполняться до отключения клиента; но это было небезопасно и неэффективно. Это также не давало запустить новый управляющий процесс до завершения последнего из старых обслуживающих процессов. Теперь обслуживающие процессы будут проверять, жив ли главный процесс, ожидая ввода/вывода от клиента, так что они завершатся не мгновенно, но это должно произойти не позже завершения текущего запроса.

Проверка конфликтов сериализуемости перед тем, как будет выдана ошибка нарушения ограничений (Томас Манро)

В транзакциях сериализуемого уровня изоляции желательно, чтобы ошибка, вызванная параллельными транзакциями, заявлялась как ошибка сериализации, что скажет приложению, что попытка повторить то же действие может быть успешной. К сожалению, это не будет надёжно работать при дублировании ключа при параллельном его добавлении. В результате этого изменения такая ошибка будет выдаваться как ошибка сериализации, если приложение явно проверяет присутствие конфликтующего ключа (и не находит его) до этого в транзакции.

Сообщения аннулирования должны записываться в WAL, даже если они выдаются транзакцией, которой не назначен XID (Андрес Фройнд)

Это решает проблемы в особых случаях, когда транзакции на резервных серверах не замечали некоторые изменения, например, создание индексов.

Предупреждение одновременной отработки несколькими процессами очереди изменений в индексе GIN (Фёдор Сигаев, Джефф Джейнс)

Это допускалось намеренно, но вызывало условия гонки, при которых процедура очистки пропускала записи в индексе, которые нужно было удалить.