28.2. Сборщик статистики

Сборщик статистики в PostgreSQL представляет собой подсистему, которая собирает и отображает информацию о работе сервера. В настоящее время сборщик может подсчитывать количество обращений к таблицам и индексам — в виде количества прочитанных блоков или строк с диска. Кроме того, он отслеживает общее число строк в каждой таблице, информацию о выполнении очистки и сбора статистики для каждой таблицы. Он также может подсчитывать вызовы пользовательских функций и общее время, затраченное на выполнение каждой из них.

Кроме того, PostgreSQL может предоставить динамическую информацию о том, что происходит в системе прямо сейчас, в частности, сообщить, какие именно команды выполняются другими серверными процессами и какие другие соединения существуют в системе. Эта возможность не зависит от процесса сборщика.

28.2.1. Конфигурация системы сбора статистики

Поскольку сбор статистики несколько увеличивает накладные расходы при выполнении запроса, есть возможность настроить СУБД так, чтобы выполнять или не выполнять сбор статистической информации. Это контролируется конфигурационными параметрами, которые обычно устанавливаются в файле postgresql.conf. (Подробно установка конфигурационных параметров описывается в Главе 19.)

Параметр track_activities включает мониторинг текущих команд, выполняемой любым серверным процессом.

Параметр track_counts определяет необходимость сбора статистики по обращениям к таблицам и индексам.

Параметр track_functions включает отслеживание использования пользовательских функций.

Параметр track_io_timing включает мониторинг времени чтения и записи блоков.

Обычно эти параметры устанавливаются в postgresql.conf, поэтому они применяются ко всем серверным процессам, однако, используя команду SET, их можно включать и выключать в отдельных сессиях. (Для того чтобы обычные пользователи не скрывали свою работу от администратора СУБД, изменять эти параметры с помощью команды SET могут только суперпользователи.)

Сборщик статистики использует временные файлы для передачи собранной информации другим процессам PostgreSQL. Имя каталога, в котором хранятся эти файлы, задаётся параметром stats_temp_directory, по умолчанию он называется pg_stat_tmp. Для повышения производительности stats_temp_directory может указывать на каталог, расположенный в оперативной памяти, что сокращает время физического ввода/вывода. При остановке сервера постоянная копия статистической информации сохраняется в подкаталоге pg_stat, поэтому статистику можно хранить на протяжении нескольких перезапусков сервера. Когда восстановление выполняется при запуске сервера (например, после непосредственного завершения работы, катастрофического отказа сервера, и восстановлении на заданную точку во времени), все статистические данные счётчиков сбрасываются.

28.2.2. Просмотр статистики

Для просмотра текущего состояния системы предназначены несколько предопределённых представлений, которые перечислены в Таблице 28.1. В дополнение к ним есть несколько других представлений, перечисленных в Таблице 28.2, позволяющих просмотреть результаты сбора статистики. Кроме того, на базе нижележащих статистических функций можно создать собственные представления, как описано в Подразделе 28.2.3.

Наблюдая собранные данные в сборщике статистики, важно понимать, что эта информация обновляется не сразу. Каждый серверный процесс передаёт новые статистические данные сборщику статистики непосредственно перед переходом в режим ожидания; то есть запрос или транзакция в процессе выполнения не влияют на отображаемые данные статистики. К тому же, сам сборщик статистики формирует новый отчёт не чаще, чем раз в PGSTAT_STAT_INTERVAL миллисекунд (500 мс, если этот параметр не изменялся при компиляции сервера). Так что отображаемая информация отстаёт от того, что происходит в настоящий момент. Однако информация о текущем запросе, собираемая с параметром track_activities, всегда актуальна.

Ещё одним важным моментом является то, что когда в серверном процессе запрашивают какую-либо статистику, сначала он получает наиболее свежий моментальный снимок от сборщика статистики и затем до окончания текущей транзакции использует этот снимок для всех статистических представлений и функций. Так что на протяжении одной транзакции статистическая информация меняться не будет. Подобным же образом информация о текущих запросах во всех сессиях собирается в тот момент, когда она впервые запрашивается в рамках транзакции, и эта же самая информация будет отображаться на протяжении всей транзакции. Это не ошибка, а полезное свойство СУБД, поскольку оно позволяет выполнять запросы к статистическим данным и сравнивать результаты, не беспокоясь о том, что статистические данные изменяются. Но если для каждого запроса вам нужны новые результаты, то их следует выполнять вне любых транзакционных блоков. Или же можно вызывать функцию pg_stat_clear_snapshot(), которая сбросит ранее полученный снимок статистики в текущей транзакции (если он был). При следующем обращении к статистической информации будет сформирован новый моментальный снимок.

Через представления pg_stat_xact_all_tables, pg_stat_xact_sys_tables, pg_stat_xact_user_tables, и pg_stat_xact_user_functions транзакции также доступна её собственная статистика (ещё не переданная сборщику статистики). Данные в этих представлениях ведут себя не так, как описано выше; наоборот, в течение транзакции они постоянно обновляются.

Таблица 28.1. Динамические статистические представления

Имя представленияОписание
pg_stat_activity Одна строка для каждого серверного процесса c информацией по текущей активности процесса, такой как состояние и текущий запрос. За подробностями обратитесь к pg_stat_activity.
pg_stat_replicationПо одной строке для каждого процесса-передатчика WAL со статистикой по репликации на ведомом сервере, к которому подключён этот процесс. За подробностями обратитесь к pg_stat_replication.
pg_stat_wal_receiverТолько одна строка со статистикой приёмника WAL, полученной с сервера, на котором работает приёмник. За подробностями обратитесь к pg_stat_wal_receiver.
pg_stat_sslОдна строка для каждого подключения (обычного и реплицирующего), в которой показывается информация об использовании SSL для данного подключения. За подробностями обратитесь к pg_stat_ssl.
pg_stat_progress_vacuumПо одной строке с текущим состоянием для каждого обслуживающего процесса (включая рабочие процессы автоочистки), в котором работает VACUUM. См. Подраздел 28.4.1.

Таблица 28.2. Представления собранной статистики

Имя представленияОписание
pg_stat_archiverТолько одна строка со статистикой о работе активности процесса архивации WAL. Более подробно смотрите pg_stat_archiver.
pg_stat_bgwriterТолько одна строка со статистикой о работе фонового процесса записи. Более подробно смотрите pg_stat_bgwriter.
pg_stat_databaseОдна строка для каждой базы данных со статистикой на уровне базы. Более подробно смотрите pg_stat_database.
pg_stat_database_conflictsПо одной строке на каждую базу данных со статистикой по отменам запросов, выполненным вследствие конфликта с процессами восстановления на ведомых серверах. Более подробно смотрите pg_stat_database_conflicts.
pg_stat_all_tablesПо одной строке на каждую таблицу в текущей базе данных со статистикой по обращениям к этой таблице. Более подробно смотрите pg_stat_all_tables.
pg_stat_sys_tablesАналогично pg_stat_all_tables, за исключением того, что отображаются только системные таблицы.
pg_stat_user_tablesАналогично pg_stat_all_tables, за исключением того, что отображаются только пользовательские таблицы.
pg_stat_xact_all_tablesПодобно pg_stat_all_tables, но подсчитывает действия, выполненные в текущей транзакции к настоящему моменту (которые ещё не вошли в pg_stat_all_tables и связанные представления). Столбцы для числа живых и мёртвых строк, а также количества операций очистки и сбора статистики, в этом представлении отсутствуют.
pg_stat_xact_sys_tablesАналогично pg_stat_xact_all_tables, за исключением того, что отображаются только системные таблицы.
pg_stat_xact_user_tablesАналогично pg_stat_xact_all_tables, за исключением того, что отображаются только пользовательские таблицы.
pg_stat_all_indexesПо одной строке для каждого индекса в текущей базе данных со статистикой по обращениям к этому индексу. Более подробно смотрите pg_stat_all_indexes.
pg_stat_sys_indexesАналогично pg_stat_all_indexes, за исключением того, что показываются только индексы по системным таблицам.
pg_stat_user_indexesАналогично pg_stat_all_indexes, за исключением того, что показываются только индексы по пользовательским таблицам.
pg_statio_all_tablesПо одной строке для каждой таблицы в текущей базе данных со статистикой по операциям ввода/вывода для этой таблицы. Более подробно смотрите pg_statio_all_tables.
pg_statio_sys_tablesАналогично pg_statio_all_tables, за исключением того, что показываются только системные таблицы.
pg_statio_user_tablesАналогично pg_statio_all_tables, за исключением того, что показываются только пользовательские таблицы.
pg_statio_all_indexesПо одной строке для каждого индекса в текущей базе данных со статистикой по операциям ввода/вывода для этого индекса. Более подробно смотрите pg_statio_all_indexes.
pg_statio_sys_indexesАналогично pg_statio_all_indexes, за исключением того, что показываются только индексы по системным таблицам.
pg_statio_user_indexesАналогично pg_statio_all_indexes, за исключением того, что показываются только индексы по пользовательским таблицам.
pg_statio_all_sequencesПо одной строке для каждой последовательности в текущей базе данных со статистикой по операциям ввода/вывода для этой последовательности. Более подробно смотрите pg_statio_all_sequences.
pg_statio_sys_sequencesАналогично pg_statio_all_sequences, за исключением того, что показываются только системные последовательности. (В настоящее время системных последовательностей нет, поэтому это представление всегда пусто.)
pg_statio_user_sequencesАналогично pg_statio_all_sequences, за исключением того, что показываются только пользовательские последовательности.
pg_stat_user_functionsПо одной строке для каждой отслеживаемой функции со статистикой по выполнениям этой функции. Более подробно смотрите pg_stat_user_functions.
pg_stat_xact_user_functionsАналогично pg_stat_user_functions, однако подсчитываются только вызовы функций, выполненные в текущей транзакции (которые ещё не были включены в pg_stat_user_functions).

Статистика по отдельным индексам особенно полезна для определения того, какие индексы используются и насколько они эффективны.

Представления pg_statio_ полезны, прежде всего, для определения эффективности буферного кеша. Если количество фактических дисковых чтений существенно меньше количества чтений из буферного кеша, то это означает, что кеш справляется с большинством запросов на чтение без обращения к ядру. Однако эта статистика не даёт полной картины: PostgreSQL обрабатывает дисковый ввод/вывод так, что данные, не находящиеся в буферном кеше PostgreSQL, могут все ещё располагаться в кеше ввода/вывода ядра, и, следовательно, для их получения физическое чтение может не использоваться. Для получения более детальной информации о процессе ввода/вывода в PostgreSQL рекомендуется использовать сборщик статистики PostgreSQL в сочетании с утилитами операционной системы, которые дают более полное представление о том, как ядро осуществляет ввод/вывод.

Таблица 28.3. Представление pg_stat_activity

СтолбецТипОписание
datidoidOID базы данных, к которой подключён этот серверный процесс
datnamenameИмя базы данных, к которой подключён этот серверный процесс
pidintegerИдентификатор процесса этого серверного процесса
usesysidoidOID пользователя, подключённого к этому серверному процессу
usenamenameИмя пользователя, подключённого к этому серверному процессу
application_nametextНазвание приложения, подключённого к этому серверному процессу
client_addrinetIP-адрес клиента, подключённого к этому серверному процессу. Значение null в этом поле означает, что клиент подключён через сокет Unix на стороне сервера или что это внутренний процесс, например, автоочистка.
client_hostnametextИмя компьютера для подключённого клиента, получаемое в результате обратного поиска в DNS по client_addr. Это поле будет отлично от null только в случае соединений по IP и только при включённом режиме log_hostname.
client_portintegerНомер TCP-порта, который используется клиентом для соединения с этим серверным процессом, или -1, если используется сокет Unix
backend_starttimestamp with time zoneВремя запуска процесса, т. е. время, когда клиент подсоединился к серверу
xact_starttimestamp with time zoneВремя начала текущей транзакции в этом процессе или null при отсутствии активной транзакции. Если текущий запрос был первым в своей транзакции, то значение в этом столбце совпадает со значением столбца query_start.
query_starttimestamp with time zoneВремя начала выполнения активного в данный момент запроса, или, если state не active, то время начала выполнения последнего запроса
state_changetimestamp with time zoneВремя последнего изменения состояния (поля state)
wait_event_typetextТип события, которого ждёт обслуживающий процесс, если это имеет место; в противном случае — NULL. Возможные значения:
  • LWLockNamed: Обслуживающий процесс ожидает определённую именованную лёгкую блокировку. Такие блокировки защищают определённые структуры данных в разделяемой памяти. Имя блокировки будет показывается в wait_event.

  • LWLockTranche: Обслуживающий процесс ожидает одну из группы связанных лёгких блокировок. Все блокировки в этой группе выполняют схожие функции; общее предназначение блокировок в этой группе показывается в wait_event.

  • Lock: Обслуживающий процесс ожидает тяжёлую блокировку. Тяжёлые блокировки, также называемые блокировками менеджера блокировок или просто блокировками, в основном защищают объекты уровня SQL, такие как таблицы. Однако они также применяются для взаимоисключающего выполнения некоторых внутренних операций, например, для расширения отношений. Тип ожидаемой блокировки показывается в wait_event.

  • BufferPin: Серверный процесс ожидает доступа к буферу данных, когда никакой другой процесс не обращается к этому буферу. Ожидание закрепления буфера может растягиваться, если другой процесс удерживает открытый курсор, который читал данные из нужного буфера.

wait_eventtextИмя ожидаемого события, если обслуживающий процесс находится в состоянии ожидания, а в противном случае — NULL. За подробностями обратитесь к Таблице 28.4.
statetextОбщее текущее состояние этого серверного процесса. Возможные значения:
  • active: серверный процесс выполняет запрос.

  • idle: серверный процесс ожидает новой команды от клиента.

  • idle in transaction: серверный процесс находится внутри транзакции, но в настоящее время не выполняет никакой запрос.

  • idle in transaction (aborted): Это состояние подобно idle in transaction, за исключением того, что один из операторов в транзакции вызывал ошибку.

  • fastpath function call: серверный процесс выполняет fast-path функцию.

  • disabled: Это состояние отображается для серверных процессов, у которых параметр track_activities отключён.

backend_xidxidИдентификатор верхнего уровня транзакции этого серверного процесса или любой другой.
backend_xminxidтекущая граница xmin для серверного процесса.
querytextТекст последнего запроса этого серверного процесса. Если state имеет значение active, то в этом поле отображается запрос, который выполняется в настоящий момент. Если процесс находится в любом другом состоянии, то в этом поле отображается последний выполненный запрос.

В представлении pg_stat_activity для каждого серверного процесса будет присутствовать по одной строке с информацией, относящейся к текущей деятельности этого процесса.

Примечание

Значения в столбцах wait_event и state не зависят друг от друга. Если обслуживающий процесс находится в состоянии active (активен), он может ожидать какое-то событие, или не ожидать никакое. Если состояние active и поле wait_event содержит не NULL, это означает, что запрос выполняется, но заблокирован чем-то в системе.

Таблица 28.4. Описание wait_event

Тип события ожиданияНазвание события ожиданияОписание
LWLockNamedShmemIndexLockОжидание при поиске или выделении области в разделяемой памяти.
OidGenLockОжидание при выделении или назначении OID.
XidGenLockОжидание при выделении или назначении идентификатора транзакции.
ProcArrayLockОжидание при получении снимка или очистке идентификатора транзакции в конце транзакции.
SInvalReadLockОжидание при получении или удалении из общей очереди сообщений аннулирования.
SInvalWriteLockОжидание при добавлении в общую очередь сообщения аннулирования.
WALBufMappingLockОжидание при замене страницы в буферах WAL.
WALWriteLockОжидание при записи буферов WAL на диск.
ControlFileLockОжидание при чтении или изменении управляющего файла либо при создании нового файла WAL.
CheckpointLockОжидание при выполнении контрольной точки.
CLogControlLockОжидание при чтении или изменении состояния транзакции.
SubtransControlLockОжидание при чтении или изменении информации о подтранзакции.
MultiXactGenLockОжидание при чтении или изменении общего состояния мультитранзакций.
MultiXactOffsetControlLockОжидание при чтении или изменении смещений мультитранзакций.
MultiXactMemberControlLockОжидание при чтении или изменении членов мультитранзакций.
RelCacheInitLockОжидание при чтении или записи файла инициализации кеша отношения.
CheckpointerCommLockОжидание при управлении запросами fsync.
TwoPhaseStateLockОжидание при чтении или изменении состояния подготовленных транзакций.
TablespaceCreateLockОжидание при создании или удалении табличного пространства.
BtreeVacuumLockОжидание при чтении или изменении информации, связанной с очисткой, для индекса-B-дерева.
AddinShmemInitLockОжидание при управлении выделением блоков в общей памяти.
AutovacuumLockОжидание в рабочем процессе или процедуре запуска автоочистки при изменении или чтении текущего состояния рабочих процессов автоочистки.
AutovacuumScheduleLockОжидание при подтверждении, что таблица, выбранная для очистки, всё ещё нуждается в очистке.
SyncScanLockОжидание при получении начального положения сканирования таблицы для синхронизированного сканирования.
RelationMappingLockОжидание при изменении в файле сопоставления отношений, используемого для хранения связей файловых узлов с каталогом БД.
AsyncCtlLockОжидание при чтении или изменении общего состояния уведомлений.
AsyncQueueLockОжидание при чтении или изменении сообщений уведомлений.
SerializableXactHashLockОжидание при получении или сохранении информации о сериализуемых транзакциях.
SerializableFinishedListLockОжидание при обращении к списку завершённых сериализуемых транзакций.
SerializablePredicateLockListLockОжидание при выполнении операции со списком блокировок, удерживаемых сериализуемыми транзакциями.
OldSerXidLockОжидание при чтении или записи информации о конфликтующих сериализуемых транзакциях.
SyncRepLockОжидание при чтении или изменении сведений о синхронных репликах.
BackgroundWorkerLockОжидание при чтении или изменении состояния фонового рабочего процесса.
DynamicSharedMemoryControlLockОжидание при чтении или изменении состояния динамической общей памяти.
AutoFileLockОжидание при изменении файла postgresql.auto.conf.
ReplicationSlotAllocationLockОжидание при выделении или освобождении слота репликации.
ReplicationSlotControlLockОжидание при чтении или изменении состояния слота репликации.
CommitTsControlLockОжидание при чтении или изменении времени фиксирования транзакции.
CommitTsLockОжидание при чтении или изменении последнего значения, заданного в качестве времени транзакции.
ReplicationOriginLockОжидание при подготовке, удалении или использовании источника репликации.
MultiXactTruncationLockОжидание при чтении или очистке информации мультитранзакций.
OldSnapshotTimeMapLockОжидание при чтении или изменении информации о старом снимке.
WrapLimitsVacuumLockОжидание при изменении лимитов идентификаторов транзакций и мультитранзакций.
NotifyQueueTailLockОжидание при изменении границы массива с сообщениями уведомлений.
LWLockTrancheclogОжидание при вводе/выводе с буфером clog (буфер состояния транзакций).
commit_timestampОжидание при вводе/выводе с буфером времени фиксирования транзакций.
subtransОжидание при вводе/выводе с буфером подтранзакций.
multixact_offsetОжидание при вводе/выводе с буфером смещений мультитранзакций.
multixact_memberОжидание при вводе/выводе с буфером multixact_member.
asyncОжидание при вводе/выводе с буфером асинхронных сообщений (уведомлений).
oldserxidОжидание при вводе/выводе с буфером oldserxid.
wal_insertОжидание при добавлении записей WAL в буфер в памяти.
buffer_contentОжидание при чтении или записи страницы данных в памяти.
buffer_ioОжидание при вводе/выводе, связанном со страницей данных.
replication_originОжидание при чтении или изменении состояния репликации.
replication_slot_ioОжидание при вводе/выводе со слотом репликации.
procОжидание при чтении или изменении информации о блокировках по быстрому пути.
buffer_mappingОжидание при связывании блока данных с буфером в пуле буферов.
lock_managerОжидание при добавлении или обращении к блокировкам обслуживающих процессов либо ожидание входа или выхода из группы блокировок (используется в параллельных запросах).
predicate_lock_managerОжидание при добавлении или обращении к информации о предикатных блокировках.
LockrelationОжидание при запросе блокировки для отношения.
extendОжидание при расширении отношения.
frozenidОжидание изменения pg_database.datfrozenxid и pg_database.datminmxid.
pageОжидание при запросе блокировки для страницы отношения.
tupleОжидание при запросе блокировки для кортежа.
transactionidОжидание завершения транзакции.
virtualxidОжидание при запросе блокировки виртуального xid.
speculative tokenОжидание при запросе блокировки спекулятивного добавления.
objectОжидание при запросе блокировки для нереляционного объекта БД.
userlockОжидание при запросе пользовательской блокировки.
advisoryОжидание при запросе рекомендательной пользовательской блокировки.
BufferPinBufferPinОжидание при закреплении буфера.

Примечание

Для траншей, регистрируемых расширениями, в поле wait_event выводится имя, указываемое расширением. Пользователь вполне может зарегистрировать транш и в обслуживающем процессе (воспользовавшись динамической общей памятью), в результате чего другие процессы не получат доступа к этой информации; в таких случаях в этом поле выводится extension.

Следующая команда показывает, как можно просмотреть события ожидания:

SELECT pid, wait_event_type, wait_event FROM pg_stat_activity WHERE wait_event is NOT NULL;
 pid  | wait_event_type |  wait_event
------+-----------------+---------------
 2540 | Lock            | relation
 6644 | LWLockNamed     | ProcArrayLock
(2 rows)

Таблица 28.5. Представление pg_stat_replication

СтолбецТипОписание
pidintegerИдентификатор процесса-передатчика WAL
usesysidoidOID пользователя, подключённого к этому процессу-передатчику WAL
usenamenameИмя пользователя, подключённого к этому процессу-передатчику WAL
application_nametextИмя приложения, которое подключено к этому процессу-передатчику WAL
client_addrinetIP-адрес клиента, подключённого к этому процессу-передатчику WAL. Значение null в этом поле говорит о том, что клиент подсоединён через сокет Unix на сервере.
client_hostnametextИмя компьютера для подключённого клиента, получаемое в результате обратного поиска в DNS по client_addr. Это поле будет отлично от null только в случае соединений по IP и только при включённом режиме log_hostname.
client_portintegerНомер TCP-порта, который используется клиентом для взаимодействия с процессом-передатчиком WAL, или -1, если используется сокет Unix
backend_starttimestamp with time zoneВремя запуска процесса, т. е. время подключения клиента к этому процессу-передатчику WAL
backend_xminxidЗначение xmin, полученное от ведомого сервера при включённом hot_standby_feedback.
statetextТекущее состояние процесса-передатчика WAL
sent_locationpg_lsnПозиция последней транзакции в журнале транзакций, отправленной по этому соединению
write_locationpg_lsnПозиция последней транзакции в журнале транзакций, записанной на диск ведомым сервером
flush_locationpg_lsnПозиция последней транзакции в журнале транзакций, сброшенной на диск ведомым сервером
replay_locationpg_lsnПозиция последней транзакции в журнале транзакций, выполненн