28.2. Сборщик статистики
Сборщик статистики в PostgreSQL представляет собой подсистему, которая собирает и отображает информацию о работе сервера. В настоящее время сборщик может подсчитывать количество обращений к таблицам и индексам — в виде количества прочитанных блоков или строк с диска. Кроме того, он отслеживает общее число строк в каждой таблице, информацию о выполнении очистки и сбора статистики для каждой таблицы. Он также может подсчитывать вызовы пользовательских функций и общее время, затраченное на выполнение каждой из них.
Кроме того, PostgreSQL может предоставить динамическую информацию о том, что происходит в системе прямо сейчас, в частности, сообщить, какие именно команды выполняются другими серверными процессами и какие другие соединения существуют в системе. Эта возможность не зависит от процесса сборщика.
28.2.1. Конфигурация системы сбора статистики
Поскольку сбор статистики несколько увеличивает накладные расходы при выполнении запроса, есть возможность настроить СУБД так, чтобы выполнять или не выполнять сбор статистической информации. Это контролируется конфигурационными параметрами, которые обычно устанавливаются в файле postgresql.conf. (Подробно установка конфигурационных параметров описывается в Главе 19.)
Параметр track_activities включает мониторинг текущих команд, выполняемой любым серверным процессом.
Параметр track_counts определяет необходимость сбора статистики по обращениям к таблицам и индексам.
Параметр track_functions включает отслеживание использования пользовательских функций.
Параметр track_io_timing включает мониторинг времени чтения и записи блоков.
Обычно эти параметры устанавливаются в postgresql.conf, поэтому они применяются ко всем серверным процессам, однако, используя команду SET, их можно включать и выключать в отдельных сессиях. (Для того чтобы обычные пользователи не скрывали свою работу от администратора СУБД, изменять эти параметры с помощью команды SET могут только суперпользователи.)
Сборщик статистики использует временные файлы для передачи собранной информации другим процессам PostgreSQL. Имя каталога, в котором хранятся эти файлы, задаётся параметром stats_temp_directory, по умолчанию он называется pg_stat_tmp. Для повышения производительности stats_temp_directory может указывать на каталог, расположенный в оперативной памяти, что сокращает время физического ввода/вывода. При остановке сервера постоянная копия статистической информации сохраняется в подкаталоге pg_stat, поэтому статистику можно хранить на протяжении нескольких перезапусков сервера. Когда восстановление выполняется при запуске сервера (например, после непосредственного завершения работы, катастрофического отказа сервера, и восстановлении на заданную точку во времени), все статистические данные счётчиков сбрасываются.
28.2.2. Просмотр статистики
Для просмотра текущего состояния системы предназначены несколько предопределённых представлений, которые перечислены в Таблице 28.1. В дополнение к ним есть несколько других представлений, перечисленных в Таблице 28.2, позволяющих просмотреть результаты сбора статистики. Кроме того, на базе нижележащих статистических функций можно создать собственные представления, как описано в Подразделе 28.2.3.
Наблюдая собранные данные в сборщике статистики, важно понимать, что эта информация обновляется не сразу. Каждый серверный процесс передаёт новые статистические данные сборщику статистики непосредственно перед переходом в режим ожидания; то есть запрос или транзакция в процессе выполнения не влияют на отображаемые данные статистики. К тому же, сам сборщик статистики формирует новый отчёт не чаще, чем раз в PGSTAT_STAT_INTERVAL миллисекунд (500 мс, если этот параметр не изменялся при компиляции сервера). Так что отображаемая информация отстаёт от того, что происходит в настоящий момент. Однако информация о текущем запросе, собираемая с параметром track_activities, всегда актуальна.
Ещё одним важным моментом является то, что когда в серверном процессе запрашивают какую-либо статистику, сначала он получает наиболее свежий моментальный снимок от сборщика статистики и затем до окончания текущей транзакции использует этот снимок для всех статистических представлений и функций. Так что на протяжении одной транзакции статистическая информация меняться не будет. Подобным же образом информация о текущих запросах во всех сессиях собирается в тот момент, когда она впервые запрашивается в рамках транзакции, и эта же самая информация будет отображаться на протяжении всей транзакции. Это не ошибка, а полезное свойство СУБД, поскольку оно позволяет выполнять запросы к статистическим данным и сравнивать результаты, не беспокоясь о том, что статистические данные изменяются. Но если для каждого запроса вам нужны новые результаты, то их следует выполнять вне любых транзакционных блоков. Или же можно вызывать функцию pg_stat_clear_snapshot(), которая сбросит ранее полученный снимок статистики в текущей транзакции (если он был). При следующем обращении к статистической информации будет сформирован новый моментальный снимок.
Через представления pg_stat_xact_all_tables, pg_stat_xact_sys_tables, pg_stat_xact_user_tables, и pg_stat_xact_user_functions транзакции также доступна её собственная статистика (ещё не переданная сборщику статистики). Данные в этих представлениях ведут себя не так, как описано выше; наоборот, в течение транзакции они постоянно обновляются.
Таблица 28.1. Динамические статистические представления
| Имя представления | Описание |
|---|---|
pg_stat_activity | Одна строка для каждого серверного процесса c информацией по текущей активности процесса, такой как состояние и текущий запрос. За подробностями обратитесь к pg_stat_activity. |
pg_stat_replication | По одной строке для каждого процесса-передатчика WAL со статистикой по репликации на ведомом сервере, к которому подключён этот процесс. За подробностями обратитесь к pg_stat_replication. |
pg_stat_wal_receiver | Только одна строка со статистикой приёмника WAL, полученной с сервера, на котором работает приёмник. За подробностями обратитесь к pg_stat_wal_receiver. |
pg_stat_ssl | Одна строка для каждого подключения (обычного и реплицирующего), в которой показывается информация об использовании SSL для данного подключения. За подробностями обратитесь к pg_stat_ssl. |
pg_stat_progress_vacuum | По одной строке с текущим состоянием для каждого обслуживающего процесса (включая рабочие процессы автоочистки), в котором работает VACUUM. См. Подраздел 28.4.1. |
Таблица 28.2. Представления собранной статистики
| Имя представления | Описание |
|---|---|
pg_stat_archiver | Только одна строка со статистикой о работе активности процесса архивации WAL. Более подробно смотрите pg_stat_archiver. |
pg_stat_bgwriter | Только одна строка со статистикой о работе фонового процесса записи. Более подробно смотрите pg_stat_bgwriter. |
pg_stat_database | Одна строка для каждой базы данных со статистикой на уровне базы. Более подробно смотрите pg_stat_database. |
pg_stat_database_conflicts | По одной строке на каждую базу данных со статистикой по отменам запросов, выполненным вследствие конфликта с процессами восстановления на ведомых серверах. Более подробно смотрите pg_stat_database_conflicts. |
pg_stat_all_tables | По одной строке на каждую таблицу в текущей базе данных со статистикой по обращениям к этой таблице. Более подробно смотрите pg_stat_all_tables. |
pg_stat_sys_tables | Аналогично pg_stat_all_tables, за исключением того, что отображаются только системные таблицы. |
pg_stat_user_tables | Аналогично pg_stat_all_tables, за исключением того, что отображаются только пользовательские таблицы. |
pg_stat_xact_all_tables | Подобно pg_stat_all_tables, но подсчитывает действия, выполненные в текущей транзакции к настоящему моменту (которые ещё не вошли в pg_stat_all_tables и связанные представления). Столбцы для числа живых и мёртвых строк, а также количества операций очистки и сбора статистики, в этом представлении отсутствуют. |
pg_stat_xact_sys_tables | Аналогично pg_stat_xact_all_tables, за исключением того, что отображаются только системные таблицы. |
pg_stat_xact_user_tables | Аналогично pg_stat_xact_all_tables, за исключением того, что отображаются только пользовательские таблицы. |
pg_stat_all_indexes | По одной строке для каждого индекса в текущей базе данных со статистикой по обращениям к этому индексу. Более подробно смотрите pg_stat_all_indexes. |
pg_stat_sys_indexes | Аналогично pg_stat_all_indexes, за исключением того, что показываются только индексы по системным таблицам. |
pg_stat_user_indexes | Аналогично pg_stat_all_indexes, за исключением того, что показываются только индексы по пользовательским таблицам. |
pg_statio_all_tables | По одной строке для каждой таблицы в текущей базе данных со статистикой по операциям ввода/вывода для этой таблицы. Более подробно смотрите pg_statio_all_tables. |
pg_statio_sys_tables | Аналогично pg_statio_all_tables, за исключением того, что показываются только системные таблицы. |
pg_statio_user_tables | Аналогично pg_statio_all_tables, за исключением того, что показываются только пользовательские таблицы. |
pg_statio_all_indexes | По одной строке для каждого индекса в текущей базе данных со статистикой по операциям ввода/вывода для этого индекса. Более подробно смотрите pg_statio_all_indexes. |
pg_statio_sys_indexes | Аналогично pg_statio_all_indexes, за исключением того, что показываются только индексы по системным таблицам. |
pg_statio_user_indexes | Аналогично pg_statio_all_indexes, за исключением того, что показываются только индексы по пользовательским таблицам. |
pg_statio_all_sequences | По одной строке для каждой последовательности в текущей базе данных со статистикой по операциям ввода/вывода для этой последовательности. Более подробно смотрите pg_statio_all_sequences. |
pg_statio_sys_sequences | Аналогично pg_statio_all_sequences, за исключением того, что показываются только системные последовательности. (В настоящее время системных последовательностей нет, поэтому это представление всегда пусто.) |
pg_statio_user_sequences | Аналогично pg_statio_all_sequences, за исключением того, что показываются только пользовательские последовательности. |
pg_stat_user_functions | По одной строке для каждой отслеживаемой функции со статистикой по выполнениям этой функции. Более подробно смотрите pg_stat_user_functions. |
pg_stat_xact_user_functions | Аналогично pg_stat_user_functions, однако подсчитываются только вызовы функций, выполненные в текущей транзакции (которые ещё не были включены в pg_stat_user_functions). |
Статистика по отдельным индексам особенно полезна для определения того, какие индексы используются и насколько они эффективны.
Представления pg_statio_ полезны, прежде всего, для определения эффективности буферного кеша. Если количество фактических дисковых чтений существенно меньше количества чтений из буферного кеша, то это означает, что кеш справляется с большинством запросов на чтение без обращения к ядру. Однако эта статистика не даёт полной картины: PostgreSQL обрабатывает дисковый ввод/вывод так, что данные, не находящиеся в буферном кеше PostgreSQL, могут все ещё располагаться в кеше ввода/вывода ядра, и, следовательно, для их получения физическое чтение может не использоваться. Для получения более детальной информации о процессе ввода/вывода в PostgreSQL рекомендуется использовать сборщик статистики PostgreSQL в сочетании с утилитами операционной системы, которые дают более полное представление о том, как ядро осуществляет ввод/вывод.
Таблица 28.3. Представление pg_stat_activity
| Столбец | Тип | Описание |
|---|---|---|
datid | oid | OID базы данных, к которой подключён этот серверный процесс |
datname | name | Имя базы данных, к которой подключён этот серверный процесс |
pid | integer | Идентификатор процесса этого серверного процесса |
usesysid | oid | OID пользователя, подключённого к этому серверному процессу |
usename | name | Имя пользователя, подключённого к этому серверному процессу |
application_name | text | Название приложения, подключённого к этому серверному процессу |
client_addr | inet | IP-адрес клиента, подключённого к этому серверному процессу. Значение null в этом поле означает, что клиент подключён через сокет Unix на стороне сервера или что это внутренний процесс, например, автоочистка. |
client_hostname | text | Имя компьютера для подключённого клиента, получаемое в результате обратного поиска в DNS по client_addr. Это поле будет отлично от null только в случае соединений по IP и только при включённом режиме log_hostname. |
client_port | integer | Номер TCP-порта, который используется клиентом для соединения с этим серверным процессом, или -1, если используется сокет Unix |
backend_start | timestamp with time zone | Время запуска процесса, т. е. время, когда клиент подсоединился к серверу |
xact_start | timestamp with time zone | Время начала текущей транзакции в этом процессе или null при отсутствии активной транзакции. Если текущий запрос был первым в своей транзакции, то значение в этом столбце совпадает со значением столбца query_start. |
query_start | timestamp with time zone | Время начала выполнения активного в данный момент запроса, или, если state не active, то время начала выполнения последнего запроса |
state_change | timestamp with time zone | Время последнего изменения состояния (поля state) |
wait_event_type | text | Тип события, которого ждёт обслуживающий процесс, если это имеет место; в противном случае — NULL. Возможные значения:
|
wait_event | text | Имя ожидаемого события, если обслуживающий процесс находится в состоянии ожидания, а в противном случае — NULL. За подробностями обратитесь к Таблице 28.4. |
state | text | Общее текущее состояние этого серверного процесса. Возможные значения:
|
backend_xid | xid | Идентификатор верхнего уровня транзакции этого серверного процесса или любой другой. |
backend_xmin | xid | текущая граница xmin для серверного процесса. |
query | text | Текст последнего запроса этого серверного процесса. Если state имеет значение active, то в этом поле отображается запрос, который выполняется в настоящий момент. Если процесс находится в любом другом состоянии, то в этом поле отображается последний выполненный запрос. |
В представлении pg_stat_activity для каждого серверного процесса будет присутствовать по одной строке с информацией, относящейся к текущей деятельности этого процесса.
Примечание
Значения в столбцах wait_event и state не зависят друг от друга. Если обслуживающий процесс находится в состоянии active (активен), он может ожидать какое-то событие, или не ожидать никакое. Если состояние active и поле wait_event содержит не NULL, это означает, что запрос выполняется, но заблокирован чем-то в системе.
Таблица 28.4. Описание wait_event
| Тип события ожидания | Название события ожидания | Описание |
|---|---|---|
LWLockNamed | ShmemIndexLock | Ожидание при поиске или выделении области в разделяемой памяти. |
OidGenLock | Ожидание при выделении или назначении OID. | |
XidGenLock | Ожидание при выделении или назначении идентификатора транзакции. | |
ProcArrayLock | Ожидание при получении снимка или очистке идентификатора транзакции в конце транзакции. | |
SInvalReadLock | Ожидание при получении или удалении из общей очереди сообщений аннулирования. | |
SInvalWriteLock | Ожидание при добавлении в общую очередь сообщения аннулирования. | |
WALBufMappingLock | Ожидание при замене страницы в буферах WAL. | |
WALWriteLock | Ожидание при записи буферов WAL на диск. | |
ControlFileLock | Ожидание при чтении или изменении управляющего файла либо при создании нового файла WAL. | |
CheckpointLock | Ожидание при выполнении контрольной точки. | |
CLogControlLock | Ожидание при чтении или изменении состояния транзакции. | |
SubtransControlLock | Ожидание при чтении или изменении информации о подтранзакции. | |
MultiXactGenLock | Ожидание при чтении или изменении общего состояния мультитранзакций. | |
MultiXactOffsetControlLock | Ожидание при чтении или изменении смещений мультитранзакций. | |
MultiXactMemberControlLock | Ожидание при чтении или изменении членов мультитранзакций. | |
RelCacheInitLock | Ожидание при чтении или записи файла инициализации кеша отношения. | |
CheckpointerCommLock | Ожидание при управлении запросами fsync. | |
TwoPhaseStateLock | Ожидание при чтении или изменении состояния подготовленных транзакций. | |
TablespaceCreateLock | Ожидание при создании или удалении табличного пространства. | |
BtreeVacuumLock | Ожидание при чтении или изменении информации, связанной с очисткой, для индекса-B-дерева. | |
AddinShmemInitLock | Ожидание при управлении выделением блоков в общей памяти. | |
AutovacuumLock | Ожидание в рабочем процессе или процедуре запуска автоочистки при изменении или чтении текущего состояния рабочих процессов автоочистки. | |
AutovacuumScheduleLock | Ожидание при подтверждении, что таблица, выбранная для очистки, всё ещё нуждается в очистке. | |
SyncScanLock | Ожидание при получении начального положения сканирования таблицы для синхронизированного сканирования. | |
RelationMappingLock | Ожидание при изменении в файле сопоставления отношений, используемого для хранения связей файловых узлов с каталогом БД. | |
AsyncCtlLock | Ожидание при чтении или изменении общего состояния уведомлений. | |
AsyncQueueLock | Ожидание при чтении или изменении сообщений уведомлений. | |
SerializableXactHashLock | Ожидание при получении или сохранении информации о сериализуемых транзакциях. | |
SerializableFinishedListLock | Ожидание при обращении к списку завершённых сериализуемых транзакций. | |
SerializablePredicateLockListLock | Ожидание при выполнении операции со списком блокировок, удерживаемых сериализуемыми транзакциями. | |
OldSerXidLock | Ожидание при чтении или записи информации о конфликтующих сериализуемых транзакциях. | |
SyncRepLock | Ожидание при чтении или изменении сведений о синхронных репликах. | |
BackgroundWorkerLock | Ожидание при чтении или изменении состояния фонового рабочего процесса. | |
DynamicSharedMemoryControlLock | Ожидание при чтении или изменении состояния динамической общей памяти. | |
AutoFileLock | Ожидание при изменении файла postgresql.auto.conf. | |
ReplicationSlotAllocationLock | Ожидание при выделении или освобождении слота репликации. | |
ReplicationSlotControlLock | Ожидание при чтении или изменении состояния слота репликации. | |
CommitTsControlLock | Ожидание при чтении или изменении времени фиксирования транзакции. | |
CommitTsLock | Ожидание при чтении или изменении последнего значения, заданного в качестве времени транзакции. | |
ReplicationOriginLock | Ожидание при подготовке, удалении или использовании источника репликации. | |
MultiXactTruncationLock | Ожидание при чтении или очистке информации мультитранзакций. | |
OldSnapshotTimeMapLock | Ожидание при чтении или изменении информации о старом снимке. | |
WrapLimitsVacuumLock | Ожидание при изменении лимитов идентификаторов транзакций и мультитранзакций. | |
NotifyQueueTailLock | Ожидание при изменении границы массива с сообщениями уведомлений. | |
LWLockTranche | clog | Ожидание при вводе/выводе с буфером clog (буфер состояния транзакций). |
commit_timestamp | Ожидание при вводе/выводе с буфером времени фиксирования транзакций. | |
subtrans | Ожидание при вводе/выводе с буфером подтранзакций. | |
multixact_offset | Ожидание при вводе/выводе с буфером смещений мультитранзакций. | |
multixact_member | Ожидание при вводе/выводе с буфером multixact_member. | |
async | Ожидание при вводе/выводе с буфером асинхронных сообщений (уведомлений). | |
oldserxid | Ожидание при вводе/выводе с буфером oldserxid. | |
wal_insert | Ожидание при добавлении записей WAL в буфер в памяти. | |
buffer_content | Ожидание при чтении или записи страницы данных в памяти. | |
buffer_io | Ожидание при вводе/выводе, связанном со страницей данных. | |
replication_origin | Ожидание при чтении или изменении состояния репликации. | |
replication_slot_io | Ожидание при вводе/выводе со слотом репликации. | |
proc | Ожидание при чтении или изменении информации о блокировках по быстрому пути. | |
buffer_mapping | Ожидание при связывании блока данных с буфером в пуле буферов. | |
lock_manager | Ожидание при добавлении или обращении к блокировкам обслуживающих процессов либо ожидание входа или выхода из группы блокировок (используется в параллельных запросах). | |
predicate_lock_manager | Ожидание при добавлении или обращении к информации о предикатных блокировках. | |
Lock | relation | Ожидание при запросе блокировки для отношения. |
extend | Ожидание при расширении отношения. | |
frozenid | Ожидание изменения pg_database.datfrozenxid и pg_database.datminmxid. | |
page | Ожидание при запросе блокировки для страницы отношения. | |
tuple | Ожидание при запросе блокировки для кортежа. | |
transactionid | Ожидание завершения транзакции. | |
virtualxid | Ожидание при запросе блокировки виртуального xid. | |
speculative token | Ожидание при запросе блокировки спекулятивного добавления. | |
object | Ожидание при запросе блокировки для нереляционного объекта БД. | |
userlock | Ожидание при запросе пользовательской блокировки. | |
advisory | Ожидание при запросе рекомендательной пользовательской блокировки. | |
BufferPin | BufferPin | Ожидание при закреплении буфера. |
Примечание
Для траншей, регистрируемых расширениями, в поле wait_event выводится имя, указываемое расширением. Пользователь вполне может зарегистрировать транш и в обслуживающем процессе (воспользовавшись динамической общей памятью), в результате чего другие процессы не получат доступа к этой информации; в таких случаях в этом поле выводится extension.
Следующая команда показывает, как можно просмотреть события ожидания:
SELECT pid, wait_event_type, wait_event FROM pg_stat_activity WHERE wait_event is NOT NULL; pid | wait_event_type | wait_event ------+-----------------+--------------- 2540 | Lock | relation 6644 | LWLockNamed | ProcArrayLock (2 rows)
Таблица 28.5. Представление pg_stat_replication
| Столбец | Тип | Описание |
|---|---|---|
pid | integer | Идентификатор процесса-передатчика WAL |
usesysid | oid | OID пользователя, подключённого к этому процессу-передатчику WAL |
usename | name | Имя пользователя, подключённого к этому процессу-передатчику WAL |
application_name | text | Имя приложения, которое подключено к этому процессу-передатчику WAL |
client_addr | inet | IP-адрес клиента, подключённого к этому процессу-передатчику WAL. Значение null в этом поле говорит о том, что клиент подсоединён через сокет Unix на сервере. |
client_hostname | text | Имя компьютера для подключённого клиента, получаемое в результате обратного поиска в DNS по client_addr. Это поле будет отлично от null только в случае соединений по IP и только при включённом режиме log_hostname. |
client_port | integer | Номер TCP-порта, который используется клиентом для взаимодействия с процессом-передатчиком WAL, или -1, если используется сокет Unix |
backend_start | timestamp with time zone | Время запуска процесса, т. е. время подключения клиента к этому процессу-передатчику WAL |
backend_xmin | xid | Значение xmin, полученное от ведомого сервера при включённом hot_standby_feedback. |
state | text | Текущее состояние процесса-передатчика WAL |
sent_location | pg_lsn | Позиция последней транзакции в журнале транзакций, отправленной по этому соединению |
write_location | pg_lsn | Позиция последней транзакции в журнале транзакций, записанной на диск ведомым сервером |
flush_location | pg_lsn | Позиция последней транзакции в журнале транзакций, сброшенной на диск ведомым сервером |
replay_location | pg_lsn | Позиция последней транзакции в журнале транзакций, выполненн |