F.54. pgpro_iheap — табличный метод доступа с интегрированным индексом BRIN #

F.54.1. Описание #

Расширение pgpro_iheap предоставляет табличный метод доступа iheap (indexed heap), основанный на встроенном методе доступа heap, в который интегрирован индекс BRIN.

Метод доступа iheap предназначен для ускорения сканирования таблиц в случаях, когда планировщик выбирает план последовательного сканирования. Это обычно происходит при отсутствии подходящих индексов для запроса. Индекс BRIN встроен в метод доступа iheap и не может управляться пользователем. Далее в документе индекс BRIN, интегрированный в iheap, именуется индексом iheap.

Индекс iheap хранится в выделенном индексном слое таблицы. Этот слой является дополнительной структурой хранения, аналогичной карте видимости и карте свободного пространства. В этом слое на каждые N страниц таблицы создаётся группа индексов BRIN, определённых для столбцов. Группа индексов BRIN хранит минимальное и максимальное значения и создаётся для всех совместимых столбцов таблицы. Совместимыми столбцами являются те столбцы, которые имеют фиксированную или переменную длину, не превышающую 64 байта. Индекс BRIN не используется для других типов столбцов. Количество страниц на группу индексов BRIN настраивается при помощи параметра хранения индекса pages_per_index. Значение по умолчанию 256, и оно может быть любым целым числом в диапазоне между 64 и 512 включительно. На одной странице индекса iheap может храниться несколько групп индексов BRIN. Количество групп на страницу определяется динамически, исходя из общего размера индексируемых столбцов таблицы. Соответственно, одна страница индекса iheap может хранить индексную информацию для десятков или даже сотен тысяч страниц таблицы со стандартным методом доступа heap.

Во время выполнения последовательного сканирования до начала чтения данных таблицы система оценивает условия сканирования относительно групп индексов BRIN, связанных со столбцами индекса iheap. Если условия группой индексов не выполняются, соответствующий блок таблицы, содержащий количество страниц, которое задаётся параметром pages_per_index, полностью пропускается при операциях чтения. Пропуск таких блоков сокращает объём читаемых данных с диска, таким образом повышая производительность последовательного сканирования.

Индекс iheap наиболее эффективен для следующих сценариев:

  • Как более быстрая альтернатива стандартному методу доступа heap для последовательного сканирования, когда индекс B-дерево не может быть создан, например из-за нехватки места на диске. В таких случаях индекс iheap может быть в тысячи или даже в сотни тысяч раз меньше индекса B-дерево.

  • Для запросов, в которых используются операторы сравнения <, <=, > и >=, а также большие выборки данных (обычно 10–15% от таблицы) для части предикатов, в ситуациях, когда индекс B-дерево не может использоваться.

  • Для индексирования монотонно возрастающих или уменьшающихся значений столбцов, а также значений, которые различаются в зависимости от групп страниц данных, где количество страниц в группе устанавливается при помощи параметра хранения индекса pages_per_index. Благодаря этим характеристикам такие значения удобно фильтровать. Чаще всего это относится к таблицам, чьи столбцы содержат время добавления или возрастающий уникальный идентификатор, например журналы или таблицы с историческими данными. В этих случаях лучше использовать iheap, чем несколько индексов B-дерево, по следующим причинам:

    • iheap в тысячи или даже десятки тысяч раз меньше индекса B-дерево.

    • В отличие от индекса B-дерево, iheap индексирует все совместимые столбцы таблицы.

    • Хотя производительность поиска с iheap, как правило, ниже, чем у поиска с индексом B-дерево, он в десятки раз быстрее поиска со стандартным методом доступа heap.

F.54.2. Особенности и ограничения #

  • При использовании метода доступа iheap индексируются только столбцы с фиксированной или переменной длиной, если их длина не превышает 64 байта. Для столбцов с типом данных varlena этот размер включает заголовок столбца.

  • Индекс B-дерево должен поддерживать тип данных столбца, поскольку метод доступа iheap использует операторы сравнения индекса B-дерево как наиболее распространённого индексного метода доступа.

  • Группа индексов BRIN, определённая для всех столбцов таблицы, должна помещаться на одну страницу индекса iheap, что примерно соответствует одной таблице с 1000 столбцов с типом данных integer. Если для хранения данных столбца места недостаточно, возвращается сообщение об ошибке. В нём указывается количество байт, которое система пыталась выделить для столбцов индекса iheap.

  • Параметр хранения индекса pages_per_index можно поменять, только выполнив следующие действия:

    1. Измените метод доступа с iheap на heap при помощи функции iheap_set_am.

    2. Измените значение pages_per_index.

    3. Измените метод доступа обратно на iheap, повторно вызвав функцию iheap_set_am.

    Индекс iheap будет перестроен с новым значением параметра хранения индекса.

  • При выполнении операции DELETE или UPDATE данные на страницах таблицы меняются и соответствующие группы индекса iheap помечаются как устаревшие. Хотя к данным этих групп можно обращаться, сами группы индекса необходимо обновить, выполнив команду VACUUM или посредством автоочистки.

    В случае с таблицами, использующими метод доступа iheap, команда VACUUM, если она выполняется с отключённым параметром DISABLE_PAGE_SKIPPING, обрабатывает только те страницы, которые относятся к группам индекса iheap, помеченным как устаревшие — obsolete. В процессе автоочистки используется такой же подход.

  • Если команда VACUUM выполняется с включённым параметром DISABLE_PAGE_SKIPPING, перебираются все страницы данных и для них строится индекс iheap.

  • Для типа данных boolean поддерживаются только условия столбец = true.

F.54.3. Установка #

Расширение pgpro_iheap входит в состав Postgres Pro Enterprise. Чтобы задействовать его, создайте расширение с помощью следующего запроса:

CREATE EXTENSION pgpro_iheap;

F.54.4. Функции #

Расширение pgpro_iheap предоставляет следующие функции:

iheap_set_am(rel_name text, am_name text) returns bool #

Изменяет табличный метод доступа, например с iheap на heap или наоборот. При изменении heap на iheap строится индекс iheap. Если метод доступа меняется с iheap на heap, индекс iheap удаляется. Таким образом, функция работает аналогично командам CREATE INDEX и DROP INDEX.

Обратите внимание, что индекс iheap, то есть индексный слой таблицы, создаётся или удаляется только после фиксации транзации, а не сразу при вызове функции iheap_set_am. Такое поведение исключает необходимость откатывать изменения в случае ошибки. Соответственно, при изменении табличного метода доступа с heap на iheap обращаться к таблице можно только в следующей транзакции.

После вызова этой функции команда PREPARE TRANSACTION завершается с ошибкой.

iheap_page_info(rel_name text, blk_num int4) returns record #

Возвращает общую информацию о странице blk_num индекса iheap для таблицы rel_name. Вывод содержит следующие столбцы:

  • col_group_size: размер группы индексов BRIN, определённых для столбца.

  • col_groups_num: количество групп индексов BRIN на странице iheap.

iheap_page_groups_info(rel_name text, blk_num int4) returns setof record #

Возвращает группы индексов BRIN, определённых для столбцов на странице blk_num индекса iheap для таблицы rel_name. Вывод содержит следующие столбцы:

  • group_num: номер группы, начиная с 0.

  • flags: флаги, установленные для группы:

    • set: группа содержит значения индексов BRIN, определённых для столбцов. Этот флаг означает, что группа непустая.

    • obsolete: данные группы устарели и будут обновлены во время очистки.

iheap_page_items_info(rel_name text, blk_num int4, group_num int4) returns setof record #

Возвращает содержимое группы индексов BRIN с номером group_num страницы blk_num индекса iheap для таблицы rel_name. Вывод содержит следующие столбцы:

  • attno: номер индексируемого столбца, начиная с 1.

  • flags: флаги, установленные для столбца:

    • set: столбец содержит значения индекса BRIN.

    • has nulls: столбец содержит одно или более значений NULL.

  • minval: минимальное значение индекса BRIN.

  • maxval: максимальное значение индекса BRIN.

F.54.5. Использование #

В примере ниже создаётся расширение, таблица с методом доступа iheap, а также выполняются различные операции с этой таблицей.

-- Создание расширения pgpro_iheap
CREATE EXTENSION pgpro_iheap;

-- Создание таблицы с методом доступа iheap
CREATE TABLE test (i int, t text, b bigint) USING iheap;

-- Добавление данных (в третий столбец на первой странице добавляется NULL)
INSERT INTO test (i, t, b) VALUES (1, '1', NULL);
INSERT INTO test (SELECT i, i::text, i % 100 FROM generate_series(2, 100000) AS i);

-- Получение заголовков страниц индекса iheap
SELECT i AS blkno, (info).col_group_size, (info).col_groups_num FROM
  (SELECT i, iheap_page_info('test', i) AS info FROM
    (SELECT i FROM generate_series(0, ((pg_relation_size('test', 'idx') / 8192) - 1)::int) AS i));

 blkno | col_group_size | col_groups_num
-------+----------------+----------------
     0 |             32 |            255
(1 row)

-- Получение информации о группах индекса iheap
SELECT i AS blkno, (info).group_num, (info).flags FROM
  (SELECT i, iheap_page_groups_info('test', i) AS info FROM
    (SELECT i FROM generate_series(0, ((pg_relation_size('test', 'idx') / 8192) - 1)::int) AS i))
  WHERE array_position((info).flags, 'set') > 0;

 blkno | group_num | flags
-------+-----------+-------
     0 |         0 | {set}
     0 |         1 | {set}
     0 |         2 | {set}
(3 rows)

-- Получение информации о столбцах групп индекса iheap
SELECT i AS blkno, group_num, (info).attno, (info).flags FROM
  (SELECT i, group_num, iheap_page_items_info('test', i, group_num) AS info FROM
    (SELECT i, (info).group_num AS group_num FROM
      (SELECT i, iheap_page_groups_info('test', i) AS info FROM
        (SELECT i FROM generate_series(0, ((pg_relation_size('test', 'idx') / 8192) - 1)::int) AS i))
      WHERE array_position((info).flags, 'set') > 0));

 blkno | group_num | attno |       flags
-------+-----------+-------+-------------------
     0 |         0 |     1 | {set}
     0 |         0 |     2 | {}
     0 |         0 |     3 | {set,"has nulls"}
     0 |         1 |     1 | {set}
     0 |         1 |     2 | {}
     0 |         1 |     3 | {set}
     0 |         2 |     1 | {set}
     0 |         2 |     2 | {}
     0 |         2 |     3 | {set}
(9 rows)

-- Поиск значения с ипользованием индекса iheap
SELECT * FROM test WHERE i = 99999;

   i   |   t   | b
-------+-------+----
 99999 | 99999 | 99
(1 row)
FAQ