F.48. pg_trgm
Модуль pg_trgm
предоставляет функции и операторы для определения схожести алфавитно-цифровых строк на основе триграмм, а также классы операторов индексов, поддерживающие быстрый поиск схожих строк.
F.48.1. Понятия, связанные с триграммами (или триграфами)
Триграмма — это группа трёх последовательных символов, взятых из строки. Мы можем измерить схожесть двух строк, подсчитав число триграмм, которые есть в обеих. Эта простая идея оказывается очень эффективной для измерения схожести слов на многих естественных языках.
Примечание
pg_trgm
, извлекая триграммы из строк, игнорирует символы, не относящиеся к словам (не алфавитно-цифровые). При выделении триграмм, содержащихся в строке, считается, что перед каждым словом находятся два пробела, а после — один пробел. Например, из строки «cat
» выделяется набор триграмм: « c
», « ca
», «cat
» и «at
». Из строки «foo|bar
» выделяются триграммы: « f
», « fo
», «foo
», «oo
», « b
», « ba
», «bar
» и «ar
».
F.48.2. Функции и операторы
Реализованные в модуле pg_trgm
функции перечислены в Таблице F.36, а операторы — в Таблице F.37.
Таблица F.36. Функции pg_trgm
Рассмотрим следующий пример:
# SELECT word_similarity('word', 'two words'); word_similarity ----------------- 0.8 (1 row)
Набор триграмм для первой строки: {" w"," wo","wor","ord","rd "}
. Во второй строке упорядоченный набор триграмм: {" t"," tw","two","wo "," w"," wo","wor","ord","rds","ds "}
. Наиболее близкий фрагмент упорядоченного множества триграмм во второй строке: {" w"," wo","wor","ord"}
, а коэффициент схожести равен 0.8
.
Эта функция возвращает значение, которое можно примерно воспринимать как максимальную оценку схожести первой строки с любой подстрокой второй строки. Данная функция не добавляет пробелы к границам фрагмента, поэтому совпадение с отдельным словом оценивается выше, чем совпадение с частью слова.
Таблица F.37. Операторы pg_trgm
Оператор | Возвращает | Описание |
---|---|---|
text % text | boolean | Возвращает true , если схожесть аргументов выше текущего порога, заданного параметром pg_trgm.similarity_threshold . |
text <% text | boolean | Возвращает true , если схожесть между набором триграмм в первом аргументе и непрерывным фрагментом упорядоченного набора триграмм во втором превышает уровень схожести, устанавливаемый параметром pg_trgm.word_similarity_threshold . |
text %> text | boolean | Коммутирующий оператор для <% . |
text <-> text | real | Возвращает «расстояние» между аргументами, то есть один минус значение similarity() . |
text <<-> text | real | Возвращает «расстояние» между аргументами, то есть один минус значение word_similarity() . |
text <->> text | real | Коммутирующий оператор для <<-> . |
F.48.3. Параметры GUC
pg_trgm.similarity_threshold
(real
)Задаёт текущий порог схожести, который использует оператор
%
. Это значение должно быть в диапазоне от 0 до 1 (по умолчанию 0.3).pg_trgm.word_similarity_threshold
(real
)Задаёт текущий порог схожести слов, который используют операторы
<%
и%>
. Это значение должно быть в диапазоне от 0 до 1 (по умолчанию 0.6).
F.48.4. Поддержка индексов
Модуль pg_trgm
предоставляет классы операторов индексов GiST и GIN, позволяющие создавать индекс по текстовым столбцам для очень быстрого поиска по критерию схожести. Эти типы индексов поддерживают вышеописанные операторы схожести и дополнительно поддерживают поиск на основе триграмм для запросов с LIKE
, ILIKE
, ~
и ~*
. (Эти индексы не поддерживают простые операторы сравнения и равенства, так что вам может понадобиться и обычный индекс-B-дерево.)
Пример:
CREATE TABLE test_trgm (t text); CREATE INDEX trgm_idx ON test_trgm USING GIST (t gist_trgm_ops);
или
CREATE INDEX trgm_idx ON test_trgm USING GIN (t gin_trgm_ops);
На этот момент у вас будет индекс по столбцу t
, используя который можно осуществлять поиск по схожести. Пример типичного запроса:
SELECT t, similarity(t, 'слово
') AS sml FROM test_trgm WHERE t % 'слово
' ORDER BY sml DESC, t;
Он выдаст все значения в текстовом столбце, которые достаточно схожи со словом word
, в порядке сортировки от наиболее к наименее схожим. Благодаря использованию индекса, эта операция будет быстрой даже с очень большими наборами данных.
Другой вариант предыдущего запроса:
SELECT t, t <-> 'слово
' AS dist
FROM test_trgm
ORDER BY dist LIMIT 10;
Он может быть довольно эффективно выполнен с применением индексов GiST, а не GIN. Обычно он выигрышнее первого варианта только когда требуется получить небольшое количество близких совпадений.
Также вы можете использовать индекс по столбцу t
для оценки схожести слов. Например:
SELECT t, word_similarity('слово
', t) AS sml FROM test_trgm WHERE 'слово
' <% t ORDER BY sml DESC, t;
В результате будут возвращены все значения в текстовом столбце, для которых найдётся непрерывный фрагмент в упорядоченном наборе триграмм, достаточно схожий с набором триграмм строки слово
. При этом возвращённые значения будут отсортированы от наиболее к наименее схожим. Этот индекс будет использоваться для ускорения поиска даже с очень большим объёмом данных.
Другой вариант предыдущего запроса:
SELECT t, 'слово
' <<-> t AS dist
FROM test_trgm
ORDER BY dist LIMIT 10;
Он может быть довольно эффективно выполнен с применением индексов GiST, а не GIN.
Начиная с PostgreSQL 9.1, эти типы индексов также поддерживают поиск с операторами LIKE
и ILIKE
, например:
SELECT * FROM test_trgm WHERE t LIKE '%foo%bar';
При таком поиске по индексу сначала из искомой строки извлекаются триграммы, а затем они ищутся в индексе. Чем больше триграмм оказывается в искомой строке, тем более эффективным будет поиск по индексу. В отличие от поиска по B-дереву, искомая строка не должна привязываться к левому краю.
Начиная с PostgreSQL 9.3, индексы этих типов также поддерживают поиск по регулярным выражениям (операторы ~
и ~*
), например:
SELECT * FROM test_trgm WHERE t ~ '(foo|bar)';
При таком поиске из регулярного выражения извлекаются триграммы, а затем они ищутся в индексе. Чем больше триграмм удаётся извлечь из регулярного выражения, тем более эффективным будет поиск по индексу. В отличие от поиска по B-дереву, искомая строка не должна привязываться к левому краю.
Относительно поиска по регулярному выражению или с LIKE
, имейте в виду, что при отсутствии триграмм в искомом шаблоне поиск сводится к полному сканирования индекса.
Выбор между индексами GiST и GIN зависит от относительных характеристик производительности GiST и GIN, которые здесь не рассматриваются.
F.48.5. Интеграция с текстовым поиском
Сопоставление триграмм — очень полезный приём в сочетании с применением полнотекстового индекса. В частности это может помочь найти слова, написанные неправильно, которые не будут находиться непосредственно механизмом полнотекстового поиска.
В первую очередь нужно построить дополнительную таблицу, содержащую все уникальные слова в документе:
CREATE TABLE words AS SELECT word FROM ts_stat('SELECT to_tsvector(''simple'', bodytext) FROM documents');
Здесь documents
— это таблица с текстовым полем bodytext
, по которому мы будем выполнять поиск. Конфигурация simple
используется с функцией to_tsvector
вместо конфигурации для определённого языка по той причине, что нам нужен список исходных (необработанных стеммером) слов.
Затем нужно создать индекс триграмм по столбцу со словами:
CREATE INDEX words_idx ON words USING GIN (word gin_trgm_ops);
Теперь мы можем использовать запрос SELECT
, подобный показанному в предыдущем примере, и предлагать варианты исправлений слов, введённых пользователем с ошибками. Кроме того, может быть полезно дополнительно проверить, что выбранные слова также имеют длину, примерно равную длине ошибочных слов.
Примечание
Так как таблица words
была сформирована как отдельная статическая таблица, её нужно периодически обновлять, чтобы она достаточно хорошо соответствовала набору документов. Постоянно поддерживать её в полностью актуальном состоянии обычно не требуется.
F.48.6. Ссылки
Сайт разработки GiST http://www.sai.msu.su/~megera/postgres/gist/
Сайт разработки Tsearch2 http://www.sai.msu.su/~megera/postgres/gist/tsearch/V2/
F.48.7. Авторы
Олег Бартунов <oleg@sai.msu.su>
, Москва, Московский Государственный Университет, Россия
Фёдор Сигаев <teodor@sigaev.ru>
, Москва, ООО «Дельта-Софт», Россия
Александр Коротков <a.korotkov@postgrespro.ru>
, Москва, Postgres Professional, Россия
Документация: Кристофер Кингс-Линн
Разработку этого модуля спонсировало ООО «Дельта-Софт», г. Москва, Россия.