9.16. Функции и операторы JSON
В этом разделе описываются:
функции и операторы, предназначенные для работы с данными JSON
язык путей SQL/JSON
Чтобы узнать больше о стандарте SQL/JSON, обратитесь к [sqltr-19075-6]. Типы JSON, поддерживаемые в Postgres Pro, описаны в Разделе 8.14.
9.16.1. Обработка и создание данных JSON
Примечание
Функции, работающие с JSONB, не принимают символы '\u0000'. Чтобы избежать ошибок и заменять их на лету, необходимо указать символ Unicode в параметре конфигурации unicode_nul_character_replacement_in_jsonb.
В Таблице 9.45 показаны имеющиеся операторы для работы с данными JSON (см. Раздел 8.14). Кроме них для типа jsonb, но не для json, определены обычные операторы сравнения, показанные в Таблице 9.1. Они следуют правилам упорядочивания для операций B-дерева, описанным в Подразделе 8.14.4. В Разделе 9.21 вы также можете узнать об агрегатной функции json_agg, которая агрегирует значения записи в виде JSON, и агрегатной функции json_object_agg, агрегирующей пары значений в объект JSON, а также их аналогах для jsonb, функциях jsonb_agg и jsonb_object_agg.
Таблица 9.45. Операторы для типов json и jsonb
Оператор Описание Пример(ы) |
|---|
Извлекает
|
Извлекает поле JSON-объекта по заданному ключу.
|
Извлекает
|
Извлекает поле JSON-объекта по заданному ключу, в виде значения
|
Извлекает внутренний JSON-объект по заданному пути, элементами которого могут быть индексы массивов или ключи.
|
Извлекает внутренний JSON-объект по заданному пути в виде значения
|
Примечание
Если структура входного JSON не соответствует запросу, например указанный ключ или элемент массива отсутствует, операторы извлечения поля/элемента/пути не выдают ошибку, а возвращают NULL.
Некоторые из следующих операторов существуют только для jsonb, как показано в Таблице 9.46. В Подразделе 8.14.4 описано, как эти операторы могут использоваться для эффективного поиска в индексированных данных jsonb.
Таблица 9.46. Дополнительные операторы jsonb
Оператор Описание Пример(ы) |
|---|
Первое значение JSON содержит второе? (Что означает «содержит», подробно описывается в Подразделе 8.14.3.)
|
Первое значение JSON содержится во втором?
|
Текстовая строка присутствует в значении JSON в качестве ключа верхнего уровня или элемента массива?
|
Какие-либо текстовые строки из массива присутствуют в качестве ключей верхнего уровня или элементов массива?
|
Все текстовые строки из массива присутствуют в качестве ключей верхнего уровня или элементов массива?
|
Соединяет два значения
Чтобы вставить один массив в другой в качестве массива, поместите его в дополнительный массив, например:
|
Удаляет ключ (и его значение) из JSON-объекта или соответствующие строковые значения из JSON-массива.
|
Удаляет из левого операнда все перечисленные ключи или элементы массива.
|
Удаляет из массива элемент в заданной позиции (отрицательные номера позиций отсчитываются от конца). Выдаёт ошибку, если переданное значение JSON — не массив.
|
Удаляет поле или элемент массива с заданным путём, в составе которого могут быть индексы массивов или ключи.
|
Выдаёт ли путь JSON какой-либо элемент для заданного значения JSON?
|
Возвращает результат проверки предиката пути JSON для заданного значения JSON. При этом учитывается только первый элемент результата. Если результат не является логическим, возвращается
|
Примечание
Операторы jsonpath @? и @@ подавляют следующие ошибки: отсутствие поля объекта или элемента массива, несовпадение типа элемента JSON и ошибки в числах и дате/времени. Описанные ниже функции, связанные с jsonpath, тоже могут подавлять ошибки такого рода. Это может быть полезно, когда нужно произвести поиск по набору документов JSON, имеющих различную структуру.
В Таблице 9.47 показаны функции, предназначенные для создания значений json и jsonb.
Таблица 9.47. Функции для создания JSON
Функция Описание Пример(ы) |
|---|
Преобразует произвольное SQL-значение в
|
Преобразует массив SQL в JSON-массив. Эта функция работает так же, как
|
Преобразует составное значение SQL в JSON-объект. Эта функция работает так же, как
|
Формирует JSON-массив (возможно, разнородный) из переменного списка аргументов. Каждый аргумент преобразуется методом
|
Формирует JSON-объект из переменного списка аргументов. По соглашению в этом списке перечисляются по очереди ключи и значения. Аргументы, задающие ключи, приводятся к текстовому типу, а аргументы-значения преобразуются методом
|
Формирует объект JSON из текстового массива. Этот массив должен иметь либо одну размерность с чётным числом элементов (в этом случае они воспринимаются как чередующиеся ключи/значения), либо две размерности и при этом каждый внутренний массив содержит ровно два элемента, которые воспринимаются как пара ключ/значение. Все значения преобразуются в строки JSON.
|
Эта форма
|
В Таблице 9.48 показаны функции, предназначенные для работы со значениями json и jsonb.
Таблица 9.48. Функции для обработки JSON
Функция Описание Пример(ы) |
|---|
Разворачивает JSON-массив верхнего уровня в набор значений JSON.
value ----------- 1 true [2,false] |
Разворачивает JSON-массив верхнего уровня в набор значений
value ----------- foo bar |
Возвращает число элементов во внешнем JSON-массиве верхнего уровня.
|
Разворачивает JSON-объект верхнего уровня в набор пар ключ/значение (key/value).
key | value -----+------- a | "foo" b | "bar" |
Разворачивает JSON-объект верхнего уровня в набор пар ключ/значение (key/value). Возвращаемые значения будут иметь тип
key | value -----+------- a | foo b | bar |
Извлекает внутренний JSON-объект по заданному пути. (То же самое делает оператор
|
Извлекает внутренний JSON-объект по заданному пути в виде значения
|
Выдаёт множество ключей в JSON-объекте верхнего уровня.
json_object_keys ----------------- f1 f2 |
Разворачивает JSON-объект верхнего уровня в строку, имеющую составной тип аргумента Для преобразования значения JSON в SQL-тип выходного столбца последовательно применяются следующие правила:
В следующем примере значение JSON фиксировано, но обычно такая функция обращается с использованием
a | b | c
---+-----------+-------------
1 | {2,"a b"} | (4,"a b c") |
Разворачивает JSON-массив верхнего уровня с объектами в набор строк, имеющих составной тип аргумента
a | b ---+--- 1 | 2 3 | 4 |
Разворачивает JSON-объект верхнего уровня в строку, имеющую составной тип, определённый в предложении
a | b | c | d | r
---+---------+---------+---+---------------
1 | [1,2,3] | {1,2,3} | | (123,"a b c") |
Разворачивает JSON-массив верхнего уровня с объектами в набор строк, имеющих составной тип, определённый в предложении
a | b ---+----- 1 | foo 2 | |
Возвращает объект
|
Если значение
|
Возвращает объект
|
Удаляет из данного значения JSON все поля объектов, имеющие значения null, на всех уровнях вложенности. Значения null, не относящиеся к полям объектов, сохраняются без изменений.
|
Проверяет, есть ли в заданном значении JSON какой-либо элемент, соответствующий пути JSON. В случае присутствия аргумента
|
Возвращает результат проверки предиката пути JSON для заданного значения JSON. При этом учитывается только первый элемент результата. Если результат не является логическим, возвращается
|
Возвращает все элементы JSON, полученные по указанному пути для заданного значения JSON. Дополнительные аргументы
jsonb_path_query ------------------ 2 3 4 |
Возвращает все элементы JSON, полученные по указанному пути для заданного значения JSON, в виде JSON-массива. Дополнительные аргументы
|
Возвращает первый элемент JSON, полученный по указанному пути для заданного значения JSON, либо NULL, если этому пути не соответствуют никакие элементы. Дополнительные аргументы
|
Эти функции работают подобно их двойникам без суффикса
|
Преобразует данное значение JSON в визуально улучшенное текстовое представление с отступами.
[
{
"f1": 1,
"f2": null
},
2
] |
Возвращает тип значения на верхнем уровне JSON в виде текстовой строки. Возможные типы:
|
9.16.2. Язык путей SQL/JSON
Выражения путей SQL/JSON определяют элементы, извлекаемые из данных JSON, подобно тому, как выражения XPath позволяют обращаться из SQL к XML. В Postgres Pro выражения путей представляются в виде типа данных jsonpath и могут использовать любые элементы, описанные в Подразделе 8.14.7.
Операторы и функции запросов к JSON передают поступившее им выражение обработчику путей для вычисления. Если выражению соответствуют фигурирующие в запросе данные JSON, в результате выдаётся соответствующий элемент JSON или набор элементов. Выражения путей записываются на языке путей SQL/JSON и могут включать сложные арифметические выражения и функции.
Выражение пути состоит из последовательности элементов, допустимых для типа jsonpath. Обычно оно вычисляется слева направо, но при необходимости порядок операций можно изменить, добавив скобки. В случае успешного вычисления выдаётся последовательность элементов JSON, и результат вычисления возвращается в функцию JSON-запроса, которая завершает обработку выражения.
Для обращения к поступившему в запрос значению JSON (элементу контекста) в выражении пути используется переменная $. Затем могут следовать один или более операторов обращения, которые, опускаясь в структуре JSON с одного уровня на другой, извлекают элементы, вложенные в текущий элемент контекста. При этом каждый последующий оператор имеет дело с результатом вычисления, полученным на предыдущем шаге.
Например, предположим, что у вас есть данные JSON, полученные от GPS-трекера, которые вы хотели бы проанализировать:
{
"track": {
"segments": [
{
"location": [ 47.763, 13.4034 ],
"start time": "2018-10-14 10:05:14",
"HR": 73
},
{
"location": [ 47.706, 13.2635 ],
"start time": "2018-10-14 10:39:21",
"HR": 135
}
]
}
}Чтобы получить имеющиеся сегменты треков, воспользуйтесь оператором обращения ., который позволяет погрузиться внутрь JSON-объектов: ключ
$.track.segments
Для получения содержимого массива обычно используется оператор [*]. Например, следующий путь выдаст координаты концов всех имеющихся сегментов треков:
$.track.segments[*].location
Чтобы получить координаты только первого сегмента, можно задать соответствующий индекс в операторе обращения []. Заметьте, что индексы в JSON-массивах отсчитываются с 0:
$.track.segments[0].location
Результат каждого шага вычисления выражения может быть обработан операторами и методами jsonpath, перечисленными в Подразделе 9.16.2.2. Перед именем метода должна стоять точка. Например, так можно получить размер массива:
$.track.segments.size()
Другие примеры использования операторов и методов jsonpath в выражениях пути приведены ниже в Подразделе 9.16.2.2.
Определяя путь, также можно использовать выражения фильтра, работающие подобно предложению WHERE в SQL. Выражение фильтра начинается со знака вопроса и содержит условие в скобках:
? (условие)Выражения фильтра указываются сразу после шага вычисления пути, к которому они должны применяться. Результаты шага проходят через фильтр, и на выходе остаются только те элементы, которые удовлетворяют заданному условию. В SQL/JSON действует троичная логика, то есть результатом выражения может быть true, false или unknown (неизвестность). Значение unknown играет ту же роль, что и NULL в SQL, и может быть проверено предикатом is unknown. На последующих шагах вычисления пути будут обрабатываться только те элементы, для которых выражение фильтра выдало true.
Функции и операторы, которые можно использовать в выражениях фильтра, перечислены в Таблице 9.50. Переменная @ в выражении фильтра представляет фильтруемое значение (результат предыдущего шага в пути). Для получения внутренних элементов этого значения вы можете добавить после @ операторы обращения.
Например, предположим, что вы хотите получить все показатели пульса, превышающие 130. Это можно сделать с помощью следующего выражения:
$.track.segments[*].HR ? (@ > 130)
Чтобы получить в результате время начала соответствующих сегментов, вы должны отфильтровать ненужные сегменты, а затем выбрать время, так что фильтр будет применяться к предыдущему шагу и путь окажется другим:
$.track.segments[*] ? (@.HR > 130)."start time"
Можно также использовать несколько выражений фильтра по очереди, когда это требуется. Например, следующее выражение выбирает время начала всех сегментов с определёнными координатами и высоким показателем пульса:
$.track.segments[*] ? (@.location[1] < 13.4) ? (@.HR > 130)."start time"
Также возможно использовать фильтры на разных уровнях вложенности. В следующем примере сначала сегменты фильтруются по координатам, а затем для подходящих сегментов, если они находятся, выбираются значения высокого пульса:
$.track.segments[*] ? (@.location[1] < 13.4).HR ? (@ > 130)
Можно также вкладывать выражения фильтра одно в другое:
$.track ? (exists(@.segments[*] ? (@.HR > 130))).segments.size()
Данное выражение возвращает количество сегментов в треке, если он содержит сегменты с высокими показателями пульса, или пустую последовательность, если таких сегментов нет.
Реализация языка путей SQL/JSON в Postgres Pro имеет следующие отличия от стандарта SQL/JSON:
Выражение пути может быть булевым предикатом, хотя стандарт SQL/JSON допускает предикаты только в фильтрах. Это необходимо для реализации оператора
@@. Например, следующее выражениеjsonpathдопускается в Postgres Pro:$.track.segments[*].HR < 70
Есть небольшие различия в интерпретации шаблонов регулярных выражений, используемых в фильтрах
like_regex; имеющиеся особенности описаны в Подразделе 9.16.2.4.Если поместить описание пути в квадратные скобки
[], то результат вычисления пути автоматически обёртывается в массив.
9.16.2.1. Строгий и нестрогий режимы
Когда вы обращаетесь к данным JSON, выражение пути может не соответствовать фактической структуре данных JSON. Попытка обратиться к несуществующему члену объекта или элементу массива приводит к ошибке структурного типа. Для обработки такого рода ошибок в выражениях путей SQL/JSON предусмотрены два режима:
lax (по умолчанию) — нестрогий режим, в котором обработчик путей неявно адаптирует обрабатываемые данные к указанному пути. Любые возникающие структурные ошибки подавляются и заменяются пустыми последовательностями SQL/JSON.
strict — строгий режим, в котором структурные ошибки выдаются как есть.
Нестрогий режим упрощает сопоставление структуры документа JSON с выражением пути в случаях, когда данные JSON не соответствуют ожидаемой схеме. Если операнд не удовлетворяет требованиям определённой операции, он может перед выполнением этой операции автоматически оборачиваться в массив SQL/JSON или наоборот, разворачиваться так, чтобы его элементы образовали последовательность SQL/JSON. Помимо этого, в нестрогом режиме операторы сравнения автоматически разворачивают свои операнды, что позволяет легко сравнивать массивы SQL/JSON. Массив с одним элементом в таком режиме считается равным своему элементу. Автоматическое разворачивание не выполняется только в следующих случаях:
В выражении пути фигурируют методы
size()иtype(), возвращающие соответственно число элементов в массиве и тип.Обрабатываемые данные JSON содержат вложенные массивы. В этом случае разворачивается только массив верхнего уровня, а внутренние массивы остаются без изменений. Таким образом, неявное разворачивание может опускаться на каждом шаге вычисления пути только на один уровень.
Например, обрабатывая данные GPS, показанные выше, в нестрогом режиме можно не обращать внимание на то, что в них содержится массив сегментов:
lax $.track.segments.location
В строгом режиме указанный путь должен в точности соответствовать структуре обрабатываемого документа JSON и выдавать элемент SQL/JSON, поэтому использование такого выражения пути приведёт к ошибке. Чтобы получить такой же результат, как в нестрогом режиме, необходимо явно развернуть массив segments:
strict $.track.segments[*].location
Оператор обращения .** в нестрогом режиме может выдавать несколько неожиданные результаты. Например, следующий запрос выберет каждое значение HR дважды:
lax $.**.HR
Это происходит потому, что оператор .** выбирает и массив segments, и каждый из его элементов, а обращение .HR в нестрогом режиме автоматически разворачивает массивы. Во избежание подобных сюрпризов мы рекомендуем использовать оператор обращения .** только в строгом режиме. Следующий запрос выбирает каждое значение HR в единственном экземпляре:
strict $.**.HR
9.16.2.2. Операторы и методы SQL/JSON
В Таблице 9.49 показаны операторы и методы, поддерживаемые в значениях jsonpath. Заметьте, что унарные операторы и методы могут применяться к множеству значений, полученных на предыдущем шаге пути, тогда как бинарные операторы (сложение и т. п.) применяются только к отдельным значениям.
Таблица 9.49. Операторы и методы jsonpath
Оператор/Метод Описание Пример(ы) |
|---|
Сложение
|
Унарный плюс (нет операции); в отличие от сложения, он может итерационно применяться к множеству значений
|
Вычитание
|
Смена знака; в отличие от вычитания, этот оператор может итерационно применяться к множеству значений
|
Умножение
|
Деление
|
Остаток от деления
|
Тип элемента JSON (см.
|
Размер элемента JSON (число элементов в массиве либо 1, если это не массив)
|
Приблизительное число с плавающей точкой, преобразованное из строки или числа JSON
|
Ближайшее целое, большее или равное заданному числу
|
Ближайшее целое, меньшее или равное заданному числу
|
Модуль заданного числа (абсолютное значение)
|
Значение даты/времени, полученное из строки
|
Значение даты/времени, преобразованное из строки по шаблону
|
Пары ключ-значение, представленные в виде массива объектов со следующими тремя полями:
|
Примечание
Результирующим типом методов datetime() и datetime( может быть шаблон)date, timetz, time, timestamptz или timestamp. Эти два метода определяют тип своего результата автоматически.
Метод datetime() пытается последовательно сопоставить поступившую на вход строку с ISO-форматами типов date, timetz, time, timestamptz и timestamp. Встретив первый подходящий формат, он останавливается и возвращает соответствующий тип данных.
Метод datetime( определяет результирующий тип в соответствии с полями заданного шаблона.шаблон)
Методы datetime() и datetime( применяют те же правила разбора строки, что и SQL-функция шаблон)to_timestamp (см. Раздел 9.8), но с тремя исключениями. Во-первых, эти методы не позволяют использовать в шаблоне поля, которым не находится соответствие. Во-вторых, в шаблоне допускаются только следующие разделители: знак минуса, точка, косая черта, запятая, апостроф, точка с запятой, запятая и пробел. В-третьих, разделители в шаблоне должны в точности соответствовать входной строке.
Если требуется сравнить значения разных типов даты/времени, применяется неявное приведение типа. Значение date может быть приведено к типу timestamp или timestamptz; timestamp — к типу timestamptz, а time — к timetz. Однако все эти приведения, кроме первого, зависят от текущего значения TimeZone и поэтому не могут выполняться в функциях jsonpath, не учитывающих часовой пояс.
В Таблице 9.50 перечислены допустимые элементы выражения фильтра.
Таблица 9.50. Элементы выражения фильтра jsonpath
Предикат/значение Описание Пример(ы) |
|---|
Проверка равенства (все операторы сравнения, включая этот, работают с любыми скалярными значениями JSON)
|
Проверка неравенства
|
Проверка «меньше»
|
Проверка «меньше или равно»
|
Проверка «больше»
|
Проверка «больше или равно»
|
JSON-константа
|
JSON-константа
|
JSON-константа
|
Логическое И
|
Логическое ИЛИ
|
Логическое НЕ
|
Проверяет, является ли
|
Проверяет, соответствует ли первый операнд регулярному выражению, которое задаёт второй операнд с необязательным аргументом
|
Проверяет, является ли второй операнд начальной подстрокой первого.
|
Проверяет, соответствует ли выражению пути минимум один элемент SQL/JSON. Возвращает
|
9.16.2.3. Расширения
В Postgres Pro есть некоторые расширения стандарта пути SQL/JSON. Эти расширения синтаксиса можно включить, указав дополнительный модификатор pgpro перед флагами strict/lax. Примеры использования расширений показаны в Таблице 9.51.
Таблица 9.51. Расширения синтаксиса jsonpath
| Имя | Описание | Пример JSON | Примеры пути JSON | Результат |
|---|---|---|---|---|
| Конструктор последовательностей | Создаёт последовательность JSON из списка выражений, разделённых запятыми | [1, 2, 3] | pgpro $[*], 4, 5 | 1, 2, 3, 4, 5 |
| Конструктор массивов | Создаёт массив JSON путём перечисления его элементов, заключённых в скобки | [1, 2, 3] | pgpro [$[*], 4, 5] | [1, 2, 3, 4, 5] |
| Конструктор объектов | Создаёт объект JSON путём перечисления его полей, заключённых в скобки | {"x": "y"} | pgpro {a: 1, "b c": $.x} | {"a": 1, "b c": "y"} |
| Индексация объектов | Извлекает поле объекта JSON, используя указанное выражение в качестве ключа | {"a": 1, "b": "a"} | pgpro $[$.b] | 1 |
9.16.2.4. Регулярные выражения SQL/JSON
Выражения путей SQL/JSON могут содержать фильтры like_regex, позволяющие сопоставлять текст с регулярным выражением. Например, следующий запрос пути SQL/JSON выберет все строки в массиве, которые начинаются с английской гласной в любом регистре:
$[*] ? (@ like_regex "^[aeiou]" flag "i")
Необязательная строка flag может содержать один или несколько следующих символов: i, делающий поиск регистронезависимым, m, допускающий сопоставление ^ и $ с переводами строк, s, допускающий сопоставление . с символом новой строки, и q, берущий в кавычки весь шаблон (в результате производится простой поиск подстроки).
Стандарт SQL/JSON заимствует определение регулярных выражений от оператора LIKE_REGEX, который, в свою очередь, реализуется по стандарту XQuery. Однако в Postgres Pro оператор LIKE_REGEX в настоящее время отсутствует. Поэтому фильтр like_regex реализован с использованием механизма регулярных выражений POSIX, который описан в Подразделе 9.7.3. Вследствие этого наблюдается ряд небольших отклонений от описанного в стандарте поведения SQL/JSON, о которых рассказывается в Подразделе 9.7.3.8. Заметьте однако, что описанная там несовместимость букв флагов не проявляется на уровне SQL/JSON, так как заданные в SQL/JSON флаги XQuery переводятся во флаги, воспринимаемые механизмом POSIX.
Помните, что аргумент, задающий шаблон для like_regex, является строкой пути JSON и записывается по правилам, описанным в Подразделе 8.14.7. Это в частности означает, что каждую косую черту в регулярном выражении надо дублировать. Например, чтобы отобрать строковые значения, находящиеся на уровне корня документа и содержащие только цифры, нужно написать:
$.* ? (@ like_regex "^\\d+$")
9.16.3. Функции и выражения SQL/JSON
Postgres Pro реализует модель данных SQL/JSON, обеспечивая встроенную поддержку типов данных JSON в среде SQL. В этой модели данные представляются последовательностями элементов. Каждый элемент может содержать скалярные значения SQL, дополнительно определённое в SQL/JSON значение null и составные структуры данных, образуемые объектами и массивами JSON. Данная модель по сути формализует модель данных, описанную в спецификации JSON RFC 7159.
Поддержка SQL/JSON позволяет обрабатывать данные JSON наряду с обычными данными SQL, используя при этом транзакции, например:
Загружать данные JSON в базу и сохранять их в обычных столбцах SQL в виде символьных или двоичных строк.
Создавать объекты и массивы JSON из реляционных данных.
Обращаться к данным JSON, используя функции запросов SQL/JSON и выражения языка путей SQL/JSON.
Существуют две группы функций SQL/JSON. Функции-конструкторы генерируют данные JSON из значений типов SQL. Функции запросов вычисляют выражения языка путей SQL/JSON по значениям JSON и создают значения типов SQL/JSON, которые преобразуются в типы SQL.
Многие функции SQL/JSON для соответствия стандарту SQL принимают необязательное предложение FORMAT, но оно не влияет на результат, если не указано иное.
В Таблице 9.52 перечислены функции-конструкторы SQL/JSON. Каждая функция принимает предложение RETURNING, указывающее возвращаемый тип данных. Для функций json и json_scalar в этом предложении должно указываться либо json, либо jsonb. Для других функций-конструкторов — либо один из типов json, jsonb, bytea, либо тип символьных строк (text, char, varchar или nchar), либо тип, для которого существует приведение из json. По умолчанию возвращается тип json.
Примечание
Многие результаты, которые можно получить посредством функций-конструкторов SQL/JSON, также можно получить, вызвав собственные функции PostgreSQL, подробно описанные в Таблице 9.47 и Таблице 9.62.
Таблица 9.52. Функции-конструкторы SQL/JSON
В Таблице 9.53 описаны средства SQL/JSON для проверки и сериализации JSON.
Таблица 9.53. Функции проверки и сериализации SQL/JSON
В Таблице 9.54 описаны функции SQL/JSON (кроме json_table), которые можно использовать для обращения к данным JSON.
Примечание
Пути SQL/JSON можно применять только к типу jsonb, поэтому аргумент элемент_контекста этих функций, возможно, потребуется привести к типу jsonb.
Таблица 9.54. Функции запросов SQL/JSON
9.16.4. JSON_TABLE
json_table — это функция SQL/JSON, которая обрабатывает данные JSON и выдаёт результаты в виде реляционного представления, к которому можно обращаться как к обычной таблице SQL. Использовать json_table можно только внутри предложения FROM оператора SELECT.
Принимая данные JSON, функция json_table обрабатывает выражение пути и извлекает часть представленных данных, которая будет использоваться в качестве шаблона строк для создаваемого представления. Каждый элемент SQL/JSON на верхнем уровне шаблона строк служит источником для отдельной строки в создаваемом реляционном представлении.
Для разделения шаблона строк на столбцы в функции json_table применяется предложение COLUMNS, определяющее схему создаваемого представления. В этом предложении для каждого создаваемого столбца задаётся отдельное выражение пути, обрабатывающее шаблон строк, извлекающее элемент JSON и возвращающее его в виде отдельного значения SQL для данного столбца. Если требуемое значение находится на вложенном уровне шаблона строк, его можно извлечь, используя вложенное предложение NESTED PATH. При объединении столбцов, возвращаемых NESTED PATH, в создаваемом представлении могут добавиться несколько новых строк. Такие строки называются дочерними строками, а строка, которая их создаёт, — родительской строкой.
Строки, формируемые функцией JSON_TABLE, соединяются как последующие (LATERAL) со строкой, из которой они сформированы, поэтому нет необходимости явно соединять создаваемое представление с исходной таблицей, содержащей данные JSON. При этом, используя предложение PLAN, можно определить, как соединять столбцы, которые возвращает NESTED PATH.
Каждое предложение NESTED PATH может создать один или несколько столбцов. Столбцы, созданные NESTED PATH на одном уровне, считаются соседними; при этом столбцы, созданные вложенным выражением NESTED PATH, считаются потомками столбца, сформированного другим выражением NESTED PATH или выражением строки на более высоком уровне. При формировании результата сначала вместе составляются соседние столбцы, а после этого полученные строки соединяются с родительской строкой.
-
элемент_контекста,выражение_пути[ASимя_пути_json] [PASSING{значениеASимя_переменной} [, ...]] Входные данные для запроса, выражение пути JSON, определяющее запрос, и необязательное предложение
PASSING, которое может предоставлять значения данных длявыражения_пути. Результат обработки входных данных называется шаблоном строк. Шаблон строк используется в качестве источника для значений строк в создаваемом представлении.COLUMNS(столбец_таблицы_json[, ...] )Предложение
COLUMNS, определяющее схему создаваемого представления. В этом предложении должны указываться все столбцы, в которые будут помещаться элементы SQL/JSON. Выражениестолбец_таблицы_jsonимеет следующие варианты синтаксиса:-
имятип[PATHописание_пути_json] Вставляет один элемент SQL/JSON во все строки с указанным столбцом.
Если задаётся выражение
PATH,описание_пути_jsonв нём определяет шаблон строк и столбец заполняется сформированными элементами SQL/JSON (по одному в строке). Если выражениеPATHопускается, функцияJSON_TABLEвычисляет выражение пути$., гдеимяимя— указанное имя столбца. В этом случае имя столбца должно соответствовать одному из ключей в элементе SQL/JSON, созданном шаблоном строк.Также можно добавить предложения
ON EMPTYиON ERROR, чтобы определить, как обрабатывать отсутствующие значения или структурные ошибки. ПредложенияWRAPPERиQUOTESможно использовать только с типами JSON, массивами и составными типами. Эти предложения имеют тот же синтаксис и семантику, что и вjson_valueиjson_query.-
имятипFORMATпредставление_json[PATHописание_пути_json] Создаёт столбец и вставляет составной элемент SQL/JSON во все строки с указанным столбцом.
Если задаётся выражение
PATH,описание_пути_jsonв нём определяет шаблон строк и столбец заполняется сформированными элементами SQL/JSON (по одному в строке). Если выражениеPATHопускается, функцияJSON_TABLEвычисляет выражение пути$., гдеимяимя— указанное имя столбца. В этом случае имя столбца должно соответствовать одному из ключей в элементе SQL/JSON, созданном шаблоном строк.Также можно добавить предложения
WRAPPER,QUOTES,ON EMPTYиON ERROR, чтобы определить дополнительные параметры для возвращаемых элементов SQL/JSON. Эти предложения имеют тот же синтаксис и семантику, что и вjson_query.-
имятипEXISTS[PATHописание_пути_json] Создаёт столбец и вставляет логический элемент во все строки с указанным столбцом.
Если задаётся выражение
PATH,описание_пути_jsonв нём определяет шаблон строк и столбец заполняется логическими значениями (по одному в каждой строке), показывающими, были ли получены соответствующие элементы SQL/JSON. Для заданноготипадолжно существовать приведение изboolean. Если выражениеPATHопускается, функцияJSON_TABLEвычисляет выражение пути$., гдеимяимя— указанное имя столбца.Также можно добавить предложение
ON ERROR, чтобы определить поведение при ошибке. Это предложение имеет тот же синтаксис и семантику, что и вjson_exists.NESTED PATHописание_пути_json[ASимя_пути_json]COLUMNS(столбец_таблицы_json[, ...] )Извлекает элементы SQL/JSON из вложенных уровней шаблона строк, создаёт один или несколько столбцов, как определено во вложенном предложении
COLUMNS, и вставляет извлечённые элементы SQL/JSON во все строки с этими столбцами. Выражениестолбец_таблицы_jsonво вложенном предложенииCOLUMNSимеет тот же синтаксис, что и в родительском предложенииCOLUMNS.Синтаксис
NESTED PATHявляется рекурсивным, поэтому вкладывая одно предложениеNESTED PATHв другое, можно опускаться ниже от уровня к уровню. Это позволяет развернуть иерархию объектов и массивов JSON в одном вызове функции, а не связывать несколько выраженийJSON_TABLEв операторе SQL.Используя предложение
PLAN, можно определить, как объединять столбцы, возвращаемые предложениямиNESTED PATH.-
имяFOR ORDINALITY Добавляет столбец, обеспечивающий последовательную нумерацию строк. В таблице может быть только один столбец нумерации. Нумерация строк начинается с единицы. Для дочерних строк, сформированных предложениями
NESTED PATH, повторяется номер родительской строки.
-
-
ASимя_пути_json Необязательный параметр
имя_пути_jsonслужит идентификатором заданного параметраописание_пути_json. Имя пути должно быть уникальным и отличаться от имён столбцов. Когда применяется предложениеPLAN, необходимо задать имена для всех путей, включая шаблон строк. Имена путей в предложенииPLANне могут повторяться.PLAN(план_таблицы_json)Определяет, как соединять данные, возвращаемые предложениями
NESTED PATH, с создаваемым представлением.Соединять столбцы, реализуя отношения родитель/потомок, можно следующими способами:
-
INNER Используйте
INNER JOIN, чтобы родительская строка была исключена из вывода, если для неё не нашлось дочерних строк при объединении с данными, возвращённымиNESTED PATH.-
OUTER Используйте
LEFT OUTER JOIN, чтобы родительская строка всегда включалась в вывод, даже если для неё не нашлось дочерних строк при объединении с данными, возвращённымиNESTED PATH. Если соответствующие значения отсутствуют, в дочерние столбцы будут вставлены значения NULL.По умолчанию для соединения столбцов используется этот вариант.
Соединять соседние столбцы можно следующими способами:
-
UNION Сгенерировать одну строку для каждого значения отдельного соседнего столбца. Соседи данного столбца при этом заполняются значениями NULL.
Этот вариант выбирается по умолчанию для соединения соседних столбцов.
-
CROSS Сгенерировать одну строку для каждой комбинации значений из соседних столбцов.
-
PLAN DEFAULT()OUTER | INNER[,UNION | CROSS]Эти указания могут также задаваться в обратном порядке. В этом случае
INNERилиOUTERопределяет план соединения родительских/дочерних столбцов, аUNIONилиCROSSвлияет на объединение соседних столбцов. ФормаPLAN DEFAULTпереопределяет план по умолчанию для всех столбцов сразу. Несмотря на то, что в формеPLAN DEFAULTимена путей не указываются, для соответствия стандарту SQL/JSON имена должны задаваться для всех путей, если используется предложениеPLAN.Использовать
PLAN DEFAULTпроще, чем указывать полныйPLAN, и зачастую этого достаточно для получения желаемого результата.
Примеры
В этих примерах будет использоваться следующая небольшая таблица, содержащая данные JSON:
CREATE TABLE my_films ( js jsonb );
INSERT INTO my_films VALUES (
'{ "favorites" : [
{ "kind" : "comedy", "films" : [
{ "title" : "Bananas",
"director" : "Woody Allen"},
{ "title" : "The Dinner Game",
"director" : "Francis Veber" } ] },
{ "kind" : "horror", "films" : [
{ "title" : "Psycho",
"director" : "Alfred Hitchcock" } ] },
{ "kind" : "thriller", "films" : [
{ "title" : "Vertigo",
"director" : "Alfred Hitchcock" } ] },
{ "kind" : "drama", "films" : [
{ "title" : "Yojimbo",
"director" : "Akira Kurosawa" } ] }
] }');Составьте запрос, читающий из таблицы my_films данные о фильмах и создающий представление, в котором жанр, название и режиссёр фильма распределяются по отдельным столбцам:
SELECT jt.* FROM
my_films,
JSON_TABLE ( js, '$.favorites[*]' COLUMNS (
id FOR ORDINALITY,
kind text PATH '$.kind',
NESTED PATH '$.films[*]' COLUMNS (
title text PATH '$.title',
director text PATH '$.director'))) AS jt;
----+----------+------------------+-------------------
id | kind | title | director
----+----------+------------------+-------------------
1 | comedy | Bananas | Woody Allen
1 | comedy | The Dinner Game | Francis Veber
2 | horror | Psycho | Alfred Hitchcock
3 | thriller | Vertigo | Alfred Hitchcock
4 | drama | Yojimbo | Akira Kurosawa
(5 rows)
Найдите режиссёра, который снимал фильмы в двух разных жанрах:
SELECT
director1 AS director, title1, kind1, title2, kind2
FROM
my_films,
JSON_TABLE ( js, '$.favorites' AS favs COLUMNS (
NESTED PATH '$[*]' AS films1 COLUMNS (
kind1 text PATH '$.kind',
NESTED PATH '$.films[*]' AS film1 COLUMNS (
title1 text PATH '$.title',
director1 text PATH '$.director')
),
NESTED PATH '$[*]' AS films2 COLUMNS (
kind2 text PATH '$.kind',
NESTED PATH '$.films[*]' AS film2 COLUMNS (
title2 text PATH '$.title',
director2 text PATH '$.director'
)
)
)
PLAN (favs OUTER ((films1 INNER film1) CROSS (films2 INNER film2)))
) AS jt
WHERE kind1 > kind2 AND director1 = director2;
director | title1 | kind1 | title2 | kind2
------------------+---------+----------+--------+--------
Alfred Hitchcock | Vertigo | thriller | Psycho | horror
(1 row)
9.16. JSON Functions and Operators
This section describes:
functions and operators for processing and creating JSON data
the SQL/JSON path language
To learn more about the SQL/JSON standard, see [sqltr-19075-6]. For details on JSON types supported in Postgres Pro, see Section 8.14.
9.16.1. Processing and Creating JSON Data
Note
Functions manipulating JSONB do not accept the '\u0000' character. To handle this, you can specify a unicode character in the unicode_nul_character_replacement_in_jsonb configuration parameter to replace this character on the fly.
Table 9.45 shows the operators that are available for use with JSON data types (see Section 8.14). In addition, the usual comparison operators shown in Table 9.1 are available for jsonb, though not for json. The comparison operators follow the ordering rules for B-tree operations outlined in Section 8.14.4. See also Section 9.21 for the aggregate function json_agg which aggregates record values as JSON, the aggregate function json_object_agg which aggregates pairs of values into a JSON object, and their jsonb equivalents, jsonb_agg and jsonb_object_agg.
Table 9.45. json and jsonb Operators
Operator Description Example(s) |
|---|
Extracts
|
Extracts JSON object field with the given key.
|
Extracts
|
Extracts JSON object field with the given key, as
|
Extracts JSON sub-object at the specified path, where path elements can be either field keys or array indexes.
|
Extracts JSON sub-object at the specified path as
|
Note
The field/element/path extraction operators return NULL, rather than failing, if the JSON input does not have the right structure to match the request; for example if no such key or array element exists.
Some further operators exist only for jsonb, as shown in Table 9.46. Section 8.14.4 describes how these operators can be used to effectively search indexed jsonb data.
Table 9.46. Additional jsonb Operators
Operator Description Example(s) |
|---|
Does the first JSON value contain the second? (See Section 8.14.3 for details about containment.)
|
Is the first JSON value contained in the second?
|
Does the text string exist as a top-level key or array element within the JSON value?
|
Do any of the strings in the text array exist as top-level keys or array elements?
|
Do all of the strings in the text array exist as top-level keys or array elements?
|
Concatenates two
To append an array to another array as a single entry, wrap it in an additional layer of array, for example:
|
Deletes a key (and its value) from a JSON object, or matching string value(s) from a JSON array.
|
Deletes all matching keys or array elements from the left operand.
|
Deletes the array element with specified index (negative integers count from the end). Throws an error if JSON value is not an array.
|
Deletes the field or array element at the specified path, where path elements can be either field keys or array indexes.
|
Does JSON path return any item for the specified JSON value?
|
Returns the result of a JSON path predicate check for the specified JSON value. Only the first item of the result is taken into account. If the result is not Boolean, then
|
Note
The jsonpath operators @? and @@ suppress the following errors: missing object field or array element, unexpected JSON item type, datetime and numeric errors. The jsonpath-related functions described below can also be told to suppress these types of errors. This behavior might be helpful when searching JSON document collections of varying structure.
Table 9.47 shows the functions that are available for constructing json and jsonb values.
Table 9.47. JSON Creation Functions
Function Description Example(s) |
|---|
Converts any SQL value to
|
Converts an SQL array to a JSON array. The behavior is the same as
|
Converts an SQL composite value to a JSON object. The behavior is the same as
|
Builds a possibly-heterogeneously-typed JSON array out of a variadic argument list. Each argument is converted as per
|
Builds a JSON object out of a variadic argument list. By convention, the argument list consists of alternating keys and values. Key arguments are coerced to text; value arguments are converted as per
|
Builds a JSON object out of a text array. The array must have either exactly one dimension with an even number of members, in which case they are taken as alternating key/value pairs, or two dimensions such that each inner array has exactly two elements, which are taken as a key/value pair. All values are converted to JSON strings.
|
This form of
|
Table 9.48 shows the functions that are available for processing json and jsonb values.
Table 9.48. JSON Processing Functions
Function Description Example(s) |
|---|
Expands the top-level JSON array into a set of JSON values.
value ----------- 1 true [2,false] |
Expands the top-level JSON array into a set of
value ----------- foo bar |
Returns the number of elements in the top-level JSON array.
|
Expands the top-level JSON object into a set of key/value pairs.
key | value -----+------- a | "foo" b | "bar" |
Expands the top-level JSON object into a set of key/value pairs. The returned
key | value -----+------- a | foo b | bar |
Extracts JSON sub-object at the specified path. (This is functionally equivalent to the
|
Extracts JSON sub-object at the specified path as
|
Returns the set of keys in the top-level JSON object.
json_object_keys ------------------ f1 f2 |
Expands the top-level JSON object to a row having the composite type of the To convert a JSON value to the SQL type of an output column, the following rules are applied in sequence:
While the example below uses a constant JSON value, typical use would be to reference a
a | b | c
---+-----------+-------------
1 | {2,"a b"} | (4,"a b c")
|
Expands the top-level JSON array of objects to a set of rows having the composite type of the
a | b ---+--- 1 | 2 3 | 4 |
Expands the top-level JSON object to a row having the composite type defined by an
a | b | c | d | r
---+---------+---------+---+---------------
1 | [1,2,3] | {1,2,3} | | (123,"a b c")
|
Expands the top-level JSON array of objects to a set of rows having the composite type defined by an
a | b ---+----- 1 | foo 2 | |
Returns
|
If
|
Returns
|
Deletes all object fields that have null values from the given JSON value, recursively. Null values that are not object fields are untouched.
|
Checks whether the JSON path returns any item for the specified JSON value. If the
|
Returns the result of a JSON path predicate check for the specified JSON value. Only the first item of the result is taken into account. If the result is not Boolean, then
|
Returns all JSON items returned by the JSON path for the specified JSON value. The optional
jsonb_path_query ------------------ 2 3 4 |
Returns all JSON items returned by the JSON path for the specified JSON value, as a JSON array. The optional
|
Returns the first JSON item returned by the JSON path for the specified JSON value. Returns
|
These functions act like their counterparts described above without the
|
Converts the given JSON value to pretty-printed, indented text.
[
{
"f1": 1,
"f2": null
},
2
]
|
Returns the type of the top-level JSON value as a text string. Possible types are
|
9.16.2. The SQL/JSON Path Language
SQL/JSON path expressions specify the items to be retrieved from the JSON data, similar to XPath expressions used for SQL access to XML. In Postgres Pro, path expressions are implemented as the jsonpath data type and can use any elements described in Section 8.14.7.
JSON query functions and operators pass the provided path expression to the path engine for evaluation. If the expression matches the queried JSON data, the corresponding JSON item, or set of items, is returned. Path expressions are written in the SQL/JSON path language and can include arithmetic expressions and functions.
A path expression consists of a sequence of elements allowed by the jsonpath data type. The path expression is normally evaluated from left to right, but you can use parentheses to change the order of operations. If the evaluation is successful, a sequence of JSON items is produced, and the evaluation result is returned to the JSON query function that completes the specified computation.
To refer to the JSON value being queried (the context item), use the $ variable in the path expression. It can be followed by one or more accessor operators, which go down the JSON structure level by level to retrieve sub-items of the context item. Each operator that follows deals with the result of the previous evaluation step.
For example, suppose you have some JSON data from a GPS tracker that you would like to parse, such as:
{
"track": {
"segments": [
{
"location": [ 47.763, 13.4034 ],
"start time": "2018-10-14 10:05:14",
"HR": 73
},
{
"location": [ 47.706, 13.2635 ],
"start time": "2018-10-14 10:39:21",
"HR": 135
}
]
}
}
To retrieve the available track segments, you need to use the . accessor operator to descend through surrounding JSON objects: key
$.track.segments
To retrieve the contents of an array, you typically use the [*] operator. For example, the following path will return the location coordinates for all the available track segments:
$.track.segments[*].location
To return the coordinates of the first segment only, you can specify the corresponding subscript in the [] accessor operator. Recall that JSON array indexes are 0-relative:
$.track.segments[0].location
The result of each path evaluation step can be processed by one or more jsonpath operators and methods listed in Section 9.16.2.2. Each method name must be preceded by a dot. For example, you can get the size of an array:
$.track.segments.size()
More examples of using jsonpath operators and methods within path expressions appear below in Section 9.16.2.2.
When defining a path, you can also use one or more filter expressions that work similarly to the WHERE clause in SQL. A filter expression begins with a question mark and provides a condition in parentheses:
? (condition)
Filter expressions must be written just after the path evaluation step to which they should apply. The result of that step is filtered to include only those items that satisfy the provided condition. SQL/JSON defines three-valued logic, so the condition can be true, false, or unknown. The unknown value plays the same role as SQL NULL and can be tested for with the is unknown predicate. Further path evaluation steps use only those items for which the filter expression returned true.
The functions and operators that can be used in filter expressions are listed in Table 9.50. Within a filter expression, the @ variable denotes the value being filtered (i.e., one result of the preceding path step). You can write accessor operators after @ to retrieve component items.
For example, suppose you would like to retrieve all heart rate values higher than 130. You can achieve this using the following expression:
$.track.segments[*].HR ? (@ > 130)
To get the start times of segments with such values, you have to filter out irrelevant segments before returning the start times, so the filter expression is applied to the previous step, and the path used in the condition is different:
$.track.segments[*] ? (@.HR > 130)."start time"
You can use several filter expressions in sequence, if required. For example, the following expression selects start times of all segments that contain locations with relevant coordinates and high heart rate values:
$.track.segments[*] ? (@.location[1] < 13.4) ? (@.HR > 130)."start time"
Using filter expressions at different nesting levels is also allowed. The following example first filters all segments by location, and then returns high heart rate values for these segments, if available:
$.track.segments[*] ? (@.location[1] < 13.4).HR ? (@ > 130)
You can also nest filter expressions within each other:
$.track ? (exists(@.segments[*] ? (@.HR > 130))).segments.size()
This expression returns the size of the track if it contains any segments with high heart rate values, or an empty sequence otherwise.
Postgres Pro's implementation of the SQL/JSON path language has the following deviations from the SQL/JSON standard:
A path expression can be a Boolean predicate, although the SQL/JSON standard allows predicates only in filters. This is necessary for implementation of the
@@operator. For example, the followingjsonpathexpression is valid in Postgres Pro:$.track.segments[*].HR < 70
There are minor differences in the interpretation of regular expression patterns used in
like_regexfilters, as described in Section 9.16.2.4.Enclosing the path specification into square brackets
[]automatically wraps the path evaluation result into an array.
9.16.2.1. Strict and Lax Modes
When you query JSON data, the path expression may not match the actual JSON data structure. An attempt to access a non-existent member of an object or element of an array results in a structural error. SQL/JSON path expressions have two modes of handling structural errors:
lax (default) — the path engine implicitly adapts the queried data to the specified path. Any remaining structural errors are suppressed and converted to empty SQL/JSON sequences.
strict — if a structural error occurs, an error is raised.
The lax mode facilitates matching of a JSON document structure and path expression if the JSON data does not conform to the expected schema. If an operand does not match the requirements of a particular operation, it can be automatically wrapped as an SQL/JSON array or unwrapped by converting its elements into an SQL/JSON sequence before performing this operation. Besides, comparison operators automatically unwrap their operands in the lax mode, so you can compare SQL/JSON arrays out-of-the-box. An array of size 1 is considered equal to its sole element. Automatic unwrapping is not performed only when:
The path expression contains
type()orsize()methods that return the type and the number of elements in the array, respectively.The queried JSON data contain nested arrays. In this case, only the outermost array is unwrapped, while all the inner arrays remain unchanged. Thus, implicit unwrapping can only go one level down within each path evaluation step.
For example, when querying the GPS data listed above, you can abstract from the fact that it stores an array of segments when using the lax mode:
lax $.track.segments.location
In the strict mode, the specified path must exactly match the structure of the queried JSON document to return an SQL/JSON item, so using this path expression will cause an error. To get the same result as in the lax mode, you have to explicitly unwrap the segments array:
strict $.track.segments[*].location
The .** accessor can lead to surprising results when using the lax mode. For instance, the following query selects every HR value twice:
lax $.**.HR
This happens because the .** accessor selects both the segments array and each of its elements, while the .HR accessor automatically unwraps arrays when using the lax mode. To avoid surprising results, we recommend using the .** accessor only in the strict mode. The following query selects each HR value just once:
strict $.**.HR
9.16.2.2. SQL/JSON Path Operators and Methods
Table 9.49 shows the operators and methods available in jsonpath. Note that while the unary operators and methods can be applied to multiple values resulting from a preceding path step, the binary operators (addition etc.) can only be applied to single values.
Table 9.49. jsonpath Operators and Methods
Operator/Method Description Example(s) |
|---|
Addition
|
Unary plus (no operation); unlike addition, this can iterate over multiple values
|
Subtraction
|
Negation; unlike subtraction, this can iterate over multiple values
|
Multiplication
|
Division
|
Modulo (remainder)
|
Type of the JSON item (see
|
Size of the JSON item (number of array elements, or 1 if not an array)
|
Approximate floating-point number converted from a JSON number or string
|
Nearest integer greater than or equal to the given number
|
Nearest integer less than or equal to the given number
|
Absolute value of the given number
|
Date/time value converted from a string
|
Date/time value converted from a string using the specified
|
The object's key-value pairs, represented as an array of objects containing three fields:
|
Note
The result type of the datetime() and datetime( methods can be template)date, timetz, time, timestamptz, or timestamp. Both methods determine their result type dynamically.
The datetime() method sequentially tries to match its input string to the ISO formats for date, timetz, time, timestamptz, and timestamp. It stops on the first matching format and emits the corresponding data type.
The datetime( method determines the result type according to the fields used in the provided template string. template)
The datetime() and datetime( methods use the same parsing rules as the template)to_timestamp SQL function does (see Section 9.8), with three exceptions. First, these methods don't allow unmatched template patterns. Second, only the following separators are allowed in the template string: minus sign, period, solidus (slash), comma, apostrophe, semicolon, colon and space. Third, separators in the template string must exactly match the input string.
If different date/time types need to be compared, an implicit cast is applied. A date value can be cast to timestamp or timestamptz, timestamp can be cast to timestamptz, and time to timetz. However, all but the first of these conversions depend on the current TimeZone setting, and thus can only be performed within timezone-aware jsonpath functions.
Table 9.50 shows the available filter expression elements.
Table 9.50. jsonpath Filter Expression Elements
Predicate/Value Description Example(s) |
|---|
Equality comparison (this, and the other comparison operators, work on all JSON scalar values)
|
Non-equality comparison
|
Less-than comparison
|
Less-than-or-equal-to comparison
|
Greater-than comparison
|
Greater-than-or-equal-to comparison
|
JSON constant
|
JSON constant
|
JSON constant
|
Boolean AND
|
Boolean OR
|
Boolean NOT
|
Tests whether a Boolean condition is
|
Tests whether the first operand matches the regular expression given by the second operand, optionally with modifications described by a string of
|
Tests whether the second operand is an initial substring of the first operand.
|
Tests whether a path expression matches at least one SQL/JSON item. Returns
|
9.16.2.3. Extensions
Postgres Pro has some extensions to the SQL/JSON Path standard. These syntax extensions can be enabled by specifying additional pgpro modifier before the strict/lax flags. Table 9.51 shows these extensions with examples.
Table 9.51. jsonpath Syntax Extensions
| Name | Description | Example JSON | Example JSON path | Result |
|---|---|---|---|---|
| Sequence constructor | Construct a JSON sequence from a list of comma-separated expressions | [1, 2, 3] | pgpro $[*], 4, 5 | 1, 2, 3, 4, 5 |
| Array constructor | Construct a JSON array by enumeration of its elements enclosed in brackets | [1, 2, 3] | pgpro [$[*], 4, 5] | [1, 2, 3, 4, 5] |
| Object constructor | Construct a JSON object by enumeration of its fields enclosed in braces | {"x": "y"} | pgpro {a: 1, "b c": $.x} | {"a": 1, "b c": "y"} |
| Object subscription | Extract a field of JSON object using the specified expression as a key | {"a": 1, "b": "a"} | pgpro $[$.b] | 1 |
9.16.2.4. SQL/JSON Regular Expressions
SQL/JSON path expressions allow matching text to a regular expression with the like_regex filter. For example, the following SQL/JSON path query would case-insensitively match all strings in an array that start with an English vowel:
$[*] ? (@ like_regex "^[aeiou]" flag "i")
The optional flag string may include one or more of the characters i for case-insensitive match, m to allow ^ and $ to match at newlines, s to allow . to match a newline, and q to quote the whole pattern (reducing the behavior to a simple substring match).
The SQL/JSON standard borrows its definition for regular expressions from the LIKE_REGEX operator, which in turn uses the XQuery standard. Postgres Pro does not currently support the LIKE_REGEX operator. Therefore, the like_regex filter is implemented using the POSIX regular expression engine described in Section 9.7.3. This leads to various minor discrepancies from standard SQL/JSON behavior, which are cataloged in Section 9.7.3.8. Note, however, that the flag-letter incompatibilities described there do not apply to SQL/JSON, as it translates the XQuery flag letters to match what the POSIX engine expects.
Keep in mind that the pattern argument of like_regex is a JSON path string literal, written according to the rules given in Section 8.14.7. This means in particular that any backslashes you want to use in the regular expression must be doubled. For example, to match string values of the root document that contain only digits:
$.* ? (@ like_regex "^\\d+$")
9.16.3. SQL/JSON Functions and Expressions
To provide native support for JSON data types within the SQL environment, Postgres Pro implements the SQL/JSON data model. This model comprises sequences of items. Each item can hold SQL scalar values, with an additional SQL/JSON null value, and composite data structures that use JSON arrays and objects. The model is a formalization of the implied data model in the JSON specification RFC 7159.
SQL/JSON allows you to handle JSON data alongside regular SQL data, with transaction support, including:
Uploading JSON data into the database and storing it in regular SQL columns as character or binary strings.
Generating JSON objects and arrays from relational data.
Querying JSON data using SQL/JSON query functions and SQL/JSON path language expressions.
There are two groups of SQL/JSON functions. Constructor functions generate JSON data from values of SQL types. Query functions evaluate SQL/JSON path language expressions against JSON values and produce values of SQL/JSON types, which are converted to SQL types.
Many SQL/JSON functions have an optional FORMAT clause. This is provided to conform with the SQL standard, but has no effect except where noted otherwise.
Table 9.52 lists the SQL/JSON Constructor functions. Each function has a RETURNING clause specifying the data type returned. For the json and json_scalar functions, this needs to be either json or jsonb. For the other constructor functions it must be one of json, jsonb, bytea, a character string type (text, char, varchar, or nchar), or a type for which there is a cast from json to that type. By default, the json type is returned.
Note
Many of the results that can be obtained from the SQL/JSON Constructor functions can also be obtained by calling PostgreSQL-specific functions detailed in Table 9.47 and Table 9.62.
Table 9.52. SQL/JSON Constructor Functions
Table 9.53 details SQL/JSON facilities for testing and serializing JSON.
Table 9.53. SQL/JSON Testing and Serializing Functions
Table 9.54 details the SQL/JSON functions that can be used to query JSON data, except for json_table.
Note
SQL/JSON paths can only be applied to the jsonb type, so it might be necessary to cast the context_item argument of these functions to jsonb.
Table 9.54. SQL/JSON Query Functions
9.16.4. JSON_TABLE
json_table is an SQL/JSON function which queries JSON data and presents the results as a relational view, which can be accessed as a regular SQL table. You can only use json_table inside the FROM clause of a SELECT statement.
Taking JSON data as input, json_table uses a path expression to extract a part of the provided data that will be used as a row pattern for the constructed view. Each SQL/JSON item at the top level of the row pattern serves as the source for a separate row in the constructed relational view.
To split the row pattern into columns, json_table provides the COLUMNS clause that defines the schema of the created view. For each column to be constructed, this clause provides a separate path expression that evaluates the row pattern, extracts a JSON item, and returns it as a separate SQL value for the specified column. If the required value is stored in a nested level of the row pattern, it can be extracted using the NESTED PATH subclause. Joining the columns returned by NESTED PATH can add multiple new rows to the constructed view. Such rows are called child rows, as opposed to the parent row that generates them.
The rows produced by JSON_TABLE are laterally joined to the row that generated them, so you do not have to explicitly join the constructed view with the original table holding JSON data. Optionally, you can specify how to join the columns returned by NESTED PATH using the PLAN clause.
Each NESTED PATH clause can generate one or more columns. Columns produced by NESTED PATHs at the same level are considered to be siblings, while a column produced by a NESTED PATH is considered to be a child of the column produced by a NESTED PATH or row expression at a higher level. Sibling columns are always joined first. Once they are processed, the resulting rows are joined to the parent row.
-
context_item,path_expression[ASjson_path_name] [PASSING{valueASvarname} [, ...]] The input data to query, the JSON path expression defining the query, and an optional
PASSINGclause, which can provide data values to thepath_expression. The result of the input data evaluation is called the row pattern. The row pattern is used as the source for row values in the constructed view.-
COLUMNS(json_table_column[, ...] ) The
COLUMNSclause defining the schema of the constructed view. In this clause, you must specify all the columns to be filled with SQL/JSON items. Thejson_table_columnexpression has the following syntax variants:-
nametype[PATHjson_path_specification] Inserts a single SQL/JSON item into each row of the specified column.
The provided
PATHexpression parses the row pattern defined byjson_api_common_syntaxand fills the column with produced SQL/JSON items, one for each row. If thePATHexpression is omitted,JSON_TABLEuses the$.path expression, wherenamenameis the provided column name. In this case, the column name must correspond to one of the keys within the SQL/JSON item produced by the row pattern.Optionally, you can add
ON EMPTYandON ERRORclauses to define how to handle missing values or structural errors.WRAPPERandQUOTESclauses can only be used with JSON, array, and composite types. These clauses have the same syntax and semantics as forjson_valueandjson_query.-
nametypeFORMATjson_representation[PATHjson_path_specification] Generates a column and inserts a composite SQL/JSON item into each row of this column.
The provided
PATHexpression parses the row pattern defined byjson_api_common_syntaxand fills the column with produced SQL/JSON items, one for each row. If thePATHexpression is omitted,JSON_TABLEuses the$.path expression, wherenamenameis the provided column name. In this case, the column name must correspond to one of the keys within the SQL/JSON item produced by the row pattern.Optionally, you can add
WRAPPER,QUOTES,ON EMPTYandON ERRORclauses to define additional settings for the returned SQL/JSON items. These clauses have the same syntax and semantics as forjson_query.-
nametypeEXISTS[PATHjson_path_specification] Generates a column and inserts a boolean item into each row of this column.
The provided
PATHexpression parses the row pattern defined byjson_api_common_syntax, checks whether any SQL/JSON items were returned, and fills the column with resulting boolean value, one for each row. The specifiedtypeshould have cast fromboolean. If thePATHexpression is omitted,JSON_TABLEuses the$.path expression, wherenamenameis the provided column name.Optionally, you can add
ON ERRORclause to define error behavior. This clause has the same syntax and semantics as forjson_exists.-
NESTED PATHjson_path_specification[ASjson_path_name]COLUMNS(json_table_column[, ...] ) Extracts SQL/JSON items from nested levels of the row pattern, generates one or more columns as defined by the
COLUMNSsubclause, and inserts the extracted SQL/JSON items into each row of these columns. Thejson_table_columnexpression in theCOLUMNSsubclause uses the same syntax as in the parentCOLUMNSclause.The
NESTED PATHsyntax is recursive, so you can go down multiple nested levels by specifying severalNESTED PATHsubclauses within each other. It allows to unnest the hierarchy of JSON objects and arrays in a single function invocation rather than chaining severalJSON_TABLEexpressions in an SQL statement.You can use the
PLANclause to define how to join the columns returned byNESTED PATHclauses.-
nameFOR ORDINALITY Adds an ordinality column that provides sequential row numbering. You can have only one ordinality column per table. Row numbering is 1-based. For child rows that result from the
NESTED PATHclauses, the parent row number is repeated.
-
-
ASjson_path_name The optional
json_path_nameserves as an identifier of the providedjson_path_specification. The path name must be unique and distinct from the column names. When using thePLANclause, you must specify the names for all the paths, including the row pattern. Each path name can appear in thePLANclause only once.-
PLAN(json_table_plan) Defines how to join the data returned by
NESTED PATHclauses to the constructed view.To join columns with parent/child relationship, you can use:
-
INNER Use
INNER JOIN, so that the parent row is omitted from the output if it does not have any child rows after joining the data returned byNESTED PATH.-
OUTER Use
LEFT OUTER JOIN, so that the parent row is always included into the output even if it does not have any child rows after joining the data returned byNESTED PATH, with NULL values inserted into the child columns if the corresponding values are missing.This is the default option for joining columns with parent/child relationship.
To join sibling columns, you can use:
-
UNION Generate one row for each value produced by each of the sibling columns. The columns from the other siblings are set to null.
This is the default option for joining sibling columns.
-
CROSS Generate one row for each combination of values from the sibling columns.
-
-
PLAN DEFAULT()OUTER | INNER[,UNION | CROSS] The terms can also be specified in reverse order. The
INNERorOUTERoption defines the joining plan for parent/child columns, whileUNIONorCROSSaffects joins of sibling columns. This form ofPLANoverrides the default plan for all columns at once. Even though the path names are not included in thePLAN DEFAULTform, to conform to the SQL/JSON standard they must be provided for all the paths if thePLANclause is used.PLAN DEFAULTis simpler than specifying a completePLAN, and is often all that is required to get the desired output.
Examples
In these examples the following small table storing some JSON data will be used:
CREATE TABLE my_films ( js jsonb );
INSERT INTO my_films VALUES (
'{ "favorites" : [
{ "kind" : "comedy", "films" : [
{ "title" : "Bananas",
"director" : "Woody Allen"},
{ "title" : "The Dinner Game",
"director" : "Francis Veber" } ] },
{ "kind" : "horror", "films" : [
{ "title" : "Psycho",
"director" : "Alfred Hitchcock" } ] },
{ "kind" : "thriller", "films" : [
{ "title" : "Vertigo",
"director" : "Alfred Hitchcock" } ] },
{ "kind" : "drama", "films" : [
{ "title" : "Yojimbo",
"director" : "Akira Kurosawa" } ] }
] }');
Query the my_films table holding some JSON data about the films and create a view that distributes the film genre, title, and director between separate columns:
SELECT jt.* FROM
my_films,
JSON_TABLE ( js, '$.favorites[*]' COLUMNS (
id FOR ORDINALITY,
kind text PATH '$.kind',
NESTED PATH '$.films[*]' COLUMNS (
title text PATH '$.title',
director text PATH '$.director'))) AS jt;
----+----------+------------------+-------------------
id | kind | title | director
----+----------+------------------+-------------------
1 | comedy | Bananas | Woody Allen
1 | comedy | The Dinner Game | Francis Veber
2 | horror | Psycho | Alfred Hitchcock
3 | thriller | Vertigo | Alfred Hitchcock
4 | drama | Yojimbo | Akira Kurosawa
(5 rows)
Find a director that has done films in two different genres:
SELECT
director1 AS director, title1, kind1, title2, kind2
FROM
my_films,
JSON_TABLE ( js, '$.favorites' AS favs COLUMNS (
NESTED PATH '$[*]' AS films1 COLUMNS (
kind1 text PATH '$.kind',
NESTED PATH '$.films[*]' AS film1 COLUMNS (
title1 text PATH '$.title',
director1 text PATH '$.director')
),
NESTED PATH '$[*]' AS films2 COLUMNS (
kind2 text PATH '$.kind',
NESTED PATH '$.films[*]' AS film2 COLUMNS (
title2 text PATH '$.title',
director2 text PATH '$.director'
)
)
)
PLAN (favs OUTER ((films1 INNER film1) CROSS (films2 INNER film2)))
) AS jt
WHERE kind1 > kind2 AND director1 = director2;
director | title1 | kind1 | title2 | kind2
------------------+---------+----------+--------+--------
Alfred Hitchcock | Vertigo | thriller | Psycho | horror
(1 row)