55.1. Путь запроса #
Ниже мы кратко опишем этапы, которые проходит запрос для получения результата.
55.1.1. Для простых запросов #
В нераспределённой системе запрос обрабатывается локально на узле. Например:
Прикладная программа устанавливает подключение к серверу Postgres Pro Shardman. Эта программа передаёт запрос на сервер и ждёт от него результатов.
На этапе разбора запроса сервер выполняет синтаксическую проверку запроса, переданного прикладной программой, и создаёт дерево запроса.
Система правил принимает дерево запроса, созданное на стадии разбора, и ищет в системных каталогах правила для применения к этому дереву. Обнаружив подходящие правила, она выполняет преобразования, заданные в теле правил.
Одно из применений системы правил заключается в реализации представлений. Когда выполняется запрос к представлению (т. е. виртуальной таблице), система правил преобразует запрос пользователя в запрос, обращающийся не к представлению, а к базовым таблицам из определения представления.
Планировщик/оптимизатор принимает дерево запроса (возможно, переписанное) и создаёт план запроса, который будет передан исполнителю.
Он выбирает план, сначала рассматривая все возможные варианты получения одного и того же результата. Например, если для обрабатываемого отношения создан индекс, прочитать отношение можно двумя способами. Во-первых, можно выполнить простое последовательное сканирование, а во-вторых, можно использовать индекс. Затем оценивается стоимость каждого варианта и выбирается самый дешёвый. Затем выбранный вариант разворачивается в полноценный план, который сможет использовать исполнитель.
Исполнитель рекурсивно проходит по дереву плана и получает строки тем способом, который указан в плане. Он сканирует отношения, обращаясь к системе хранения, выполняет сортировку и соединения, вычисляет условия фильтра и, наконец, возвращает полученные строки.
В следующих разделах мы более подробно рассмотрим каждый из этих этапов, чтобы дать представление о внутренних механизмах и структурах данных Postgres Pro Shardman.
55.1.2. Для более сложных запросов #
Схема более сложных запросов представлена ниже:
55.1.2.1. Общий путь запроса #
Если запрос SQL будет выполняться на нескольких узлах или если узел невозможно определить, сначала запрос будет обрабатываться на координаторе, затем на удалённых узлах, и на последнем этапе результаты будут объединены на координаторе.
Рисунок 55.1. Общая схема пути запроса
55.1.2.2. Путь запроса, отправляемого на один узел #
Если оптимизатор может определить узел (например, если у запрашиваемых данных есть ключ сегментирования), единственным отличием от описанного выше пути будет то, что запросы и подзапросы отправятся на определённый узел:
Рисунок 55.2. Схема пути запроса, отправляемого на один узел
55.1.2.3. Быстрый путь запроса #
При включённом параметре shardman.enable_fast_path (по умолчанию отключено) запросы, для которых можно определить узлы, будут идти по более короткому пути. Это работает, только если запрашиваемые данные расположены в конкретном сегменте. При этом запрос содержит параметр sharding_key = X.
Silk также поддерживает выбор быстрого пути для читающих запросов.
Рисунок 55.3. Схема быстрого пути запроса
Имейте в виду некоторые особенности и ограничения FastPath:
Поддерживается команда
DELETE.Команда
UPDATEне должна изменить ключ сегментирования, кроме случаев использованияUPDATE ... SET non_shard_col = value WHERE shard_key = ?.Перед выполнением запроса в сеансе необходимо задать значения для всех параметров конфигурации, поскольку конфигурации среды выполнения координатора и сегмента могут отличаться.
Работает только для сегментированных таблиц, если у каждой таблицы один ключ сегментирования.
Запрещается следующее: блокирующие операции
FOR UPDATEиFOR SHARE, общие табличные выражения, командаJOINдля соединения таблиц, командаINSERT INTO ... SELECT, оконные функции, запросыMERGEи все операции с возможным быстрым путём запроса.Функции (кроме агрегатных) не поддерживаются.
Если значение параметра конфигурации
extra_float_digitsменьше ноля, использование быстрого пути невозможно.
55.1.2.4. Путь запроса, выполняемого локально на определённом узле #
Если запрос выполняется только на одном узле, к которому можно подключиться напрямую, путь запроса аналогичен пути в нераспределённых системах:
Рисунок 55.4. Схема пути запроса, выполняемого локально на определённом узле
55.1. The Path of a Query #
Here we give a short overview of the stages a query has to pass to obtain a result.
55.1.1. For Simple Queries #
If your system is not distributed, a query is processed locally on one node. For example:
A connection from an application program to the Postgres Pro Shardman server has to be established. The application program transmits a query to the server and waits to receive the results sent back by the server.
The parser stage checks the query transmitted by the application program for correct syntax and creates a query tree.
The rewrite system takes the query tree created by the parser stage and looks for any rules (stored in the system catalogs) to apply to the query tree. It performs the transformations given in the rule bodies.
One application of the rewrite system is in the realization of views. Whenever a query against a view (i.e., a virtual table) is made, the rewrite system rewrites the user's query to a query that accesses the base tables given in the view definition instead.
The planner/optimizer takes the (rewritten) query tree and creates a query plan that will be the input to the executor.
It does so by first creating all possible paths leading to the same result. For example if there is an index on a relation to be scanned, there are two paths for the scan. One possibility is a simple sequential scan and the other possibility is to use the index. Next the cost for the execution of each path is estimated and the cheapest path is chosen. The cheapest path is expanded into a complete plan that the executor can use.
The executor recursively steps through the plan tree and retrieves rows in the way represented by the plan. The executor makes use of the storage system while scanning relations, performs sorts and joins, evaluates qualifications and finally hands back the rows derived.
In the following sections we will cover each of the above listed items in more detail to give a better understanding of Postgres Pro Shardman's internal control and data structures.
55.1.2. For More Complex Queries #
For more complex queries see the following charts:
55.1.2.1. General Query Path #
If an SQL query is to be executed on multiple nodes, or if a node cannot be specified, the query is processed on the coordinator first, followed by remote nodes and, finally, compiled as one set on the coordinator.
Figure 55.1. General Query Path Chart
55.1.2.2. Query Path for Single Node #
If the optimizer can specify the node (e.g. the requested data has a sharding key), then the only difference from the previous section would be the queries and subqueries being sent to the specific node:
Figure 55.2. Query Path for Single Node Chart
55.1.2.3. Query Path with Fast Path #
With shardman.enable_fast_path is enabled (disabled by default), the queries the nodes can be defined for will follow a much shorter path. It only works when the data we need is located on a specific shard, while the query contains the sharding_key = X.
Silk also supports fast path for reading queries.
Figure 55.3. Query Path with Fast Path Chart
Mind some FastPath specifics and restrictions:
The
DELETEcommand is supported.UPDATEmust not change the sharding key, unless withUPDATE ... SET non_shard_col = value WHERE shard_key = ?.Before the query is executed, all configuration parameter variables of a session must be specified, as the coordinator and shards may have different runtime configurations.
Only works for sharded tables with one sharding key per table.
The following is prohibited: blocking operations
FOR UPDATE,FOR SHARE, Common Table Expressions,JOINbetween tables,INSERT INTO ... SELECT, window functions,MERGErequests, all operations with fast path enabled.No functions (except for aggregation functions) are supported.
If the
extra_float_digitsconfiguration parameter is less than 0, fast pass cannot be used.
55.1.2.4. Query Path Locally on a Specific Node #
If the query only affects one node that can be directly connected to, the query path is similar to one in not distributed systems:
Figure 55.4. Query Path Locally on a Specific Node Chart