Когда postgres_fdw работает через транспорт Silk, используется только одно подключение между демонами маршрутизации silkroad для передачи пользовательских запросов рабочим процессам silkworm и получения их ответов. Каждый запрос содержит состояние транзакции, идентификатор группы репликации узла, на котором формируется запрос (координатора), сам запрос и параметры запроса (если они есть). Ответ представляет собой либо сообщение об ошибке с описанием и кодом ошибки, либо группу кортежей, за которыми следует сообщение «end of tuples» (конец кортежей). Это означает, что silkworm должен переключиться на состояние транзакции, полученное вместе с запросом, перед выполнением запроса.

На данный момент транспорт Silk используется исключительно для запросов SELECT только для чтения. Все запросы на изменение обрабатываются через обычное подключение libpq и в основном обрабатываются как все остальные DML-запросы в PostgreSQL postgres_fdw. Единственное отличие состоит в том, что когда DML-запрос обрабатывается postgres_fdw, модуль сбрасывает сохранённое состояние транзакции для записи кеша соединений, соответствующей соединению, в котором отправляется этот запрос. Кроме того, для такой записи в кеше соединений устанавливается флаг только для чтения. Когда запрос отправляется через транспорт Silk, расширение Postgres Pro Shardman запрашивает состояние транзакции для пары идентификаторов сервера и пользователя из postgres_fdw. Если такая запись найдена в кеше соединений postgres_fdw, она не является записью кеша только для чтения и в этой записи присутствует состояние транзакции, состояние возвращается. Если его нет, postgres_fdw получает полное состояние транзакции с удалённого сервера, сохраняет его в записи кеша соединений и возвращает в расширениеPostgres Pro Shardman.

Полное состояние транзакции аналогично состоянию параллельной рабочей транзакции и содержит:

Если подключение не найдено в кеше подключений postgres_fdw (т. е. это новое подключение) или запись в кеше подключения помечается как доступная только для чтения, только эти характеристики формируют состояние транзакции:

Используя такие состояния транзакций, silkworm может присоединиться к выполняющейся транзакции или начать новую транзакцию только для чтения с предоставленным снимком CSN и получить результат.

Обратите внимание, что полное состояние транзакции можно импортировать только на тот сервер, который его экспортировал, а также, что из-за этого метода передачи состояния транзакции вы не можете использовать транспорт Silk без включения снимков CSN.

В Подразделе 53.2.2 асинхронные узлы плана ForeignScan были представлены как способ оптимизации извлечения данных с нескольких узлов, если эти узлы плана были расположены под одним узлом Append. В стандартной архитектуре PostgreSQL выполнение планов узла ForeignScan реализовано с использованием сетевого протокола на основе libpq. Чтобы повысить производительность системы при передаче данных и снизить потребление ресурсов, Postgres Pro Shardman использует другой метод обмена данными с удалёнными узлами. Механизм выполнения планов узла ForeignScan реализован с использованием протокола Silk.

Чтобы включить транспорт Silk в асинхронный исполнитель, были внесены изменения в расширение postgres_fdw. Подключаемый транспорт был реализован как набор интерфейсных функций, входящих в состав расширения Postgres Pro Shardman. Во время выполнения обработчиков, которые взаимодействуют с удалёнными хостами, эти функции вызываются расширением postgres_fdw. Подключаемый транспорт Silk активируется, если предварительно загружено расширение Postgres Pro Shardman и у стороннего сервера есть атрибут extended_features (применим для любого сервера FDW в кластере Postgres Pro Shardman). В остальных случаях расширение postgres_fdw использует стандартный протокол обмена на основе расширения libpq.

Чтобы деактивировать подключаемый транспорт Silk для выполнения запросов, необходимо установить для параметра конфигурации query_engine_mode значение ENGINE_NONE.

В текущей реализации подключаемый транспорт Silk используется исключительно в запросах только для чтения, в частности во время выполнения планов узла ForeignScan. Для модификации запросов используется стандартный протокол обмена на основе расширения libpq.

При получении строк результатов выполнения запроса с использованием транспорта Silk данные сохраняются в хранилище TupleStoreState в виде полного набора результатов, который имеет тот же размер, что и возвращаемый удалённым узлом. Структура данных хранилища TupleStoreState позволяет передавать данные на диск в случае нехватки памяти. Если удалённый узел возвращает большой набор результатов, это не приводит к нехватке памяти (OOM). Как только набор результатов получен в TupleStoreState, данные копируются в буфер исполнителя ForeignScan в памяти. Размер этого буфера определяется атрибутом fetch_size стороннего сервера. Значение по умолчанию (50000 строк) можно изменить, чтобы найти баланс между производительностью (количество вызовов узла ForeignScan) и потреблением памяти.

Использование подключаемого транспорта Silk для асинхронного ядра FDW приводит к повышению производительности сетевого обмена и снижению потребления системных ресурсов за счёт их лучшего использования, включая количество сетевых подключений.

В представлении shardman.silk_routes отображается снимок актуального состояния таблицы маршрутов мультиплексора. Столбцы этого представления приведены в разделе Таблица 70.1.

В представлении shardman.silk_connects отображается список текущих соединений мультиплексора. Столбцы представления приведены в разделе Таблица 70.2.

В представлении shardman.silk_backends отображается список текущих процессов двух типов: обслуживающие процессы для клиентских соединений и рабочие процессы silkworm мультиплексора, которые с ним взаимодействуют. Столбцы данного представления описаны в разделе Таблица 70.3.

В представлении shardman.silk_routing отображается результат работы функции shardman.silk_routing. Столбцы этого представления приведены в Таблице 70.4.

В представлении shardman.silk_pending_jobs отображается список текущих маршрутов в очереди заданий мультиплексора, которые ещё не назначены рабочим процессам. Столбцы представления приведены в разделе Таблица 70.5.

В представлении shardman.silk_statinfo отображается информация о текущем состоянии мультиплексора. Столбцы представления приведены в разделе Таблица 70.6.

Обратите внимание, что значения для read_efd_max, write_efd_max, read_efd_total, write_efd_total, read_efd_count, write_efd_count, sort_time_max, sort_time_total и sort_time_count рассчитываются, только если включён параметр конфигурации shardman.silk_track_time.

В представлении shardman.silk_state отображается снимок текущего состояния процесса silkroad. Столбцы этого представления приведены в разделе Таблица 70.7.

reg_ip и reg_port являются не фактическими сетевыми адресами, а адресами, через которые мультиплексор подключается к узлу. Они определяются в ходе начального согласования между мультиплексором и узлами и равны параметрам соответствующих серверов из таблицы pg_foreign_server.

Если мультиплексор находится в состоянии idle, для параметра read_ev_active устанавливаются значения true и для параметра write_ev_active устанавливаются значения false.

В Shardman есть ряд глобальных представлений, основанных на соответствующих локальных представлениях. Определение столбцов глобального представления совпадает с их определением в соответствующем локальном представлении. Глобальное представление показывает объединение результатов выборки из соответствующих локальных представлений. Строки возвращаются из каждого узла кластера. В глобальных представлениях в столбце rgid выводятся идентификаторы группы репликации узла, из которого взяты строки.

Ниже представлен список глобальных представлений со ссылками на соответствующие локальные представления: