P.4. Моделирование данных #

Что такое сегментированные (распределённые) таблицы в Postgres Pro Shardman?

Сегментированные таблицы — это таблицы, секции которых размещены в разных сегментах. За дополнительной информацией обратитесь к Подразделу 54.1.1.

Что такое совмещённые таблицы в Postgres Pro Shardman?

Совмещённая таблица — это секционированная таблица, распределение данных в которой совпадает с родительской таблицей. Строки в обеих таблицах с одинаковым ключом сегментирования физически расположены в одних и тех же сегментах. Это позволяет обрабатывать тяжёлые JOIN-запросы с использованием ключа сегментирования локально и исключить сетевые издержки.

Каковы преимущества и недостатки использования глобальных таблиц в Postgres Pro Shardman?

Преимущества: полная копия таблицы хранится в каждом сегменте. Это гарантирует отсутствие нагрузки на сеть и минимальные задержки для операций SELECT и JOIN с такими таблицами. Это идеальное решение для справочников.

Недостатки: любое изменение данных (INSERT, UPDATE, DELETE) должно синхронизироваться на все узлы кластера. Таким образом, часто обновляемые глобальные таблицы значительно увеличивают нагрузку на сеть и могут заблокировать систему.

Как глобальные (реплицированные) таблицы работают под сильной нагрузкой на запись?

Чтение данных из глобальных (реплицируемых) таблиц на любом узле происходит локально, без запроса данных от других узлов по сети. Однако изменение данных в такой таблице на любом из узлов приводит к обновлению данных на остальных узлах кластера. Эта операция требует выполнения распределённой двухфазной фиксации, синхронизации данных и влечёт за собой сетевые издержки. Именно поэтому глобальные таблицы являются идеальным решением для небольших и редко обновляемых справочников.

Приводит ли обмен данными между сегментами к снижению производительности?

Производительность может снижаться из-за интенсивного обмена данными между сегментами. Однако использование ключей сегментирования для межсегментных запросов на самом деле повышает производительность по сравнению с обычными базами данных.

Как определить ключ сегментирования в Postgres Pro Shardman?

Постарайтесь найти естественный ключ (существующий бизнес-атрибут), используя размерное моделирование: создайте матрицу, где строками будут бизнес-процессы, а столбцами — сущности базы данных. Надо найти куст данных, который отвечает следующим требованиям:

  • уже существует в архитектуре;

  • автоматически и равномерно распределяет данные;

  • минимизирует межсегментные операции и сетевые издержки.

Альтернативы:

  • Составной ключ сегментирования. В этом случае связи между процессами и сущностями создаются намеренно. Весь составной ключ сегментирования должен быть частью первичного или внешнего ключа. Однако составной ключ не поддерживает некоторые оптимизации, например array_membership_inferences.

  • Вычисляемый ключ сегментирования. Применяется в крайних случаях, так как усложняет систему. Требует ручного контроля за распределением данных (распределение по хешу в этом случае недоступно). Потребляет вычислительные ресурсы при операциях записи, что критично для OLTP в реальном времени.

Зачем включать ключ сегментирования в запросы?

Если запрос не содержит ключ сегментирования, Postgres Pro Shardman не может определить в каком сегменте хранятся данные. Следовательно, приходится сканировать все секции на всех удалённых узлах кластера (несколько сканирований по индексу или последовательное сканирование последовательных сканирований), а затем фильтровать и агрегировать данные на координаторе. Это очень медленная операция. Допустимо, если количество таких операций остаётся минимальным.

Как использование ключа сегментирования влияет на соединения таблиц?

Соединения таблиц показывают оптимальную производительность с совмещёнными таблицами при использовании столбцов одного типа в качестве ключей сегментирования и одинаковым количеством секций. В этом случае соединения с учётом секционирования и частичное агрегирование происходят на узлах локально, а координатор лишь агрегирует конечные результаты. Если таблицы соединяются по столбцу, не являющимся ключом сегментирования, данные приходится пересылать по сети. Для OLTP-нагрузок рекомендуется избегать распределённых транзакций и излишних обменов данными по сети.

Насколько снизится производительность, если не использовать ключ сегментирования для выполнения JOIN на таблицах?

Снижение производительности зависит от типа JOIN. Максимальная производительность достигается при использовании совмещённых таблиц (colocate_with), сегментированных по одному и тому же ключу. В этом случае соединение с учётом секционирования и частичное агрегирование происходят на узлах локально, а координатор только агрегирует финальные результаты. При выполнении операции JOIN по столбцам, не являющимися ключом сегментирования, данные придётся пересылать по сети. А для OLTP-нагрузок с распределёнными транзакциями обычно стоит избегать излишних обменов данными по сети.

Как определить требуемое число секций таблицы? Можно ли изменить число секций позднее?

Указать число секций можно только при создании таблицы. Для изменения числа секций позднее придётся пересоздать таблицу.

Число секций должно как минимум совпадать с планируемым числом физических сегментов в кластере. Рекомендуется использовать 2n секций и начинать по крайней мере с двух секций на сегмент.

Не следует создавать слишком много секций, иначе сильно замедлится процесс планирования запросов.

Как определить, в какой секции содержится запись, чтобы подключиться к нужному сегменту?

Используйте функцию shardman.get_partition_for_value.

Какая функция хеширования используется в Postgres Pro Shardman?

Для вычисления хешей Postgres Pro Shardman использует SQL-функции hashint4extended и hashtextextended.

Как в Postgres Pro Shardman генерируются уникальные идентификаторы?

Вместо классических последовательностей, которые в распределённой среде стали бы узким местом, Postgres Pro Shardman использует механизм выделения диапазонов. Каждый сегмент запрашивает себе определённый отрезок значений и выдаёт их локально. Это гарантирует уникальность в рамках всего кластера, но генерируемые идентификаторы теряют строгую монотонность.

В чём разница между изоляцией и согласованностью в Postgres Pro Shardman?

Главное отличие между изоляцией и согласованностью в распределённой системе — это масштаб: CSN становится механизмом глобальной координации, а согласованность становится распределённой на уровне кластера.

Глобальный CSN — это инструмент координации. Глобальная согласованность — это целевое состояние.

Проверка видимости транзакции сравнивает snapshot_csn транзакции с CSN зафиксированных транзакций. Значение CSN извлекается из CSNLog по идентификатору транзакции (xid).

FAQ