54.1. Типы таблиц #
В распределённой базе данных, управляемой Postgres Pro Shardman, используются следующие специальные типы таблиц: обычные локальные таблицы, которые не управляются на уровне кластера, и управляемые таблицы, которые могут быть сегментированными и внутренними, которые присутствуют на всём кластере.
54.1.1. Сегментированные таблицы #
Сегментированные таблицы — это обычные распределённые секционированные таблицы PostgreSQL, в которых несколько секций, составляющих сегмент, являются обычными локальными таблицами, а остальные секции — сторонними таблицами, доступными с удалённых серверов. Сегментированные таблицы зарегистрированы в словаре shardman.sharded_tables. Используйте оператор CREATE TABLE с параметром distributed_by, чтобы создать сегментированную таблицу. Несколько сегментированных таблиц могут быть созданы как совмещённые. Это означает, что они имеют одинаковое количество секций и что их секции, соответствующие одному и тому же ключу сегментирования, должны располагаться вместе. Во время перебалансировки утилиты управления Postgres Pro Shardman гарантируют, что соответствующие секции совмещённых таблиц будут перемещены на один и тот же узел. (Такая перебалансировка происходит, например, при добавлении в кластер нового узла). Совмещение необходимо для того, чтобы объединения нескольких таблиц распространялись на узел, где находятся фактические данные. Чтобы сделать одну сегментированную таблицу совмещённой с другой, сначала создайте одну таблицу, а затем используйте параметр colocate_with оператора CREATE TABLE при создании второй таблицы. Цепочки совмещённых таблиц не поддерживаются, вместо этого все связанные таблицы должны быть помечены как совмещённые с одной из таблиц. Обратите внимание, что свойство colocate_with является симметричным и транзитивным.
Примечание
Обратите внимание на ограничения распределённых систем. Временные таблицы не могут участвовать в распределённых транзакция. Обычные таблицы Postgres Pro Shardman можно присоединить к сегментированным таблицам на локальных узлах, но у них не может быть общих ключей или индексов.
54.1.1.1. Секции #
Сегментированная таблица состоит из нескольких секций. Некоторые из них являются обычными таблицами, а другие — сторонними. По умолчанию количество секций определяется параметром shardman.num_parts, но может быть перезаписано в параметре num_parts команды CREATE TABLE. Большинство операций DDL ограничены секциями сегментированной таблицы. Чтобы обойти это ограничение, следует изменять родительскую таблицу.
Количество секций в сегментированной таблице задаётся при её создании и не может быть изменено впоследствии. При добавлении новых узлов в кластер некоторые секции перемещаются с существующих узлов на новые, чтобы сбалансировать нагрузку. Таким образом, чтобы обеспечить масштабирование кластеров, начальных секций должно быть достаточно много, но не слишком много, поскольку слишком большое количество секций значительно замедляет планирование запросов. Например, если вы ожидаете, что количество узлов в вашем кластере вырастет максимум в 4 раза, создайте сегментированные таблицы с количеством секций, равным 4 * N, где N — это количество узлов. Предел масштабируемости кластера достигается, когда число узлов кластера достигает числа секций в сегментированной таблице с их минимальным количеством.
54.1.1.2. Реплицированные таблицы #
Реплицированные таблицы доступны для всех узлов кластера. Сейчас реплицированная таблица — это набор обычных таблиц, синхронизированных по триггерам. Основной вариант использования реплицированной таблицы — хранение относительно редко обновляемого набора данных, который используется всеми узлами кластера. Когда сегментированная таблица присоединяется к реплицированной таблице, соединения между сегментированными секциями таблицы и реплицированной таблицей могут выполняться на узлах, где находятся отдельные секции. Реализация репликации на основе триггеров требует, чтобы неоткладываемый первичный ключ был определён в реплицированной таблице. В настоящее время при изменении реплицированной таблицы срабатывает триггер оператора after, который распространяет изменения на другие узлы кластера через сторонние таблицы. Когда в кластер добавляются новые узлы, данные реплицированных таблиц передаются на новые узлы посредством логической репликации. Когда какие-либо узлы удаляются из кластера, реплицированные таблицы ненадолго блокируются для записи. Используйте параметр global в команде CREATE TABLE для создания реплицированной таблицы. Реплицированные таблицы регистрируются в словаре shardman.global_tables. Секционированные реплицированные таблицы не поддерживаются.
54.1.1.3. Распределённый DDL #
Расширение Postgres Pro Shardman позволяет создавать несколько видов управляемых объектов. Это сегментированные и реплицированные таблицы, управляемые роли, функции, последовательности и табличные пространства. Список операций, разрешённых для управляемых объектов, ограничен, в частности, для защиты согласованности управляемой схемы, типа или функции. Обратите внимание, что роли и табличные пространства управляются на более высоком уровне. По той же причине большинство операций над управляемыми объектами выполняются на уровне кластера. Список операций на уровне кластера включает:
CREATEдля сегментированных и реплицированных таблиц, управляемых ролей и табличных пространств, управляемых функций или индексов для сегментированных или реплицированных таблиц.DROPдля сегментированных и реплицированных таблиц, управляемых ролей и табличных пространств, управляемых функций или индексов для сегментированных или реплицированных таблиц.ALTER TABLEдля сегментированных и реплицированных таблиц.ALTER TABLESPACEдля реплицированных табличных пространств.ALTER FUNCTIONдля управляемых функций.ALTER ROLEдля управляемых ролей.RENAMEдля сегментированных и реплицированных таблиц или построенных по ним индексов.SET CONSTRAINTS ALLвнутри блокировки транзакции.
Параметр конфигурации shardman.broadcast_ddl управляет выполнением распределённых операций DDL. Его можно использовать для трансляции всех обычных операций DDL, таких как создание схем или функций, на весь кластер.
У распределённых таблиц есть ряд особенностей. Такие таблицы доступны на всех узлах кластера. Как у секционированных таблиц, у них есть несколько секций, число которых постоянно и не подлежит изменению без перезапуска. В каждом сегменте обычно хранится несколько секций данного сегмента, в то время как другие секции хранятся в другом месте. Обратите внимание, что эти секции взаимосвязаны.
54.1.1.4. Совмещённые таблицы #
Совмещённая таблица Postgres Pro Shardman — это секционированная таблица, состоящая из нескольких секций, которые размещены совместно с секциями распределённой таблицы в целях быстрого доступа. В таком случае секционирование обычно происходит по секциям, через сегментирование или по внешнему ключу для повышения эффективности. Такой сценарий рекомендован для больших JOIN.
54.1. Table Types #
In a distributed database managed by Postgres Pro Shardman the following special table types are used: unmanaged regular tables that are not managed on the cluster level, and cluster-wide managed tables, which can be sharded or internal.
54.1.1. Sharded Tables #
Sharded tables are distributed regular PostgreSQL partitioned tables where a few partitions, making up a shard, are regular unmanaged tables and the other partitions are foreign tables available from remote servers. Sharded tables are registered in the shardman.sharded_tables dictionary. Use the CREATE TABLE statement with the distributed_by parameter to create a sharded table. Several sharded tables can be created as colocated. This means that they have the same number of partitions and that their partitions corresponding to the same sharding key should reside together. During a rebalance, Postgres Pro Shardman management utilities ensure that corresponding partitions of colocated tables are moved to the same node. (Such a rebalance happens, for example, when a new node is added to the cluster). Colocation is necessary to ensure that joins of several tables are propagated to the node where the actual data resides. To define one sharded table colocated with another one, first, create one table and then use the colocate_with parameter of the CREATE TABLE statement while creating the second table. Chains of colocated tables are not supported, all related tables should be marked as colocated to one of the tables instead. Note that colocate_with property is symmetric and transitive.
Note
Mind some limitations for distributed systems. Temporary tables cannot participate in distributed transactions. Regular Postgres Pro Shardman tables can be joined with sharded tables on local nodes, yet they cannot have common keys or indexes with them.
54.1.1.1. Partitions #
A sharded table consists of several partitions. Some of them are regular tables, and others are foreign tables. By default, the number of partitions is determined by the shardman.num_parts parameter, but it can be overwritten by the num_parts CREATE TABLE parameter. Most of DDL operations are restricted on partitions of a sharded table. You should modify the parent table instead.
The number of partitions in a sharded table is defined when it is created and cannot be changed afterwards. When new nodes are added to the cluster, some partitions are moved from existing nodes to the new ones to balance the load. So, to allow scaling of clusters, the initial number of partitions should be high enough, but not too high since an extremely large number of partitions significantly slows down query planning. For example, if you expect the number of nodes in your cluster to grow by 4 times at a maximum, create sharded tables with the number of partitions equal to 4 * N, where N is the number of nodes. A cluster becomes unable to scale when the number of cluster nodes reaches the number of partitions in the sharded table with the minimal number of them.
54.1.1.2. Replicated Tables #
Replicated tables are available to all nodes of a cluster. A replicated table is a set of regular tables synchronized by triggers. The main use case for a replicated table is to store a relatively rarely updated set of data that is used by all cluster nodes. When a sharded table is joined to a replicated table, joins between sharded table partitions and the replicated table can be performed on nodes where individual partitions reside. The implementation of trigger-based replication requires a non-deferrable primary key on a replicated table to be defined. Currently when a replicated table is modified, an after-statement trigger fires and propagates changes to other nodes of the cluster via foreign tables. When new nodes are added to a cluster, replicated table data is transferred to the new nodes via logical replication. When some nodes are removed from a cluster, replicated tables get locked for writes for a brief time. Use the distributed_by or replicated CREATE TABLE parameters to create a replicated table. Replicated tables created with replicated are registered in the shardman.global_tables dictionary. Partitioned replicated tables are not supported.
54.1.1.3. Distributed DDL #
Postgres Pro Shardman extension allows creating several kinds of managed objects. These are sharded and replicated tables, roles, functions, sequences, and tablespaces. The list of operations allowed on managed objects is limited particularly to protect consistency of a managed schema, type or function. Note that the roles and tablespaces are managed on a higher level. For the same reason, most operations on managed objects are cluster-wide. The list of cluster-wide operations includes:
CREATEfor sharded and replicated tables, managed roles and tablespaces, managed functions, or indexes on sharded or replicated tables.DROPfor sharded and replicated tables, managed roles and tablespaces, managed functions, or indexes on sharded or replicated tables.ALTER TABLEfor sharded and replicated tables.ALTER TABLESPACEfor replicated tablespaces.ALTER FUNCTIONfor managed functions.ALTER ROLEfor managed roles.RENAMEfor sharded and replicated tables or indexes on them.SET CONSTRAINTS ALLinside a transaction block.
The shardman.broadcast_ddl configuration parameter controls the execution of distributed DDL statements. It can be used to broadcast regular DDL operations, such as creating schemas or functions, across the entire cluster.
Distributed tables have some specifics. Such table is available on all cluster nodes. As partitioned table, it has a number of partitions, with this number being a constant that cannot be changed without a restart. Each shard usually stores several partitions of this shard, while other partitions are stored elsewhere. Mind that these partitions are interconnected.
54.1.1.4. Colocated Tables #
Postgres Pro Shardman colocated table is a partitioned table that consists of a number of partitions that are colocated with the partitions of a distributed table for the quick access. In this case, partitioning is usually made with partition, sharding, or foreign key for efficiency purposes. These are recommended solutions for larger JOIN.