1.3. Основы архитектуры #
Прежде чем продолжить, вы должны разобраться в основах архитектуры системы Postgres Pro Shardman. Составив картину взаимодействия частей Postgres Pro Shardman, вы сможете лучше понять материал этой главы.
В Postgres Pro Shardman используется клиент-серверная модель. Это решение для распределённых систем, работающее с OLTP для CRM/ERP в реальном времени, массово-параллельной архитектурой (MPP, Massively Parallel Processing), а также PaaS, SaaS, FaaS, хранилищами операционных данных (ODS, Operational Data Store) и системами управления мастер-данными (MDM, Master Data Management). Postgres Pro Shardman позволяет разбить большую базу данных на меньшие независимые части, расположенные на разных серверах.
Postgres Pro Shardman вводит понятие сегмента в экосистему PostgreSQL. Сегмент — это отдельная секция более крупной базы данных, используемая при горизонтальном масштабировании БД путём разбиения крупной БД на меньшие части, распределённые по нескольким серверам. Это позволяет распределить нагрузку и повысить уровень отказоустойчивости. Несколько сегментов объединяются в единую БД, но с каждым сегментом можно работать, как с отдельной БД. При этом количество сегментов со временем может измениться.
В Postgres Pro Shardman также есть несколько уникальных типов таблиц и объектов. За более подробной информацией обратитесь к разделам Типы таблиц и Объекты распределённой системы.
Транспорт Postgres Pro Shardman обеспечивает перенос данных и соединение между главным и резервными узлами на основании клиентских и рабочий процессов в момент получения данных от клиентских соединений. Любые ошибки отслеживаются на уровне кластера (в частности, с помощью приложения monitor) для быстрого обнаружения сбоев транзакций и узлов, потери соединения или взаимоблокировок.
Сервер Postgres Pro Shardman обрабатывает несколько одновременных подключений от клиентов, в то время как коммуникация между кластерами обеспечивается транспортом Silk.
Основная работа с узлами происходит с помощью утилиты shardmanctl, а параметры конфигурации кластера задаются в файле sdmspec.json. Кроме того, shardmanctl управляет резервным копированием.
За более подробной информацией обратитесь к главе Внутренние особенности распределённой системы.
1.3. Architectural Fundamentals #
Before we proceed, you should understand the basic Postgres Pro Shardman system architecture. Understanding how the parts of Postgres Pro Shardman interact will make this chapter somewhat clearer.
Postgres Pro Shardman uses a client/server model. It is a solution for the distributed systems that works with real-time OLTP for CRM/ERP, Massively Parallel Processing (MPP) framework, PaaS, SaaS, FaaS, and ODS/MDM. Postgres Pro Shardman splits a large database into smaller, independent parts located on different servers.
Postgres Pro Shardman introduces a notion concept of shard in the PostgreSQL ecosystem. Shard is a separate partition of a bigger database used for horizontal scaling of a DB by splitting a larger DB into smaller pieces distributed across servers. It allows distributing workload and improve availability. Each shard can be handled as a separate DB, while a set of shards unite into a single DB. Note that the number of shards can change with time.
Postgres Pro Shardman also have a number of unique table and object types. For more information, refer to Table Types and Distributed System Objects.
Postgres Pro Shardman transport provides data transfer and connection between primary and standby nodes when data from client connections is received based on client backends and workers. Any issues are monitored on cluster level (notably, monitor) to quickly detect any transaction or node failures, connection issues, or deadlocks.
While Postgres Pro Shardman server can handle multiple concurrent connections from clients, inter-cluster communications is handled by the Silk transport.
The nodes are mostly managed with the shardmanctl utility, while cluster configuration parameters are specified within the sdmspec.json file. shardmanctl also manages backup activities.
For internal specifics refer to Distributed System Internals.