Суперкомпьютерное межсоединение в машинах баз данных: обзор возможностей Скала-СР / Postgres Pro на PgConf.Russia
Особенностью комплекса «Скала-СР / Postgres Pro» — серийного предконфигурированного кластера для PostgreSQL – является аппаратная и программная поддержка суперкомпьютерного межсоединения. О специфике, показателях работы и конструкциях, которые стали осуществимы с помощью «Скала-СР / Postgres Pro», эксперты IBS, Postgres Professional и Mellanox рассказали в МГУ на международной конференции PgConf.Russia.
В больших проектах довольно частым решением становится распределение СУБД на несколько аппаратных узлов, образующих кластер. Наибоее распространённый вариант построения кластера использует возможности физической репликации: один узел становится ведущим и принимает на себя всю нагрузку, изменяющую данные, и к нему добавляется несколько ведомых узлов, принимающих журналы изменений с ведущего. Ведомые узлы в этом случае могут высвободить ценный ресурс с ведущего узла («мастера») и обрабатывать нагрузку на чтение.
Для типичных корпоративных информационных систем, где соотношение операций «чтение — запись» может составлять 80:20 или даже 95:5, это ценная возможность. Но с обычной сетью и обычным PostgreSQL каждый новый узел-реплика достаётся ценой расходования другого ценного ресурса — процессорного времени ведущего узла, необходимого для каждой дополнительной сетевой операции. В этом случае весь кластер на практике ограничивался единицами узлов, поскольку выходил на пределы загрузки «мастера».
В комплексе «Скала-СР / Postgres Pro» применяются стогигабитные сети RoCE от Mellanox с поддержкой прямого доступа к памяти удалённого узла (RDMA) и программные доработки от Postgres Professional. Таким образом преодолевается ограничение: все сетевые операции в кластере «Скала-CР», в том числе, доставка журналов изменений, целиком выгружены с центральных процессоров узлов, и добавление новых синхронных реплик не сказывается на загруженности ведущего.
В ходе доклада эксперты IBS, Postgres Professional и Mellanox продемонстрировали результаты испытаний, подтверждающих этот эффект, и обсудили перспективы дальнейшего развития межсоединения в комплексе за счёт использования новых программных библиотек для RDMA и применения аппаратных новинок от Mellanox. В сессии вопросов и ответов специалисты осветили практические сценарии использования и ответили на эксплуатационные вопросы, возникшие у пользователей комплексов «Скала-СР / Postgres Pro».