База технологической независимости. (В Москве прошла третья Международная техническая конференция PgConf.Russia)
Ежегодный форум PgConf.Russia 2017 собрал более 500 отечественных и зарубежных разработчиков, архитекторов, администраторов и пользователей СУБД PostgreSQL. В рамках трехдневного мероприятия было представлено более полусотни докладов, семь мастер-классов, два круглых стола, была развернута площадка для общения специалистов, вовлеченных в экосистему данной СУБД. В отличие от достаточно официального прошлогоднего, нынешний форум был подчеркнуто технологическим; но вместе с этим перечень его партнеров, среди которых были IBS, Fujitsu, AT Consulting, свидетельствовал о необратимости взятого несколько лет назад курса на достижение технологической независимости, по крайней мере в сфере системного ПО. В частности, Игорь Ведехин, директор дивизиона «ИТ-инфраструктура» компании IBS, представляя аппаратно-программный комплекс СКАЛА-СР, разработанный в помощь отечественным предприятиям, лишенным былого доступа к западным технологиям, отметил, что сегодня многими российскими заказчиками объективно востребованы машины баз данных. Консорциум, в состав которого входят IBS, российская компания «Постгрес Профессиональный» и израильская Mellanox, представил на конференции машины баз данных в различных конфигурациях – готовые предконфигурированные комплексы позволяют заказчикам быстро развернуть нужную инфраструктуру и сэкономить на лицензионных отчислениях.
Рост популярности PostgreSQL в нашей стране означает повышенные требования к поддержке этой СУБД и актуализацию проблемы миграции между СУБД, выполненной как вручную, так и с помощью различных средств автоматизации, о которых много говорилось на конференции. Иван Панченко, заместитель генерального директора компании «Постгрес Профессиональный», отметил изменения, произошедшие за годы проведения конференции, и прежде всего рост активности ее участников: «Набрана критическая масса, участники сами приходят, подают доклады, предлагают партнерство». За прошедший год компания разработала российский «форк» СУБД в версиях для «1С», Postgres Pro Certified и Postgres Pro Enterprise, выпустила русскоязычную документацию по PostgreSQL и Postgres Pro. Особо Панченко отметил совместную с РФЯЦ-ВНИИЭФ разработку СУБД «Синергия БД», обеспечивающую разграничение доступа при работе СУБД PostgreSQL в кросс-платформенной среде различных ОС без потери производительности и с соблюдением требований безопасности.
Белорусская компания «Испаер Системс» представила на конференции свое решение Ispirer Migration and Modernization Toolkit для автоматизации миграции на PostgreSQL c Oracle, Microsoft SQL Server, IBM DB2 и ряда других СУБД. Речь идет как о переносе данных и SQL-кода, так и о конвертации клиентских приложений. К сожалению, по замечаниям участников конференции, такая миграция не всегда приводит к ожидаемому результату и чревата потерей производительности. Консалтинговая компания Data Egret, созданная Ильей Космодемьянским, как раз специализируется на вопросах оптимизации производительности и выполнения полного цикла сопровождения баз данных, в частности на аудите настроек, правильный подбор которых часто позволяет на порядок повысить производительность.
В ряде докладов отмечалось, что, несмотря на рост популярности СУБД класса NoSQL, традиционные решения, несущие на себе основной груз унаследованных приложений, не сдают своих позиций, иначе говоря, «no SQL — no money». Наоборот, набирает силу обратный процесс — миграция с NoSQL на SQL, например с MongoDB на PostgreSQL. Первая достаточно популярна при работе с транзакционными системами OLTP, однако неполное соответствие требованиям ACID (атомарность, согласованность, изолированность, надежность), а также серьезные проблемы с производительностью при работе с нагрузками класса OLAP вынуждают пользователей MongoDB задуматься о переходе на реляционные СУБД, выбирая именно PostgreSQL. В докладе Альваро Эрнандеса были перечислены сложности, с которыми сталкиваются пользователи MongoDB, и представлен обзор современных инструментов по миграции на PostgreSQL в реальном времени.
Андрей Фефелов из компании mastery.pro представил в своем докладе обзор доступных открытых решений по бизнес-аналитике и специально остановился на проекте, выполненном для зарубежной аптечной сети, проанализировав влияние настроек PostgreSQL для специфических профилей нагрузки. Однако наибольший интерес в серии докладов по применению PostgreSQL вызвало у слушателей сообщение Алексея Плотникова из компании Skype, ныне входящей в состав Microsoft. Большинство сервисов Skype построено на базе PostgreSQL 9.4, ОС Debian Linux и других открытых технологий Skytools, plProxy, pgBouncer и пр. Современная инфраструктура Skype – это два ЦОД, 1 тыс. серверов, 160 баз данных общим объемом 500 Тбайт с нагрузкой в 200 тыс. транзакций в секунду. В докладе была представлена архитектура платформы баз данных, позволяющая пользователям и приложениям работать с логическими базами, не беспокоясь об их реальной структуре.
Апофеозом второго дня конференции стал доклад группы авторов из НИИ «Восход», МЦСТ и Data Egret, посвященный опыту применения отечественного оборудования и свободного ПО, включая PostgreSQL, в ЦОД государственной системы изготовления, оформления и контроля паспортно-визовых документов нового поколения (ГС ПВД НП). Эта система контролирует всю технологическую цепочку выпуска заграничных паспортов с микросхемой, служебных и дипломатических паспортов, оформления вида на жительство лиц без гражданства и проездного документа беженца. До недавнего времени инфраструктура системы была построена на мэйнфреймах System z, СУБД IBM DB2 и Tivoli. Ее поддержка с определенного момента стала непосильной для бюджета, поэтому по заказу Минкомсвязи была выполнена миграция на СУБД PostgreSQL на платформе «Эльбрус», Apache ActiveMQ и Redis. Сегодня основу ГС ПВД НП составляют 130 серверов на платформе «Эльбрус», а СУБД PostgreSQL управляет массивом из 7 млрд строк данных, причем весь процесс миграции был выполнен без прерывания работы «боевой» системы и без потери производительности.