Банк Финсервис, столкнувшись с ростом объёмов данных и международными ограничениями, провёл миграцию с платформы Microsoft на российское ПО, используя сертифицированную ФСТЭК СУБД Postgres Pro Enterprise и инструменты фреймворка BI.Qube. Это решение позволило банку структурировать накопленные данные, обеспечило гибкость, производительность и полное соответствие требованиям регуляторов.

Партнёр

BI.Qube — российский интегратор, специализирующийся на разработке корпоративных хранилищ данных. Компания реализует комплексные проекты для решения бизнес-задач, выполняя при этом интеграцию, консолидацию, решение проблем с качеством данных. Экспертиза команды охватывает внедрение Data Governance, построение управленческой и операционной аналитики, архитектурное проектирование, миграцию данных на отечественные платформы и решение оптимизационных задач.

BI.Qube, как партнёр, не только обеспечил надёжное технологическое решение, но и внёс вклад в реорганизацию структуры данных, что позволило устранить проблемы дублирования и несогласованности информации, накопленные за годы использования разнообразных систем.

Заказчик

Банк Финсервис входит в топ-100 крупнейших банков России, предоставляет широкий спектр финансовых услуг для частных лиц и корпоративных клиентов. Банк специализируется на сопровождении малого и среднего бизнеса, предлагая решения в области расчетно-кассового операций, кредитования, депозитов и дистанционного банковского обслуживания. Финсервис активно использует современные цифровые технологии для оптимизации своих внутренних процессов и улучшения взаимодействия с клиентами, а также уделяет особое внимание переходу на российское программное обеспечение и автоматизацию данных.

Предпосылки проекта

Банк Финсервис столкнулся с рядом серьёзных вызовов:

1. Минимизация рисков, связанных с эксплуатацией ПО, не поддерживаемого в РФ.
2. Сложности с поддержанием согласованности данных в хранилище, часть которых дублировалась и находилась в хаотичном состоянии.
3. Рост объёмов информации из различных источников: АБС, клиент-банк, 1С, сторонние web-сервисы, и данные, вводимые вручную.
4. Трудно сопровождаемое наслоение написанных разными разработчиками функций, объём кода только на SQL сервере исчислялся десятками тысяч строк.
5. Объём отчётности увеличивался, а форма её усложнялась, что вызывало дополнительные трудности.

Банк стремился не только перейти на российские решения, но и устранить хаос в структуре данных, улучшить процессы подготовки аналитической отчётности и упростить работу сотрудников.

Выбор решения

Банк рассматривал различные варианты, включая отечественные СУБД и open source решения. Выбор СУБД Postgres Pro Enterprise 16.4 на основе PostgreSQL был обусловлен широкими возможностями для решения сложных задач по работе с данными корпоративного хранилища данных банка, объем которого на момент миграции составлял 1,3 ТБ. Для заказчика было важно наличие у СУБД сертификации ФСТЭК с соответствием всем требованиям регуляторов, а также услуг профессиональной технической поддержки от вендора в режиме 24/7. Фреймворк BI.Qube, в свою очередь, обеспечил подключение источников, миграцию данных, построение ETL, внедрение контроля качества данных. Глубочайшая экспертиза команды Postgres Professional в части СУБД, и команды BI.Qube в части организации КХД, обеспечили быстрое и эффективное исполнение проекта.

Технологический стек

Postgres Pro — отечественная система управления базами данных. Флагманская редакция СУБД, Postgres Pro Enterprise, включает более 100 ключевых разработок, обеспечивающих максимальную надежность и высокую производительность, что позволяет ей решать самые сложные промышленные задачи на предприятиях с высоконагруженными системами. Входит в реестр отечественного ПО и имеет сертификат ФСТЭК.

Фреймворк BI.Qube, тесно интегрированный с Postgres Pro, включает:

– MetaStaging для быстрого подключения данных из разнородных источников данных, таких как учетные системы, базы данных, веб-сервисы, файловые хранилища и др.

– MetaVault для автоматического построения модели данных DWH по методологии Data Vault, быстрого расширения состава мер, измерений, атрибутов с поддержкой историчности данных

– MetaControl для автоматизации контроля и оповещения о результатах процессов обработки данных, включая проверку правильности, полноты, актуальности и согласованности данных, а также рассылку уведомлений об ошибках и отклонениях через e-mail и Telegram.

Процесс миграции

Проект миграции данных в Банке Финсервис проходил в несколько этапов. Прежде всего, с помощью специального парсера были получены метаданные источников данных, все источники ранжированы по объему и количеству данных, наличию специфических типов данных, определены параметры загрузки каждой таблицы в новое хранилище, настроен план обновления данных в зависимости от источника и потребности заказчика. Нужно пояснить, что источники данных в банке разнообразны, некоторые уникальные и можно сказать экзотические, так как разработаны непосредственно банком. Объемы данных на источниках варьировались от килобайтов до сотен гигабайтов. В некоторых случаях в одном источнике одновременно встречался комплекс проблем – и большое количество атрибутов в таблице, и огромное количество строк, и большой объем данных в полях таблиц, и использование уникальных типов данных. Такие таблицы определялись в автоматическом режиме, и для них настраивался метод загрузки данных. Фреймворк BI.Qube поддерживает различные режимы загрузки – инкрементальный, секционированный, с сохранением истории загрузок, сохранением секций и другие.

Далее команда BI.Qube совместно с IT-специалистами банка перенесла данные из существующей среды в СУБД Postgres Pro. Одним из ключевых элементов проекта стало использование инструментов BI.Qube MetaStaging, MetaVault и MetaControl. Эти инструменты позволили ускорить процесс миграции, автоматизировать преобразование данных и наладить работу с разными источниками.

В ходе проекта была произведена очистка данных от ошибок и дублей, а также настройка процессов ELT, что обеспечило надёжность и согласованность данных в новом хранилище. Загрузка данных в импортозамещенное хранилище выполнена в ту же модель операционного слоя, что позволило заказчику безболезненно перенацелить аналитические системы на новое хранилище.

Результаты и ключевые цифры проекта

Проект миграции данных был реализован за три месяца с участием трёх специалистов BI.Qube и сотрудников банка.

В рамках проекта успешно было мигрировано свыше 1000 таблиц с Microsoft SQL Server на Postgres Pro, в хранилище интегрированы данные из 6 источников, таких как Oracle (АБС, клиент-банк), 1С (ЗУП) и различных сторонних web-сервисов (ЕФРСБ, ГИС ГМП и др.), что включало огромный объём данных, накопленных банком за годы работы.

• Внедрение инструментов BI.Qube обеспечило повышение производительности и масштабируемости системы, позволив анализировать информацию из различных источников практически в режиме реального времени.
• Данные были очищены, структурированы и приведены в порядок, что значительно облегчило работу сотрудников банка.

Платформа на базе Postgres Pro продемонстрировала высокую эффективность, которая позволила банку оптимизировать затраты на лицензирование и общую стоимость владения системой.

«Проект продемонстрировал как наши инструменты позволяют быстро справляться с задачами любой сложности. Благодаря возможностям фреймворка BI.Qube, мы успешно выполнили миграцию данных на Postgres Pro и помогли клиенту структурировать и очистить накопленные данные. Это не просто переход на новое ПО, а полное переосмысление подходов к управлению данными, что обеспечивает надёжность и масштабируемость для будущего развития банка».

Дмитрий Поликовский, директор по развитию BI.Qube

«Миграция данных с международного ПО на СУБД Postgres Pro и инструменты BI.Qube позволила нам не только снизить затраты, но и обеспечить надёжность и гибкость всех бизнес-процессов. Мы смогли оперативно адаптироваться к новым регуляторным требованиям и улучшить производительность наших систем».

Сергей Кондратенков, начальник Управления развития аналитических систем департамента структурных проектов АО «Банк Финсервис»

Сайт: biqube.ru

Email: mail@biqube.ru

Телефон: +7 (499) 704-50-30