3.3. Трансферы данных #
3.3.1. Создание трансфера данных #
В навигационной панели перейдите в Проекты → Трансферы.
В правом верхнем углу страницы нажмите Создать трансфер.
Укажите параметры нового трансфера данных (помеченные звёздочкой параметры являются обязательными):
Имя.
Источник данных • Тип: исходная база данных и её тип для трансфера. Возможные значения — имена подключений к базам данных, указанные при создании подключения к базе данных.
Возможные значения типа источника:
PostgreSQL
Oracle
Приёмник данных • Тип: целевая база данных и её тип для трансфера. Возможные значения — имена подключений к базам данных, указанные при создании подключения к базе данных.
Возможные значения типа приёмника:
PostgreSQL
Oracle
Параметр запуска: утилита Postgres ProGate, используемая для трансфера данных.
Возможные значения:
ProSync. Если флажок установлен, после инициирующей загрузки запускается механизм захвата изменений данных (CDC, Change Data Capture).
ProCopy. Выполняется инициирующая загрузка. Этот параметр нельзя отключить.
Нажмите Создать.
Отредактируйте параметры инициирующей загрузки и параметры репликации, если применимо.
Если используется только ProCopy, можно отредактировать следующие параметры (значения по умолчанию указываются автоматически):
Число потоков чтения: количество параллельных потоков чтения. Каждый поток обрабатывает одну задачу от начала до конца.
Число потоков записи: количество параллельных потоков записи. Каждый поток извлекает пакеты из очереди и применяет их к приёмнику.
Ограничение размера блока данных в байтах: глобальное ограничение на размер одного пакета в байтах.
Значение параметра должно быть больше
0.Необходимость очистки целевых таблиц: указывает, следует ли очищать все таблицы в целевой базе данных перед загрузкой данных.
Если установлено значение Нет, таблицы целевой базы данных не очищаются.
Возможные значения:
Нет
Да
Чтобы задать больше параметров, нажмите Все параметры.
Откроется окно со следующими дополнительными параметрами:
Отключение сортировки записей по уникальному ключу: отключает загрузку данных, отсортированных по уникальному первичному ключу. Вся таблица извлекается с помощью курсора.
Возможные значения:
Нет
Да
Уровень журналирования.
Возможные значения:
info
debug
Число знаков после запятой в денежных типах: количество знаков после запятой в исходной базе данных.
Порог размера LOB для использования двоичного протокола: пороговое значение размера больших объектов (LOB), определяющее способ их загрузки.
Если размер LOB меньше этого значения, используется бинарный протокол и все данные загружаются в оперативную память (RAM) целиком.
Если размер превышает это значение, LOB считывается по частям.
Число попыток отправки блока данных при возникновении ошибки записи: количество попыток повторной отправки пакета при ошибке.
Время между попытками отправки блока данных при возникновении ошибки: интервал между попытками отправки пакета при ошибке.
Переносить bfile: если этот параметр указан, в ходе загрузки данных все объекты типа
BFILEкопируются из Oracle целиком.По умолчанию копируются только идентификаторы, то есть псевдонимы каталогов и имена файлов.
Возможные значения:
Нет
Да
Размер скользящего окна чтения в строках: размер скользящего окна. Количество строк, выбираемых за один раз.
Отключить использование подсказок по индексам при чтении данных: указывает, следует ли использовать подсказки по индексам при формировании запросов
SELECT.Возможные значения:
Нет
Да
Максимальное время чтения блока данных: максимальное время чтения блока данных.
Число записей в одной подзадаче: количество строк, которые содержатся в одной подзадаче большой таблицы.
Опции конвертации типов в строку.
Укажите ключевое слово и его значение.
Можно указать несколько параметров, нажав + Добавить опцию.
Если также используется ProSync, можно отредактировать следующие параметры (значения по умолчанию указываются автоматически):
Размер блока данных для чтения из источника в байтах: размер пакета, который будет использоваться при чтении утилитой ProSync из Oracle с использованием
LogMiner.Чтение изменений из online REDO логов Oracle: указывает, следует ли читать изменения как из архивных, так и из активных
REDO LOGS. Этот параметр позволяет получать изменения сразу после их появления в активных журналах. Не рекомендуется использовать, если требуется надёжность, так как из-за особенностей записи журналов в Oracle возможна потеря части операций.Возможные значения:
Нет
Да
Порог числа операций в рамках транзакции для использования промежуточного кеша: количество операций в одной транзакции, при достижении которого промежуточные данные записываются на диск.
Чтобы задать больше параметров, нажмите Все параметры.
Откроется окно со следующими дополнительными параметрами:
Максимальный размер блока данных при чтении из источника: максимальный размер, до которого может быть увеличен размер пакета при чтении.
Если этот предел достигнут, ProSync завершает работу с ошибкой. Это может произойти, если остаётся незавершённая транзакция. Пользователь должен устранить проблему вручную.
Размер блока данных для обработки: размер пакета при обработке транзакции.
Этот параметр предназначен для внутренней настройки работы утилиты.
Размер блока данных для записи: размер пакета при вставке данных.
Значение
0— данные вставляются по мере их появления.Валидировать последовательность записей: указывает, следует ли проверять последовательности файлов журналов LogMiner.
Если какой-либо файл отсутствует, ProSync завершает работу с ошибкой.
Если потеря данных допустима, установите значение Нет.
Возможные значения:
Нет
Да
Объём данных в байтах для обработки в одной итерации данных с типом LOB: максимальное количество байтов, записываемое за один раз при сохранении LOB.
Нажмите Сохранить.
Добавьте задачи репликации.
В правом верхнем углу таблицы нажмите + Добавить задачу.
Укажите параметры новой задачи репликации (помеченные звёздочкой параметры являются обязательными):
Тип задачи.
Возможные значения:
SQL-запрос
Схема-схема
Имя.
Схемы источника: схемы исходной базы данных репликации.
Схема приёмника: схема целевой базы данных репликации.
Таблица приёмника: таблица в схеме целевой базы данных репликации. Это поле отображается, если выбран тип задачи SQL-запрос.
Если выбран тип задачи SQL-запрос:
Введите SQL-запрос для задачи трансфера данных. Окно консоли поддерживает проверку синтаксиса и автодополнение ввода на основе ключевых слов, имён полей и имён таблиц. Если запрос некорректен, отобразится ошибка.
Чтобы включить или отключить проверку запроса, воспользуйтесь переключателем Проверка запроса в левом верхнем углу над окном консоли.
Сопоставьте поля из SQL-запроса с полями целевой таблицы:
Вручную, выбрав целевые поля из выпадающих списков рядом с исходными полями.
Автоматически, нажав Сопоставить объекты.
Если выбран тип задачи Схема-схема:
Сопоставьте таблицы из исходной схемы с таблицами в целевой схеме:
Вручную, выбрав целевые таблицы из выпадающих списков рядом с исходными таблицами.
Автоматически, нажав Сопоставить объекты.
Чтобы отобразить или скрыть поля таблиц для ручного сопоставления, нажмите
или 
.
Нажмите Добавить задачу.
Нажмите Завершить настройку.
3.3.2. Просмотр трансферов данных #
В навигационной панели перейдите в Проекты → Трансферы.
Отобразится таблица трансферов данных со следующими столбцами:
Имя.
Источник: исходная база данных для трансфера. Возможные значения — это имена подключений к базам данных, указанные при создании подключения к базе данных.
Приёмник: целевая база данных для трансфера. Возможные значения — это имена подключений к базам данных, указанные при создании подключения к базе данных.
Дата создания: дата и время создания трансфера данных.
Статус.
Возможные значения:
Черновик
Подготовлен
Запрошен запуск
Запрошена остановка
Завершён
Запрошен запуск инициализации ProSync
Запущена инициализация ProSync
Инициализация ProSync остановлена пользователем
Инициализация ProSync остановлена из-за внутренней ошибки
Инициализация ProSync завершена
Запрошен запуск ProSync
Запущен ProSync
Запрошена остановка ProSync
ProSync остановлен из-за внутренней ошибки
Выполнение ProSync завершено
Запрошен запуск завершения подключения ProSync
Подключение ProSync завершается
Завершение ProSync остановлено из-за внутренней ошибки
Подключение ProSync завершено
Запрошен запуск ProCopy
Запущен ProCopy
Запрошена остановка ProCopy
Выполнение ProCopy завершено
ProCopy остановлен из-за внутренней ошибки
Смена статуса: дата и время изменения статуса трансфера данных.
Прогресс выполнения: количество выполненных задач по трансферу данных, также отображается горизонтальный индикатор.
Действия.
За подробной информацией о доступных действиях обратитесь к другим инструкциям в этом разделе.
3.3.3. Просмотр подробной информации о трансфере данных #
В навигационной панели перейдите в Проекты → Трансферы.
Нажмите на имя трансфера.
Откроется страница трансфера данных со следующими элементами интерфейса:
Блок Задачи ProCopy со следующими параметрами:
Выполнено: количество выполненных задач.
Скорость переноса данных: скорость, с которой выполняется перенос данных.
Скорость переноса записей: скорость, с которой выполняется перенос записей.
Всего записей: общее количество перенесённых записей.
Всего записей с ошибками: общее количество записей, перенесённых с ошибками.
Блок Задачи ProSync. Этот блок отображается, если используется ProSync. Доступные параметры:
Parsing SCN: системный номер изменения, обрабатываемый ProSync.
Latest SCN: текущий системный номер изменения в исходной базе данных.
Скорость переноса данных: скорость, с которой выполняется перенос данных.
Скорость переноса записей: скорость, с которой выполняется перенос записей.
Всего данных: общий объём перенесённых данных.
Всего записей: общее количество перенесённых записей.
Таблица трансфера данных по следующими столбцами:
Статус: статус трансфера данных.
Создан: время создания трансфера данных.
Инициатор: пользователь, инициировавший изменение статуса трансфера данных.
Процесс: номер процесса.
Чтобы просмотреть подробную информацию о процессе, нажмите
рядом с ним.
3.3.4. Запуск трансфера данных #
В навигационной панели перейдите в Проекты → Трансферы.
Нажмите
рядом с трансфером данных.Запущенный трансфер данных можно остановить. Для этого нажмите
рядом с трансфером данных.
3.3.5. Редактирование трансфера данных #
В навигационной панели перейдите в Проекты → Трансферы.
Нажмите
→ Настроить рядом с трансфером данных. Редактировать можно только трансферы со статусом Черновик или остановленные трансферы.Отредактируйте параметры источника и приёмника данных (помеченные звёздочкой параметры являются обязательными) и нажмите Далее.
Отредактируйте параметры инициирующей загрузки и, если применимо, параметры репликации и нажмите Далее.
Отредактируйте задачи репликации и нажмите Далее.
Нажмите Завершить настройку.
3.3.6. Удаление трансфера данных #
Важно
После удаления трансферы данных невозможно восстановить.
Чтобы удалить трансфер данных:
В навигационной панели перейдите в Проекты → Трансферы.
Нажмите
→ Удалить рядом с трансфером данных.Нажмите Удалить.