Глава 27. Таблицы метаданных
Содержание
- 27.1. Таблица метаданных
pga_snapshot- 27.2. Таблица метаданных
pga_snapshot_changes- 27.3. Таблица метаданных
pga_schema- 27.4. Таблица метаданных
pga_table- 27.5. Таблица метаданных
pga_storage- 27.6. Таблица метаданных
pga_uri- 27.7. Таблица метаданных
pga_folder- 27.8. Таблица метаданных
pga_column- 27.9. Таблица метаданных
pga_data_file- 27.10. Таблица метаданных
pga_files_scheduled_for_deletion- 27.11. Таблица метаданных
pga_table_stats- 27.12. Таблица метаданных
pga_table_column_stats- 27.13. Таблица метаданных
pga_file_column_statistics- 27.14. Таблица метаданных
pga_transaction_log - 27.2. Таблица метаданных
Метаданные из таблиц метаданных pgpro_metastore необходимы для обеспечения следующей функциональности:
Создание аналитических представлений.
Запросы к аналитическим таблицам с секционированием и индексами для Parquet-файлов.
Поддержка базовых ETL-операций:
выполнение ETL-операций;
планирование ETL-операций на определённую дату и время, а также настройка последовательного выполнения (одной операции за другой);
ограничение ресурсов, доступных для выполнения ETL-операций, чтобы избежать увеличения OLTP-нагрузки.
Работа с OLAP-данными:
создание Parquet-файлов с OLAP-данными из таблиц Postgres Pro и импорт этих данных в аналитические таблицы;
экспорт OLAP-данных из аналитических таблиц в файлы в форматах Parquet, CSV и JSON;
создание отчётов с отфильтрованными OLAP-данными с помощью SQL-запросов.
Изменение объектов pgpro_metastore в рамках транзакций, а также согласованные изменения аналитических таблиц при чтении и записи.
Проверка целостности данных и восстановление Parquet-файлов из резервных копий или с помощью зеркал S3-хранилищ.
Мониторинг pgpro_metastore и уведомление администраторов о событиях, срочно требующих внимания.
Распределение Parquet-файлов по отдельным хранилищам во избежание конкуренции с OLTP-нагрузкой за пропускную способность ввода-вывода.
Схема таблиц метаданных представлена на диаграмме ниже.