Глава 5. pgpro_metastore
Содержание
- 5.1. Настройка каталога pgpro_metastore
- 5.2. Таблицы метаданных
- 5.2.1. Таблица метаданных
pga_snapshot- 5.2.2. Таблица метаданных
pga_snapshot_changes- 5.2.3. Таблица метаданных
pga_schema- 5.2.4. Таблица метаданных
pga_table- 5.2.5. Таблица метаданных
pga_storage- 5.2.6. Таблица метаданных
pga_uri- 5.2.7. Таблица метаданных
pga_folder- 5.2.8. Таблица метаданных
pga_column- 5.2.9. Таблица метаданных
pga_data_file- 5.2.10. Таблица метаданных
pga_files_scheduled_for_deletion- 5.2.11. Таблица метаданных
pga_table_stats- 5.2.12. Таблица метаданных
pga_table_column_stats- 5.2.13. Таблица метаданных
pga_file_column_statistics- 5.2.14. Таблица метаданных
pga_transaction_log - 5.2.2. Таблица метаданных
- 5.2.1. Таблица метаданных
- 5.3. Чтение метаданных
- 5.4. Настройка видимости объектов
pgpro_metastore — расширение Postgres Pro для обработки и хранения OLAP-данных.
Это расширение позволяет управлять аналитическими таблицами с OLAP-данными. Строки аналитических таблиц размещаются в виде Parquet-файлов в локальном, сетевом или S3-хранилище. Метаданные аналитических таблиц хранятся в таблицах метаданных (для соответствия требованиям спецификации DuckLake).
Расширение pgpro_metastore предоставляет следующие преимущества:
Ускорение выполнения аналитических запросов в 10–30 раз и уменьшение объёма сохраняемых OLAP-данных в 5–10 раз по сравнению с таблицами-кучами.
Использование инструментов, совместимых с Parquet, таких как Jupyter и Notebook, для обработки OLAP-данных.
Неограниченные возможности масштабирования хранилищ для увеличения объёма сохраняемых OLAP-данных и ускорения доступа к ним.
Независимый механизм масштабирования вычислительных ресурсов хранилищ.
Прозрачную схему каталогов, которая обеспечивает гибкий выбор сценариев обработки OLAP-данных с использованием необходимых инструментов.
Гибкую настройку ограничений доступа к хранилищам, аналогичную Postgres Pro.
Изменения данных в рамках транзакций и согласованность между OLAP-данными и метаданными.
Транзакции с постоянными идентификаторами, которые позволяют запрашивать OLAP-данные и метаданные на основе определённых идентификаторов и восстанавливать данные на определённый момент времени.
Сбор статистики для всех столбцов и транзакций, что позволяет запрашивать необходимые Parquet-файлы.