Часть V. pgpro_metastore
pgpro_metastore — расширение Postgres Pro для обработки и хранения OLAP-данных.
Это расширение позволяет управлять аналитическими таблицами с OLAP-данными. Строки аналитических таблиц размещаются в виде Parquet-файлов в локальном, сетевом или S3-хранилище. Метаданные аналитических таблиц хранятся в таблицах метаданных (для соответствия требованиям спецификации DuckLake).
Расширение pgpro_metastore предоставляет следующие преимущества:
Ускорение выполнения аналитических запросов в 10–30 раз и уменьшение объёма сохраняемых OLAP-данных в 5–10 раз по сравнению с таблицами-кучами.
Использование инструментов, совместимых с Parquet, таких как Jupyter и Notebook, для обработки OLAP-данных.
Неограниченные возможности масштабирования хранилищ для увеличения объёма сохраняемых OLAP-данных и ускорения доступа к ним.
Независимый механизм масштабирования вычислительных ресурсов хранилищ.
Прозрачную схему каталогов, которая обеспечивает гибкий выбор сценариев обработки OLAP-данных с использованием необходимых инструментов.
Гибкую настройку ограничений доступа к хранилищам, аналогичную Postgres Pro.
Изменения данных в рамках транзакций и согласованность между OLAP-данными и метаданными.
Транзакции с постоянными идентификаторами, которые позволяют запрашивать OLAP-данные и метаданные на основе определённых идентификаторов и восстанавливать данные на определённый момент времени.
Сбор статистики для всех столбцов и транзакций, что позволяет запрашивать необходимые Parquet-файлы.
Содержание
- 26. Настройка каталога pgpro_metastore
- 27. Таблицы метаданных
- 27.1. Таблица метаданных
pga_snapshot- 27.2. Таблица метаданных
pga_snapshot_changes- 27.3. Таблица метаданных
pga_schema- 27.4. Таблица метаданных
pga_table- 27.5. Таблица метаданных
pga_storage- 27.6. Таблица метаданных
pga_uri- 27.7. Таблица метаданных
pga_folder- 27.8. Таблица метаданных
pga_column- 27.9. Таблица метаданных
pga_data_file- 27.10. Таблица метаданных
pga_files_scheduled_for_deletion- 27.11. Таблица метаданных
pga_table_stats- 27.12. Таблица метаданных
pga_table_column_stats- 27.13. Таблица метаданных
pga_file_column_statistics- 27.14. Таблица метаданных
pga_transaction_log - 27.2. Таблица метаданных
- 27.1. Таблица метаданных
- 28. Чтение метаданных
- 29. Настройка видимости объектов