Часть VI. pgpro_metastore
pgpro_metastore — расширение Postgres Pro для обработки и хранения OLAP-данных.
Это расширение позволяет управлять аналитическими таблицами с OLAP-данными. Строки аналитических таблиц размещаются в виде Parquet-файлов в локальном, сетевом или S3-хранилище. Метаданные аналитических таблиц хранятся в таблицах метаданных (для соответствия требованиям спецификации DuckLake).
pgpro_metastore предоставляет следующие преимущества:
Ускорение выполнения аналитических запросов в 10–30 раз и уменьшение объёма сохраняемых OLAP-данных в 5–10 раз по сравнению с таблицами-кучами.
Использование инструментов, совместимых с Parquet, таких как Jupyter Notebook, для обработки OLAP-данных.
Неограниченные возможности масштабирования хранилищ для увеличения объёма сохраняемых OLAP-данных и ускорения доступа к ним.
Независимый механизм масштабирования вычислительных ресурсов хранилищ.
Прозрачную схему каталогов, которая обеспечивает гибкий выбор сценариев обработки OLAP-данных с использованием необходимых инструментов.
Гибкую настройку ограничений доступа к хранилищам, аналогичную Postgres Pro.
Изменения данных в рамках транзакций и согласованность между OLAP-данными и метаданными.
Транзакции с постоянными идентификаторами, которые позволяют запрашивать OLAP-данные и метаданные на основе определённых идентификаторов и восстанавливать данные на определённый момент времени.
Сбор статистики для всех столбцов и транзакций, что позволяет запрашивать необходимые Parquet-файлы.
Содержание
- 37. Настройте каталог метаданных
- 38. Таблицы метаданных
- 38.1.
pga_snapshot- 38.2.
pga_snapshot_changes- 38.3.
pga_schema- 38.4.
pga_table- 38.5.
pga_storage- 38.6.
pga_uri- 38.7.
pga_folder- 38.8.
pga_column- 38.9.
pga_data_file- 38.10.
pga_files_scheduled_for_deletion- 38.11.
pga_table_stats- 38.12.
pga_table_column_stats- 38.13.
pga_file_column_statistics- 38.14.
pga_partition_info- 38.15.
pga_partition_column- 38.16.
pga_partition_value- 38.17.
pga_transaction_log- 38.18.
pga_proxy_table - 38.2.
- 38.1.
- 39. Чтение метаданных
- 39.1. Получение снимка
- 39.2. Получение аналитических схем
- 39.3. Получение аналитических таблиц
- 39.4. Получение столбцов аналитической таблицы
- 39.5. Получение отфильтрованных Parquet-файлов
- 39.6. Получение статистики аналитических таблиц
- 39.7. Получение статистики столбцов аналитической таблицы
- 39.8. Получение статистики аналитической таблицы за определённый временной интервал
- 39.2. Получение аналитических схем
- 39.1. Получение снимка
- 40. Настройка видимости объектов