32.2. Как сжатие интегрируется в Postgres Pro Shardman #
Для увеличения эффективности дискового ввода-вывода Postgres Pro Shardman обращается к файлам через менеджер буферов, который способен закреплять в памяти наиболее часто используемые страницы. Каждая страница имеет фиксированный размер (по умолчанию 8 КБ). Но если мы сжимаем страницу, её размер будет зависеть от её содержимого. Поэтому изменённая страница может занимать больше (или меньше) места, чем исходная. А следовательно, мы не всегда можем заменить содержимое страницы на диске. Вместо этого мы должны найти для неё новое место и как-то высвободить старое. К решению этой проблемы есть два основных подхода:
- Выделение места
Мы должны реализовать собственный механизм выделения места в файле. Обычно для уменьшения дефрагментации место выделяется блоками фиксированного размера. Это означает, что мы выделяем место некоторыми фиксированными порциями. Например, если размер сжатой страницы 932 байта, мы выделим для неё в файле 1024 байта.
- Сборка мусора
Мы можем всегда выделять место для страниц в конце файла и периодически делать файл компактнее (дефрагментировать его), перемещая все использованные страницы в начало файла. Такую процедуру сборки мусора можно производить в фоновом режиме. Как уже объяснялось в предыдущем разделе, при последовательной записи на диск сбрасываемых страниц может значительно возрасти скорость и общая производительность. Вот почему мы использовали этот подход в CFS.
Поскольку расположение страницы нефиксированное и страница может перемещаться, мы больше не можем обращаться к странице по её адресу и должны использовать дополнительный уровень адресации, чтобы перейти от логического адреса страницы к её физическому расположению на диске. Это осуществляется с помощью файлов отображения. В большинстве случаев такое отображение будет умещаться в памяти (размер отображения в 1000 раз меньше размера файла данных) и трансляция адресов практически никак не отражается на времени обращения к странице. Но у нас возникает необходимость обслуживать эти дополнительные файлы: сбрасывать их на диск во время контрольных точек, удалять при удалении таблицы, включать в резервную копию и так далее...
Postgres Pro Shardman хранит отношение в наборе файлов, ограничивая размер каждого 2 гигабайтами. CFS создаёт для каждого файла отдельную карту отображения страниц и производит сборку мусора в нескольких фоновых процессах. Число этих рабочих процессов и условия простоя в их работе может настраиваться администратором баз данных. Эти рабочие процессы разделяют свою работу по хешу дескриптора файла (inode), так что конфликт между ними исключён. Обрабатывается каждый файл независимо. Этот файл может блокироваться в момент сборки мусора, но всё отношение при этом не блокируется. Для сохранения целостности данных сборщик мусора создаёт копии исходного файла с данными и файла отображения, а когда данные полностью сохраняются на диске, новая версия файла данных атомарно переименовывается и получает исходное имя. Затем новая карта отображения копируется в файл, отображённый в память, и предыдущий файл отображения удаляется. Производя восстановление после сбоя, мы сначала проверяем, нет ли на диске резервной копии файла данных. Если такой файл существует, это означает, что исходный файл ещё не заменился и мы можем безопасно удалить копию. Если же такого файла нет, мы проверяем наличие копии файла отображения. Если эта копия находится, значит дефрагментация не была завершена из-за сбоя, и мы можем продолжить эту операцию, скопировав отображение из копии.
CFS поддерживает библиотеки сжатия zstd, zlib и pglz. В современных операционных системах также поддерживается сжатие lz4. По умолчанию задействуется алгоритм zstd. Из соображений безопасности CFS проверяет, соответствует ли алгоритм, используемый в табличном пространстве, этой библиотеке.
32.2. How compression is integrated in Postgres Pro Shardman #
To improve efficiency of disk IO, Postgres Pro Shardman is working with files through buffer manager, which pins in memory most frequently used pages. Each page is fixed size (8kb by default). But if we compress page, then its size will depend on its content. So updated page can require more (or less) space than original page. So we may not always perform in-place update of the page. Instead of it we have to locate new space for the page and somehow release old space. There are two main approaches to solving this problem:
- Memory allocator
We should implement our own allocator of file space. Usually, to reduce fragmentation, fixed size block allocator is used. It means that we allocates place using some fixed quantum. For example if compressed page size is 932 bytes, then we will allocate 1024 bytes for it in the file.
- Garbage collector
We can always allocate space for the pages sequentially at the end of the file and periodically do compactification (defragmentation) of the file, moving all used pages to the beginning of the file. Such garbage collection process can be performed in background. As it was explained in the previous section, sequential write of the flushed pages can significantly increase IO speed and some increase performance. This is why we have used this approach in CFS.
As far as page location is not fixed and page can be moved, we can not anymore access the page directly by its address and need to use extra level of indirection to map logical address of the page to it's physical location on the disk. It is done using mapping files. In most cases the mapping will be kept in memory (size of the map is 1000 times smaller size of the file) and address translation adds almost no overhead to page access time. But we need to maintain these extra files: flush them during checkpoint, remove when table is dropped, include them in backup and so on...
Postgres Pro Shardman stores relation in a set of files, size of each file is not exceeding 2Gb. Separate page map is constructed for each file. Garbage collection in CFS is done by several background workers. Number of this workers and pauses in their work can be configured by database administrator. These workers are splitting work based on inode hash, so them do not conflict with each other. Each file is proceeded separately. The file is blocked for access at the time of garbage collection but complete relation is not blocked. To ensure data consistency GC creates copies of original data and map files. Once them are flushed to the disk, new version of data file is atomically renamed to original file name. And then new page map data is copied to memory-mapped file and backup file for page map is removed. In case of recovery after crash we first inspect if there is backup of data file. If such file exists, then original file is not yet updated and we can safely remove backup files. If such file doesn't exist, then we check for presence of map file backup. If it is present, then defragmentation of this file was not completed because of crash and we complete this operation by copying map from backup file.
CFS supports zstd, zlib, and pglz compression libraries. On modern operating systems, lz4 compression is also supported. By default, zstd is used. For safety reasons, CFS checks that the compression algorithm used in a tablespace corresponds to this library.