F.37. pgcrypto
Модуль pgcrypto
предоставляет криптографические функции для Postgres Pro.
Данный модуль считается «доверенным», то есть его могут устанавливать обычные пользователи, имеющие право CREATE
в текущей базе данных.
F.37.1. Стандартные функции хеширования
F.37.1.1. digest()
digest(data text, type text) returns bytea digest(data bytea, type text) returns bytea
Вычисляет двоичный хеш данных (data
). Параметр type
выбирает используемый алгоритм. Поддерживаются стандартные алгоритмы: md5
, sha1
, sha224
, sha256
, sha384
и sha512
. Если модуль pgcrypto
собирался с OpenSSL, становятся доступны и другие алгоритмы, как описано в Таблице F.30.
Если вы хотите получить дайджест в виде шестнадцатеричной строки, примените encode()
к результату. Например:
CREATE OR REPLACE FUNCTION sha1(bytea) returns text AS $$ SELECT encode(digest($1, 'sha1'), 'hex') $$ LANGUAGE SQL STRICT IMMUTABLE;
F.37.1.2. hmac()
hmac(data text, key text, type text) returns bytea hmac(data bytea, key bytea, type text) returns bytea
Вычисляет имитовставку на основе хеша для данных data
с ключом key
. Параметр type
имеет то же значение, что и для digest()
.
Эта функция похожа на digest()
, но вычислить хеш с ней можно, только зная ключ. Это защищает от сценария подмены данных и хеша вместе с ними.
Если размер ключа больше размера блока хеша, он сначала хешируется, а затем используется в качестве ключа хеширования данных.
F.37.2. Функции хеширования пароля
Функции crypt()
и gen_salt()
разработаны специально для хеширования паролей. Функция crypt()
выполняет хеширование, а gen_salt()
подготавливает параметры алгоритма для неё.
Алгоритмы в crypt()
отличаются от обычных алгоритмов хеширования MD5 и SHA1 в следующих аспектах:
Они медленные. Так как объём данных невелик, это единственный способ усложнить перебор паролей.
Они используют случайное значение, называемое солью, чтобы у пользователей с одинаковыми паролями зашифрованные пароли оказывались разными. Это также обеспечивает дополнительную защиту от получения обратного алгоритма.
Они включают в результат тип алгоритма, что допускает сосуществование паролей, хешированных разными алгоритмами.
Некоторые из них являются адаптируемыми — то есть с ростом производительности компьютеров эти алгоритмы можно настроить так, чтобы они стали медленнее, при этом сохраняя совместимость с существующими паролями.
В Таблице F.27 перечислены алгоритмы, поддерживаемые функцией crypt()
.
Таблица F.27. Алгоритмы, которые поддерживает crypt()
Алгоритм | Макс. длина пароля | Адаптивный? | Размер соли (бит) | Размер результата | Описание |
---|---|---|---|---|---|
bf | 72 | да | 128 | 60 | На базе Blowfish, вариация 2a |
md5 | без ограничений | нет | 48 | 34 | crypt на базе MD5 |
xdes | 8 | да | 24 | 20 | Расширенный DES |
des | 8 | нет | 12 | 13 | Изначальный crypt из UNIX |
F.37.2.1. crypt()
crypt(password text, salt text) returns text
Вычисляет хеш пароля (password
) в стиле crypt(3). Для сохранения нового пароля необходимо вызвать gen_salt()
, чтобы сгенерировать новое значение соли (salt
). Для проверки пароля нужно передать сохранённое значение хеша в параметре salt
и проверить, соответствует ли результат сохранённому значению.
Пример установки нового пароля:
UPDATE ... SET pswhash = crypt('new password', gen_salt('md5'));
Пример проверки пароля:
SELECT (pswhash = crypt('entered password', pswhash)) AS pswmatch FROM ... ;
Этот запрос возвращает true
, если введённый пароль правильный.
F.37.2.2. gen_salt()
gen_salt(type text [, iter_count integer ]) returns text
Вычисляет новое случайное значение соли для функции crypt()
. Строка соли также говорит crypt()
, какой алгоритм использовать.
Параметр type
задаёт алгоритм хеширования. Принимаются следующие варианты: des
, xdes
, md5
и bf
.
Параметр iter_count
позволяет пользователю указать счётчик итераций для алгоритма, который его принимает. Чем больше это число, тем больше времени уйдёт на вычисление хеша пароля, а значит, тем больше времени понадобится, чтобы взломать его. Хотя со слишком большим значением время вычисления хеша может вырасти до нескольких лет — это вряд ли практично. Когда параметр iter_count
опускается, применяется количество итераций по умолчанию. Множество допустимых значений для iter_count
зависит от алгоритма, как показано в Таблице F.28.
Таблица F.28. Счётчики итераций для crypt()
Алгоритм | По умолчанию | Мин. | Макс. |
---|---|---|---|
xdes | 725 | 1 | 16777215 |
bf | 6 | 4 | 31 |
Для xdes
есть дополнительное ограничение: счётчик итераций должен быть нечётным.
При выборе подходящего числа итераций учтите, что оригинальный алгоритм DES crypt был рассчитан так, чтобы выдавать 4 хеша в секунду на компьютерах того времени. Если за секунду будет вычисляться меньше 4 хешей, скорее всего, возникнут определённые неудобства при пользовании. С другой стороны, скорость больше, чем 100 хешей в секунду, вероятно, будет слишком высокой.
В Таблице F.29 дана сводка относительной скорости различных алгоритмов хеширования. В таблице показано, сколько времени уйдёт на перебор всех комбинацией символов в восьмисимвольном пароле, в предположении, что пароль содержит только буквы в нижнем регистре, либо буквы в верхнем и нижнем регистре, а также цифры. В строках crypt-bf
числа после косой черты показывают значение параметра iter_count
функции gen_salt
.
Таблица F.29. Скорости алгоритмов хеширования
Алгоритм | Хешей/сек. | Для [a-z] | Для [A-Za-z0-9] | Длительность относительно md5 |
---|---|---|---|---|
crypt-bf/8 | 1792 | 4 года | 3927 лет | 100k |
crypt-bf/7 | 3648 | 2 года | 1929 лет | 50k |
crypt-bf/6 | 7168 | 1 год | 982 лет | 25k |
crypt-bf/5 | 13504 | 188 дней | 521 лет | 12.5k |
crypt-md5 | 171584 | 15 дней | 41 год | 1k |
crypt-des | 23221568 | 157.5 минут | 108 дней | 7 |
sha1 | 37774272 | 90 минут | 68 дней | 4 |
md5 (хеш) | 150085504 | 22.5 минут | 17 дней | 1 |
Замечания:
Для расчётов использовался процессор Intel Mobile Core i3.
Показатели алгоритмов
crypt-des
иcrypt-md5
взяты из вывода теста программы John the Ripper v1.6.38.Показатели
md5
получены программой mdcrack 1.2.Показатели
sha1
получены программой lcrack-20031130-beta.Показатели
crypt-bf
получены простой программой, обрабатывающей в цикле 1000 паролей из 8-символов. Таким способом можно показать скорость с разным числом итераций. Для справки:john -test
показывает 13506 циклов/с дляcrypt-bf/5
. (Это очень небольшое различие в результатах согласуется с тем фактом, что реализацияcrypt-bf
вpgcrypto
не отличается от применяемой в программе John the Ripper.)
Заметьте, что вариант «перепробовать все комбинации» не вполне реалистичен. Обычно перебор паролей производится с применением словарей, которые содержат и обычные слова, и их различные видоизменения. Поэтому даже похожие на слова пароли обычно можно подобрать быстрее, чем за указанное время, тогда как 6-символьный несловесный пароль может избежать взлома. А может и не избежать.
F.37.3. Функции шифрования на базе PGP
Функции, описанные здесь, реализуют часть стандарта OpenPGP (RFC 4880), относящуюся к шифрованию. Они поддерживают шифрование как с симметричным, так и с закрытым ключом.
Зашифрованное PGP сообщение состоит из 2 частей или пакетов:
Пакет, содержащий сеансовый ключ — либо симметричный, либо открытый (в зашифрованном виде).
Пакет, содержащий данные, зашифрованные сеансовым ключом.
При шифровании с симметричным ключом (то есть, паролем):
Заданный пароль хешируется по алгоритму String2Key (S2K). Этот алгоритм подобен алгоритмам
crypt()
— специально замедлен и добавляет случайную соль — но на выход выдаёт двоичный ключ полной длины.Если требуется отдельный сеансовый ключ, генерируется новый случайный ключ. В противном случае в качестве сеансового будет использоваться непосредственно ключ S2K.
Когда используется непосредственно ключ S2K, в пакет сеансового ключа помещаются только параметры S2K. В противном случае сеансовый ключ шифруется ключом S2K и результат помещается в пакет сеансового ключа.
При шифровании с открытым ключом:
Генерируется новый случайный сеансовый ключ.
Он зашифровывается открытым ключом и помещается в пакет сеансового ключа.
В любом случае данные, которые должны быть зашифрованы, обрабатываются так:
Необязательная подготовка данных: сжатие, перекодировка в UTF-8 и/или преобразование концов строк.
Перед данными добавляется блок случайных байт. Это равносильно использованию случайного вектора инициализации.
В конце добавляется хеш SHA1 случайного префикса и данных.
Всё это шифруется сеансовым ключом и помещается в пакет данных.
F.37.3.1. pgp_sym_encrypt()
pgp_sym_encrypt(data text, psw text [, options text ]) returns bytea pgp_sym_encrypt_bytea(data bytea, psw text [, options text ]) returns bytea
Шифрует данные (data
) симметричным ключом PGP psw
. В options
могут передаваться криптографические параметры, описанные ниже.
F.37.3.2. pgp_sym_decrypt()
pgp_sym_decrypt(msg bytea, psw text [, options text ]) returns text pgp_sym_decrypt_bytea(msg bytea, psw text [, options text ]) returns bytea
Расшифровывает сообщение, зашифрованное симметричным ключом PGP.
Расшифровывать данные bytea
функцией pgp_sym_decrypt
запрещено. Это ограничение введено, чтобы не допустить вывода некорректных символьных данных. Расшифровывать изначально текстовые данные с помощью pgp_sym_decrypt_bytea
можно без ограничений.
Аргумент options
может содержать криптографические параметры, описанные ниже.
F.37.3.3. pgp_pub_encrypt()
pgp_pub_encrypt(data text, key bytea [, options text ]) returns bytea pgp_pub_encrypt_bytea(data bytea, key bytea [, options text ]) returns bytea
Зашифровывает данные (data
) открытым ключом PGP (key
). Если передать этой функции закрытый ключ, она выдаст ошибку.
Аргумент options
может содержать криптографические параметры, описанные ниже.
F.37.3.4. pgp_pub_decrypt()
pgp_pub_decrypt(msg bytea, key bytea [, psw text [, options text ]]) returns text pgp_pub_decrypt_bytea(msg bytea, key bytea [, psw text [, options text ]]) returns bytea
Расшифровывает сообщение, зашифрованное открытым ключом. В key
должен передаваться закрытый ключ, соответствующий открытому ключу, применяющемуся при шифровании. Если секретный ключ защищён паролем, этот пароль нужно передать в параметре psw
. Если пароля нет, но необходимо передать криптографические параметры, вы должны передать пустой пароль.
Расшифровывать данные bytea
функцией pgp_pub_decrypt
запрещено. Это ограничение введено, чтобы не допустить вывода недопустимых символьных данных. Расшифровывать изначально текстовые данные с помощью pgp_pub_decrypt_bytea
можно без ограничений.
Аргумент options
может содержать криптографические параметры, описанные ниже.
F.37.3.5. pgp_key_id()
pgp_key_id(bytea) returns text
pgp_key_id
извлекает идентификатор ключа из открытого или закрытого ключа PGP. Она также может выдать идентификатор ключа, которым были зашифрованы данные, если ей передаётся зашифрованное сообщение.
Она может выдать два специальных идентификатора ключа:
SYMKEY
Сообщение зашифровано симметричным ключом.
ANYKEY
Сообщение зашифровано открытом ключом, но идентификатор ключа был удалён. Это означает, что вам надо будет перепробовать ключи, чтобы подобрать подходящий. Сама библиотека
pgcrypto
не генерирует такие сообщения.
Заметьте, что разные ключи могут иметь одинаковый идентификатор. Это редкое, но не невероятное явление. В таком случае клиентское приложение должно пытаться расшифровать данные с каждым ключом, пока не найдёт подходящий — примерно так же, как и с ANYKEY
.
F.37.3.6. armor()
, dearmor()
armor(data bytea [ , keys text[], values text[] ]) returns text dearmor(data text) returns bytea
Эти функции переводят двоичные данные в/из формата PGP «ASCII Armor», по сути представляющий собой кодировку Base64 с контрольными суммами и дополнительным форматированием.
Если задаются массивы keys
и values
, для каждой пары ключ/значения в формат Armor добавляется заголовок Armor. Оба массива должны быть одномерными и иметь одинаковую длину. Задаваемые ключи и значения могут содержать только символы ASCII.
F.37.3.7. pgp_armor_headers
pgp_armor_headers(data text, key out text, value out text) returns setof record
Функция pgp_armor_headers()
извлекает заголовки Armor из параметра data
. Она возвращает набор строк с двумя столбцами, key и value. Если в ключах или значениях оказываются символы не ASCII, они воспринимаются как UTF-8.
F.37.3.8. Параметры функций PGP
Имена параметров подобны принятым в GnuPG. Значение параметра должно задаваться после знака равно; друг от друга параметры отделяются запятыми. Например:
pgp_sym_encrypt(data, psw, 'compress-algo=1, cipher-algo=aes256')
Все эти параметры, кроме convert-crlf
, применяются только к функциям шифрования. Функции расшифровывания получают параметры из данных PGP.
Вероятно, самые интересные параметры — это compress-algo
и unicode-mode
. Остальные должны иметь достаточно адекватные значения по умолчанию.
F.37.3.8.1. cipher-algo
Выбирает алгоритм шифрования.
Значения: bf, aes128, aes192, aes256 (только OpenSSL: 3des
, cast5
)
По умолчанию: aes128
Применим к: pgp_sym_encrypt, pgp_pub_encrypt
F.37.3.8.2. compress-algo
Выбирает алгоритм сжатия. Принимается, только если Postgres Pro собран с zlib.
Значения:
0 — без сжатия
1 — сжатие ZIP
2 — сжатие ZLIB (= ZIP плюс метаданные и CRC блоков)
По умолчанию: 0
Применим к: pgp_sym_encrypt, pgp_pub_encrypt
F.37.3.8.3. compress-level
Определяет уровень сжатия. Чем больше уровень, тем меньшего объёма результат, но длительнее процесс. Значение 0 отключает сжатие.
Значения: 0, 1-9
По умолчанию: 6
Применим к: pgp_sym_encrypt, pgp_pub_encrypt
F.37.3.8.4. convert-crlf
Определяет, преобразовывать ли \n
в \r\n
при шифровании и \r\n
в \n
при дешифровании. В RFC 4880 требуется, чтобы текстовые данные хранились с переводами строк в виде \r\n
. Воспользуйтесь этим параметром, чтобы поведение полностью соответствовало RFC.
Значения: 0, 1
По умолчанию: 0
Применим к: pgp_sym_encrypt, pgp_pub_encrypt, pgp_sym_decrypt, pgp_pub_decrypt
F.37.3.8.5. disable-mdc
Не защищать данные хешем SHA-1. Единственная разумная причина использовать этот параметр — добиться совместимости с древними программами PGP, вышедшими до того, как в RFC 4880 была предусмотрена защита пакетов с SHA-1. Все последние реализации с gnupg.org и pgp.com прекрасно поддерживают это.
Значения: 0, 1
По умолчанию: 0
Применим к: pgp_sym_encrypt, pgp_pub_encrypt
F.37.3.8.6. sess-key
Использовать отдельный сеансовый ключ. Для шифрования с открытым ключом всегда используется отдельный сеансовый ключ; этот параметр предназначен для шифрования с симметричным ключом, которое по умолчанию использует непосредственно ключ S2K.
Значения: 0, 1
По умолчанию: 0
Применим к: pgp_sym_encrypt
F.37.3.8.7. s2k-mode
Режим алгоритма S2K.
Значения:
0 — Без соли. Опасно!
1 — С солью, но с фиксированным числом итераций.
3 — С переменным числом итераций.
По умолчанию: 3
Применим к: pgp_sym_encrypt
F.37.3.8.8. s2k-count
Число итераций для алгоритма S2K. Оно должно быть не меньше 1024 и не больше 65011712.
По умолчанию: случайное значение между 65536 и 253952
Применим к: pgp_sym_encrypt, только с s2k-mode=3
F.37.3.8.9. s2k-digest-algo
Выбирает алгоритм хеширования, который будет использоваться для вычисления S2K.
Значения: md5, sha1
По умолчанию: sha1
Применим к: pgp_sym_encrypt
F.37.3.8.10. s2k-cipher-algo
Выбирает шифр, который будет использоваться для шифрования отдельного сеансового ключа.
Значения: bf, aes, aes128, aes192, aes256
По умолчанию: используется cipher-algo
Применим к: pgp_sym_encrypt
F.37.3.8.11. unicode-mode
Определяет, преобразовывать ли текстовые данные из внутренней кодировки базы данных в UTF-8 и обратно. Если кодировка базы уже UTF-8, перекодировка не производится, но сообщение помечается как UTF-8. Без данного параметра этого не происходит.
Значения: 0, 1
По умолчанию: 0
Применим к: pgp_sym_encrypt, pgp_pub_encrypt
F.37.3.9. Формирование ключей PGP с применением GnuPG
Формирование нового ключа:
gpg --gen-key
Предпочитаемый тип ключей: «DSA and Elgamal».
Для шифрования RSA вы должны создать главный ключ либо DSA, либо RSA только для подписания, а затем добавить подключ для шифрования, выполнив команду gpg --edit-key
.
Просмотр списка ключей:
gpg --list-secret-keys
Экспорт открытого ключа в формате «ASCII Armor»:
gpg -a --export KEYID > public.key
Экспорт закрытого ключа в формате «ASCII Armor»:
gpg -a --export-secret-keys KEYID > secret.key
Прежде чем передавать эти ключи функциям PGP, вы должны применить функцию dearmor()
к этим ключам. Либо, если вы можете обработать двоичные данные, уберите -a
из команды.
Дополнительную информацию вы можете получить в руководстве man gpg
, The GNU Privacy Handbook (Руководство GNU по обеспечению конфиденциальности) и другой документации на сайте https://www.gnupg.org/.
F.37.3.10. Ограничения кода PGP
Не поддерживается подписывание. Это также означает, что принадлежность подключа шифрования главному ключу не проверяется.
Не поддерживается использование ключа шифрования в качестве главного ключа. Так как подобная практика обычно не приветствуется, это не должно быть проблемой.
Нет поддержки нескольких подключей. Это может представляться проблемой, так как такие ключи не редкость. С другой стороны, вы всё равно не должны использовать обычные ключи GPG/PGP с
pgcrypto
, а должны создать новые, учитывая, что это другой сценарий использования.
F.37.4. Низкоуровневые функции шифрования
Эти функции выполняют только шифрование данных; они не предоставляют расширенные возможности шифрования PGP. Таким образом, с ними связаны следующие проблемы:
Они используют ключ пользователя непосредственно в качестве ключа шифрования.
Они не обеспечивают проверку целостности, которая должна выявлять модификацию зашифрованных данных.
Они рассчитаны на то, что пользователи будут управлять всеми параметрами шифрования самостоятельно, даже вектором инициализации.
Они не рассчитаны на текст.
Поэтому с появлением поддержки шифрования PGP использовать низкоуровневые функции шифрования не рекомендуется.
encrypt(data bytea, key bytea, type text) returns bytea decrypt(data bytea, key bytea, type text) returns bytea encrypt_iv(data bytea, key bytea, iv bytea, type text) returns bytea decrypt_iv(data bytea, key bytea, iv bytea, type text) returns bytea
Эти функции зашифровывают/расшифровывают данные, применяя метод шифрования, заданный параметром type
. Строка type
имеет следующий формат:
алгоритм
[-
режим
] [/pad:
дозаполнение
]
где допустимый алгоритм
:
bf
— Blowfishaes
— AES (Rijndael-128, -192 или -256)
допустимый режим
:
cbc
— следующий блок зависит от предыдущего (по умолчанию)ecb
— каждый блок шифруется отдельно (только для тестирования)
и допустимое дозаполнение
:
pkcs
— данные могут быть любой длины (по умолчанию)none
— размер данных должен быть кратен размеру блока шифра
Так что, например, эти вызовы равнозначны:
encrypt(data, 'fooz', 'bf') encrypt(data, 'fooz', 'bf-cbc/pad:pkcs')
Для функций encrypt_iv
и decrypt_iv
параметр iv
задаёт начальное значение для режима CBC; для ECB он игнорируется. Оно обрезается или дополняется нулями, если его размер не равен ровно размеру блока. В функциях без этого параметра оно по умолчанию заполняется нулями.
F.37.5. Функции получения случайных данных
gen_random_bytes(count integer) returns bytea
Возвращает криптографически стойкие случайные байты в количестве count
. За один вызов можно получить максимум 1024 байт. Это ограничение предотвращает исчерпание пула энтропии.
gen_random_uuid() returns uuid
Возвращает UUID версии 4 (случайный). (Эта функция в данном модуле считается устаревшей, она вызывает одноимённую функцию ядра.)
F.37.6. Примечания
F.37.6.1. Конфигурирование
Модуль pgcrypto
настраивается согласно установкам, полученным в главном скрипте configure
Postgres Pro. На его конфигурацию влияют аргументы --with-zlib
и --with-ssl=openssl
.
При компиляции с zlib шифрующие функции PGP могут сжимать данные перед шифрованием.
При компиляции с OpenSSL будут доступны дополнительные алгоритмы. Кроме того, функции шифрования с открытым ключом будут быстрее, так как OpenSSL содержит оптимизированные функции для работы с большими числами (BIGNUM).
Таблица F.30. Обзор функциональности с и без OpenSSL
Функциональность | Встроенная | С OpenSSL |
---|---|---|
MD5 | да | да |
SHA1 | да | да |
SHA224/256/384/512 | да | да |
Другие алгоритмы хеширования | нет | да (Примечание 1) |
Blowfish | да | да |
AES | да | да |
DES/3DES/CAST5 | нет | да |
Низкоуровневое шифрование | да | да |
Симметричное шифрование PGP | да | да |
Шифрование PGP с открытым ключом | да | да |
Чтобы использовать устаревшие алгоритмы шифрования, такие как DES или Blowfish, при компиляции с OpenSSL версии 3.0.0 и выше, нужно активировать поставщиков этих алгоритмов в файле конфигурации openssl.cnf
.
Замечания:
Автоматически выбирается любой алгоритм хеширования, который поддерживает OpenSSL. Это невозможно с шифрами, они должны поддерживаться явно.
F.37.6.2. Обработка NULL
Как и положено по стандарту SQL, все эти функции возвращают NULL, если один из аргументов — NULL. Это может угрожать безопасности при неаккуратном использовании.
F.37.6.3. Ограничения безопасности
Все функции pgcrypto
выполняются внутри сервера баз данных. Это означает, что все данные и пароли передаются между функциями pgcrypto
и клиентскими приложениями открытым текстом. Поэтому вы должны:
Подключаться локально или использовать подключения SSL.
Доверять и системе, и администратору баз данных.
Если это невозможно, лучше произвести шифрование в клиентском приложении.
Эта реализация не противостоит атакам по сторонним каналам. Например, время, требующееся для выполнения функции дешифрования pgcrypto
, будет разным для разного шифротекста заданного размера.
F.37.7. Автор
Марко Крин <markokr@gmail.com>
Модуль pgcrypto
заимствует код из следующих источников:
Алгоритм | Автор | Источник исходного кода |
---|---|---|
Шифрование DES | Дэвид Буррен и другие | FreeBSD, libcrypt |
Хеширование MD5 | Пол-Хеннинг Камп | FreeBSD, libcrypt |
Шифрование Blowfish | Solar Designer | www.openwall.com |
Шифр Blowfish | Саймон Тэтем | PuTTY |
Шифр Rijndael | Брайан Глэдмен | OpenBSD, sys/crypto |
Хеш MD5 и SHA1 | Проект WIDE | KAME, kame/sys/crypto |
SHA256/384/512 | Аарон Д. Гиффорд | OpenBSD, sys/crypto |
Математика BIGNUM | Майкл Дж. Фромбергер | dartmouth.edu/~sting/sw/imath |
F.37. pgcrypto
The pgcrypto
module provides cryptographic functions for Postgres Pro.
This module is considered “trusted”, that is, it can be installed by non-superusers who have CREATE
privilege on the current database.
F.37.1. General Hashing Functions
F.37.1.1. digest()
digest(data text, type text) returns bytea digest(data bytea, type text) returns bytea
Computes a binary hash of the given data
. type
is the algorithm to use. Standard algorithms are md5
, sha1
, sha224
, sha256
, sha384
and sha512
. If pgcrypto
was built with OpenSSL, more algorithms are available, as detailed in Table F.30.
If you want the digest as a hexadecimal string, use encode()
on the result. For example:
CREATE OR REPLACE FUNCTION sha1(bytea) returns text AS $$ SELECT encode(digest($1, 'sha1'), 'hex') $$ LANGUAGE SQL STRICT IMMUTABLE;
F.37.1.2. hmac()
hmac(data text, key text, type text) returns bytea hmac(data bytea, key bytea, type text) returns bytea
Calculates hashed MAC for data
with key key
. type
is the same as in digest()
.
This is similar to digest()
but the hash can only be recalculated knowing the key. This prevents the scenario of someone altering data and also changing the hash to match.
If the key is larger than the hash block size it will first be hashed and the result will be used as key.
F.37.2. Password Hashing Functions
The functions crypt()
and gen_salt()
are specifically designed for hashing passwords. crypt()
does the hashing and gen_salt()
prepares algorithm parameters for it.
The algorithms in crypt()
differ from the usual MD5 or SHA1 hashing algorithms in the following respects:
They are slow. As the amount of data is so small, this is the only way to make brute-forcing passwords hard.
They use a random value, called the salt, so that users having the same password will have different encrypted passwords. This is also an additional defense against reversing the algorithm.
They include the algorithm type in the result, so passwords hashed with different algorithms can co-exist.
Some of them are adaptive — that means when computers get faster, you can tune the algorithm to be slower, without introducing incompatibility with existing passwords.
Table F.27 lists the algorithms supported by the crypt()
function.
Table F.27. Supported Algorithms for crypt()
Algorithm | Max Password Length | Adaptive? | Salt Bits | Output Length | Description |
---|---|---|---|---|---|
bf | 72 | yes | 128 | 60 | Blowfish-based, variant 2a |
md5 | unlimited | no | 48 | 34 | MD5-based crypt |
xdes | 8 | yes | 24 | 20 | Extended DES |
des | 8 | no | 12 | 13 | Original UNIX crypt |
F.37.2.1. crypt()
crypt(password text, salt text) returns text
Calculates a crypt(3)-style hash of password
. When storing a new password, you need to use gen_salt()
to generate a new salt
value. To check a password, pass the stored hash value as salt
, and test whether the result matches the stored value.
Example of setting a new password:
UPDATE ... SET pswhash = crypt('new password', gen_salt('md5'));
Example of authentication:
SELECT (pswhash = crypt('entered password', pswhash)) AS pswmatch FROM ... ;
This returns true
if the entered password is correct.
F.37.2.2. gen_salt()
gen_salt(type text [, iter_count integer ]) returns text
Generates a new random salt string for use in crypt()
. The salt string also tells crypt()
which algorithm to use.
The type
parameter specifies the hashing algorithm. The accepted types are: des
, xdes
, md5
and bf
.
The iter_count
parameter lets the user specify the iteration count, for algorithms that have one. The higher the count, the more time it takes to hash the password and therefore the more time to break it. Although with too high a count the time to calculate a hash may be several years — which is somewhat impractical. If the iter_count
parameter is omitted, the default iteration count is used. Allowed values for iter_count
depend on the algorithm and are shown in Table F.28.
Table F.28. Iteration Counts for crypt()
Algorithm | Default | Min | Max |
---|---|---|---|
xdes | 725 | 1 | 16777215 |
bf | 6 | 4 | 31 |
For xdes
there is an additional limitation that the iteration count must be an odd number.
To pick an appropriate iteration count, consider that the original DES crypt was designed to have the speed of 4 hashes per second on the hardware of that time. Slower than 4 hashes per second would probably dampen usability. Faster than 100 hashes per second is probably too fast.
Table F.29 gives an overview of the relative slowness of different hashing algorithms. The table shows how much time it would take to try all combinations of characters in an 8-character password, assuming that the password contains either only lower case letters, or upper- and lower-case letters and numbers. In the crypt-bf
entries, the number after a slash is the iter_count
parameter of gen_salt
.
Table F.29. Hash Algorithm Speeds
Algorithm | Hashes/sec | For [a-z] | For [A-Za-z0-9] | Duration relative to md5 hash |
---|---|---|---|---|
crypt-bf/8 | 1792 | 4 years | 3927 years | 100k |
crypt-bf/7 | 3648 | 2 years | 1929 years | 50k |
crypt-bf/6 | 7168 | 1 year | 982 years | 25k |
crypt-bf/5 | 13504 | 188 days | 521 years | 12.5k |
crypt-md5 | 171584 | 15 days | 41 years | 1k |
crypt-des | 23221568 | 157.5 minutes | 108 days | 7 |
sha1 | 37774272 | 90 minutes | 68 days | 4 |
md5 (hash) | 150085504 | 22.5 minutes | 17 days | 1 |
Notes:
The machine used is an Intel Mobile Core i3.
crypt-des
andcrypt-md5
algorithm numbers are taken from John the Ripper v1.6.38-test
output.md5 hash
numbers are from mdcrack 1.2.sha1
numbers are from lcrack-20031130-beta.crypt-bf
numbers are taken using a simple program that loops over 1000 8-character passwords. That way I can show the speed with different numbers of iterations. For reference:john -test
shows 13506 loops/sec forcrypt-bf/5
. (The very small difference in results is in accordance with the fact that thecrypt-bf
implementation inpgcrypto
is the same one used in John the Ripper.)
Note that “try all combinations” is not a realistic exercise. Usually password cracking is done with the help of dictionaries, which contain both regular words and various mutations of them. So, even somewhat word-like passwords could be cracked much faster than the above numbers suggest, while a 6-character non-word-like password may escape cracking. Or not.
F.37.3. PGP Encryption Functions
The functions here implement the encryption part of the OpenPGP (RFC 4880) standard. Supported are both symmetric-key and public-key encryption.
An encrypted PGP message consists of 2 parts, or packets:
Packet containing a session key — either symmetric-key or public-key encrypted.
Packet containing data encrypted with the session key.
When encrypting with a symmetric key (i.e., a password):
The given password is hashed using a String2Key (S2K) algorithm. This is rather similar to
crypt()
algorithms — purposefully slow and with random salt — but it produces a full-length binary key.If a separate session key is requested, a new random key will be generated. Otherwise the S2K key will be used directly as the session key.
If the S2K key is to be used directly, then only S2K settings will be put into the session key packet. Otherwise the session key will be encrypted with the S2K key and put into the session key packet.
When encrypting with a public key:
A new random session key is generated.
It is encrypted using the public key and put into the session key packet.
In either case the data to be encrypted is processed as follows:
Optional data-manipulation: compression, conversion to UTF-8, and/or conversion of line-endings.
The data is prefixed with a block of random bytes. This is equivalent to using a random IV.
A SHA1 hash of the random prefix and data is appended.
All this is encrypted with the session key and placed in the data packet.
F.37.3.1. pgp_sym_encrypt()
pgp_sym_encrypt(data text, psw text [, options text ]) returns bytea pgp_sym_encrypt_bytea(data bytea, psw text [, options text ]) returns bytea
Encrypt data
with a symmetric PGP key psw
. The options
parameter can contain option settings, as described below.
F.37.3.2. pgp_sym_decrypt()
pgp_sym_decrypt(msg bytea, psw text [, options text ]) returns text pgp_sym_decrypt_bytea(msg bytea, psw text [, options text ]) returns bytea
Decrypt a symmetric-key-encrypted PGP message.
Decrypting bytea
data with pgp_sym_decrypt
is disallowed. This is to avoid outputting invalid character data. Decrypting originally textual data with pgp_sym_decrypt_bytea
is fine.
The options
parameter can contain option settings, as described below.
F.37.3.3. pgp_pub_encrypt()
pgp_pub_encrypt(data text, key bytea [, options text ]) returns bytea pgp_pub_encrypt_bytea(data bytea, key bytea [, options text ]) returns bytea
Encrypt data
with a public PGP key key
. Giving this function a secret key will produce an error.
The options
parameter can contain option settings, as described below.
F.37.3.4. pgp_pub_decrypt()
pgp_pub_decrypt(msg bytea, key bytea [, psw text [, options text ]]) returns text pgp_pub_decrypt_bytea(msg bytea, key bytea [, psw text [, options text ]]) returns bytea
Decrypt a public-key-encrypted message. key
must be the secret key corresponding to the public key that was used to encrypt. If the secret key is password-protected, you must give the password in psw
. If there is no password, but you want to specify options, you need to give an empty password.
Decrypting bytea
data with pgp_pub_decrypt
is disallowed. This is to avoid outputting invalid character data. Decrypting originally textual data with pgp_pub_decrypt_bytea
is fine.
The options
parameter can contain option settings, as described below.
F.37.3.5. pgp_key_id()
pgp_key_id(bytea) returns text
pgp_key_id
extracts the key ID of a PGP public or secret key. Or it gives the key ID that was used for encrypting the data, if given an encrypted message.
It can return 2 special key IDs:
SYMKEY
The message is encrypted with a symmetric key.
ANYKEY
The message is public-key encrypted, but the key ID has been removed. That means you will need to try all your secret keys on it to see which one decrypts it.
pgcrypto
itself does not produce such messages.
Note that different keys may have the same ID. This is rare but a normal event. The client application should then try to decrypt with each one, to see which fits — like handling ANYKEY
.
F.37.3.6. armor()
, dearmor()
armor(data bytea [ , keys text[], values text[] ]) returns text dearmor(data text) returns bytea
These functions wrap/unwrap binary data into PGP ASCII-armor format, which is basically Base64 with CRC and additional formatting.
If the keys
and values
arrays are specified, an armor header is added to the armored format for each key/value pair. Both arrays must be single-dimensional, and they must be of the same length. The keys and values cannot contain any non-ASCII characters.
F.37.3.7. pgp_armor_headers
pgp_armor_headers(data text, key out text, value out text) returns setof record
pgp_armor_headers()
extracts the armor headers from data
. The return value is a set of rows with two columns, key and value. If the keys or values contain any non-ASCII characters, they are treated as UTF-8.
F.37.3.8. Options for PGP Functions
Options are named to be similar to GnuPG. An option's value should be given after an equal sign; separate options from each other with commas. For example:
pgp_sym_encrypt(data, psw, 'compress-algo=1, cipher-algo=aes256')
All of the options except convert-crlf
apply only to encrypt functions. Decrypt functions get the parameters from the PGP data.
The most interesting options are probably compress-algo
and unicode-mode
. The rest should have reasonable defaults.
F.37.3.8.1. cipher-algo
Which cipher algorithm to use.
Values: bf, aes128, aes192, aes256 (OpenSSL-only: 3des
, cast5
)
Default: aes128
Applies to: pgp_sym_encrypt, pgp_pub_encrypt
F.37.3.8.2. compress-algo
Which compression algorithm to use. Only available if Postgres Pro was built with zlib.
Values:
0 - no compression
1 - ZIP compression
2 - ZLIB compression (= ZIP plus meta-data and block CRCs)
Default: 0
Applies to: pgp_sym_encrypt, pgp_pub_encrypt
F.37.3.8.3. compress-level
How much to compress. Higher levels compress smaller but are slower. 0 disables compression.
Values: 0, 1-9
Default: 6
Applies to: pgp_sym_encrypt, pgp_pub_encrypt
F.37.3.8.4. convert-crlf
Whether to convert \n
into \r\n
when encrypting and \r\n
to \n
when decrypting. RFC 4880 specifies that text data should be stored using \r\n
line-feeds. Use this to get fully RFC-compliant behavior.
Values: 0, 1
Default: 0
Applies to: pgp_sym_encrypt, pgp_pub_encrypt, pgp_sym_decrypt, pgp_pub_decrypt
F.37.3.8.5. disable-mdc
Do not protect data with SHA-1. The only good reason to use this option is to achieve compatibility with ancient PGP products, predating the addition of SHA-1 protected packets to RFC 4880. Recent gnupg.org and pgp.com software supports it fine.
Values: 0, 1
Default: 0
Applies to: pgp_sym_encrypt, pgp_pub_encrypt
F.37.3.8.6. sess-key
Use separate session key. Public-key encryption always uses a separate session key; this option is for symmetric-key encryption, which by default uses the S2K key directly.
Values: 0, 1
Default: 0
Applies to: pgp_sym_encrypt
F.37.3.8.7. s2k-mode
Which S2K algorithm to use.
Values:
0 - Without salt. Dangerous!
1 - With salt but with fixed iteration count.
3 - Variable iteration count.
Default: 3
Applies to: pgp_sym_encrypt
F.37.3.8.8. s2k-count
The number of iterations of the S2K algorithm to use. It must be a value between 1024 and 65011712, inclusive.
Default: A random value between 65536 and 253952
Applies to: pgp_sym_encrypt, only with s2k-mode=3
F.37.3.8.9. s2k-digest-algo
Which digest algorithm to use in S2K calculation.
Values: md5, sha1
Default: sha1
Applies to: pgp_sym_encrypt
F.37.3.8.10. s2k-cipher-algo
Which cipher to use for encrypting separate session key.
Values: bf, aes, aes128, aes192, aes256
Default: use cipher-algo
Applies to: pgp_sym_encrypt
F.37.3.8.11. unicode-mode
Whether to convert textual data from database internal encoding to UTF-8 and back. If your database already is UTF-8, no conversion will be done, but the message will be tagged as UTF-8. Without this option it will not be.
Values: 0, 1
Default: 0
Applies to: pgp_sym_encrypt, pgp_pub_encrypt
F.37.3.9. Generating PGP Keys with GnuPG
To generate a new key:
gpg --gen-key
The preferred key type is “DSA and Elgamal”.
For RSA encryption you must create either DSA or RSA sign-only key as master and then add an RSA encryption subkey with gpg --edit-key
.
To list keys:
gpg --list-secret-keys
To export a public key in ASCII-armor format:
gpg -a --export KEYID > public.key
To export a secret key in ASCII-armor format:
gpg -a --export-secret-keys KEYID > secret.key
You need to use dearmor()
on these keys before giving them to the PGP functions. Or if you can handle binary data, you can drop -a
from the command.
For more details see man gpg
, The GNU Privacy Handbook and other documentation on https://www.gnupg.org/.
F.37.3.10. Limitations of PGP Code
No support for signing. That also means that it is not checked whether the encryption subkey belongs to the master key.
No support for encryption key as master key. As such practice is generally discouraged, this should not be a problem.
No support for several subkeys. This may seem like a problem, as this is common practice. On the other hand, you should not use your regular GPG/PGP keys with
pgcrypto
, but create new ones, as the usage scenario is rather different.
F.37.4. Raw Encryption Functions
These functions only run a cipher over data; they don't have any advanced features of PGP encryption. Therefore they have some major problems:
They use user key directly as cipher key.
They don't provide any integrity checking, to see if the encrypted data was modified.
They expect that users manage all encryption parameters themselves, even IV.
They don't handle text.
So, with the introduction of PGP encryption, usage of raw encryption functions is discouraged.
encrypt(data bytea, key bytea, type text) returns bytea decrypt(data bytea, key bytea, type text) returns bytea encrypt_iv(data bytea, key bytea, iv bytea, type text) returns bytea decrypt_iv(data bytea, key bytea, iv bytea, type text) returns bytea
Encrypt/decrypt data using the cipher method specified by type
. The syntax of the type
string is:
algorithm
[-
mode
] [/pad:
padding
]
where algorithm
is one of:
bf
— Blowfishaes
— AES (Rijndael-128, -192 or -256)
and mode
is one of:
cbc
— next block depends on previous (default)ecb
— each block is encrypted separately (for testing only)
and padding
is one of:
pkcs
— data may be any length (default)none
— data must be multiple of cipher block size
So, for example, these are equivalent:
encrypt(data, 'fooz', 'bf') encrypt(data, 'fooz', 'bf-cbc/pad:pkcs')
In encrypt_iv
and decrypt_iv
, the iv
parameter is the initial value for the CBC mode; it is ignored for ECB. It is clipped or padded with zeroes if not exactly block size. It defaults to all zeroes in the functions without this parameter.
F.37.5. Random-Data Functions
gen_random_bytes(count integer) returns bytea
Returns count
cryptographically strong random bytes. At most 1024 bytes can be extracted at a time. This is to avoid draining the randomness generator pool.
gen_random_uuid() returns uuid
Returns a version 4 (random) UUID. (Obsolete, this function internally calls the core function of the same name.)
F.37.6. Notes
F.37.6.1. Configuration
pgcrypto
configures itself according to the findings of the main Postgres Pro configure
script. The options that affect it are --with-zlib
and --with-ssl=openssl
.
When compiled with zlib, PGP encryption functions are able to compress data before encrypting.
When compiled with OpenSSL, there will be more algorithms available. Also public-key encryption functions will be faster as OpenSSL has more optimized BIGNUM functions.
Table F.30. Summary of Functionality with and without OpenSSL
Functionality | Built-in | With OpenSSL |
---|---|---|
MD5 | yes | yes |
SHA1 | yes | yes |
SHA224/256/384/512 | yes | yes |
Other digest algorithms | no | yes (Note 1) |
Blowfish | yes | yes |
AES | yes | yes |
DES/3DES/CAST5 | no | yes |
Raw encryption | yes | yes |
PGP Symmetric encryption | yes | yes |
PGP Public-Key encryption | yes | yes |
When compiled against OpenSSL 3.0.0 and later versions, the legacy provider must be activated in the openssl.cnf
configuration file in order to use older ciphers like DES or Blowfish.
Notes:
Any digest algorithm OpenSSL supports is automatically picked up. This is not possible with ciphers, which need to be supported explicitly.
F.37.6.2. NULL Handling
As is standard in SQL, all functions return NULL, if any of the arguments are NULL. This may create security risks on careless usage.
F.37.6.3. Security Limitations
All pgcrypto
functions run inside the database server. That means that all the data and passwords move between pgcrypto
and client applications in clear text. Thus you must:
Connect locally or use SSL connections.
Trust both system and database administrator.
If you cannot, then better do crypto inside client application.
The implementation does not resist side-channel attacks. For example, the time required for a pgcrypto
decryption function to complete varies among ciphertexts of a given size.
F.37.7. Author
Marko Kreen <markokr@gmail.com>
pgcrypto
uses code from the following sources:
Algorithm | Author | Source origin |
---|---|---|
DES crypt | David Burren and others | FreeBSD libcrypt |
MD5 crypt | Poul-Henning Kamp | FreeBSD libcrypt |
Blowfish crypt | Solar Designer | www.openwall.com |
Blowfish cipher | Simon Tatham | PuTTY |
Rijndael cipher | Brian Gladman | OpenBSD sys/crypto |
MD5 hash and SHA1 | WIDE Project | KAME kame/sys/crypto |
SHA256/384/512 | Aaron D. Gifford | OpenBSD sys/crypto |
BIGNUM math | Michael J. Fromberger | dartmouth.edu/~sting/sw/imath |