Postgres Pro Standard в Google Cloud

Руководство по созданию и использованию Postgres Pro Standard в Google Cloud

Для использования БД Postgres Pro 9.6/10/11 в облаке Google Cloud необходимо иметь доступ в Интернет и учетную запись в Google Cloud Platform (GCP).

Для установки используем образ виртуальной машины (VM) Postgres Pro 9.6/10/11, доступный в Google Cloud Marketplace.

Требуемое ПО:

Google Cloud SDK для управления облачными ресурсами в Google Cloud Platform
'psql' или 'Pgadmin' для доступа к БД

Используем кросс-платформенную утилиту 'gcloud' в составе Google Cloud SDK.

Также можно использовать Google Cloud Console https://console.cloud.google.com

Установка Google Cloud SDK описана в https://cloud.google.com/sdk/install

Документация Google Cloud SDK доступна на https://cloud.google.com/sdk/

Подключение к Google Cloud Platform и проверка окружения

Подключаемся к Google Cloud Platform и выполняем конфигурацию окружения с помощью команды:

gcloud init

Проверяем установленную версию 'gcloud' (рекомендуется последняя доступная версия):

gcloud --version

Список географических регионов и зон доступности для размещения VM:

gcloud compute regions list
gcloud compute zones list

gcloud config set compute/region europe-north1
gcloud config set compute/zone europe-north1-a

gcloud compute project-info add-metadata \
--metadata google-compute-default-region=europe-north1,google-compute-default-zone=europe-north1-a

REGION=europe-north1
echo $REGION
ZONE=europe-north1-a
echo $ZONE

Далее будем использовать географический регион ‘europe-north1’ и зону доступности 'europe-north1-a'.

Список доступных типов VM и типов дисков:

gcloud compute machine-types list \
--filter="zone:(europe-north1-a)"

gcloud compute disk-types list \
--filter="zone:(europe-north1-a)"

Далее будем использовать тип VM ‘n1-standard-1’ и тип диска ‘pd-standard’.

Получаем название образов VM Postgres Pro, доступных в Google Cloud Marketplace:

gcloud compute images list | grep -E "(NAME|postgres-pro)"

Далее будем использовать идентификатор образа VM (PROJECT и FAMILY):

PROJECT=postgres-pro
echo $PROJECT

--- Postgres Pro Standard Database 9.6
FAMILY=ppro-std96-centos7
echo $FAMILY
or
--- Postgres Pro Standard Database 10
FAMILY=ppro-std10-centos7
echo $FAMILY
or
--- Postgres Pro Standard Database 11
FAMILY=ppro-std11-centos7
echo $FAMILY

Создание VM

Используем 'auto mode default network':

gcloud compute networks list
gcloud compute routes list
gcloud compute firewall-rules list

В директории ~/.ssh создаем пару private/public ssh-ключей для подключения к VM:

ssh-keygen -t rsa -b 2048

ln -s ~/.ssh/id_rsa ~/.ssh/google_compute_engine
ln -s ~/.ssh/id_rsa.pub ~/.ssh/google_compute_engine.pub

Создаем VM из образа, доступного в Google Cloud Marketplace:

INSTANCE=myvm-std-xx
echo $INSTANCE

gcloud compute instances create $INSTANCE \
--async \
--boot-disk-type=pd-standard \
--image-family=$FAMILY \
--image-project=$PROJECT \
--machine-type=n1-standard-1

Вместо ‘xx’ используем '01', '02', '03' и т.д.

Подключение к VM

Подключаемся к VM с помощью private ssh-ключа, используя public IP-адрес VM ($IpAddress):

gcloud compute instances list

gcloud compute ssh SYSTEM@$INSTANCE
или
IpAddress=$(gcloud compute instances list | grep $INSTANCE | awk '{print $5}')
echo $IpAddress
ssh SYSTEM@$IpAddress

Проверка статуса сервиса БД Postgres Pro

Проверяем статус сервиса БД Postgres Pro:

sudo systemctl -l status postgrespro-9.6.service
или
sudo systemctl -l status postgrespro-std-10.service
или
sudo systemctl -l status postgrespro-std-11.service

Чтобы остановить/стартовать сервис БД Postgres Pro используем команды:

sudo systemctl stop postgrespro-9.6.service
sudo systemctl start postgrespro-9.6.service
или
sudo systemctl stop postgrespro-std-10.service
sudo systemctl start postgrespro-std-10.service
или
sudo systemctl stop postgrespro-std-11.service
sudo systemctl start postgrespro-std-11.service

Подключение к БД Postgres Pro

Переключаемся на пользователя ‘postgres’:

sudo su - postgres

Для подключения к БД Postgres Pro используем команду:

psql

Для выхода из ‘psql’ используем команду:

\q

Для возврата в интерфейс 'gcloud' дважды выполняем команду 'exit'

Внешний доступ к VM

При необходимости внешнего подключения к БД Postgres Pro открываем порт 5433:

gcloud compute firewall-rules create ppro-allow-postgres \
--allow=tcp:5433 \
--description="Allow Postgres from anywhere" \
--direction=INGRESS \
--network=default \
--priority=1000

При необходимости внешнего подключения к серверу мониторинга БД открываем порты 80 и 443:

gcloud compute firewall-rules create ppro-allow-http \
--allow=tcp:80 \
--description="Allow HTTP from anywhere" \
--direction=INGRESS \
--network=default \
--priority=1000

gcloud compute firewall-rules create ppro-allow-https \
--allow=tcp:443 \
--description="Allow HTTPS from anywhere" \
--direction=INGRESS \
--network=default \
--priority=1000

Внешнее подключение к БД Postgres Pro

Для внешнего подключения к БД Postgres Pro устанавливаем пароль пользователя 'postgres':

gcloud compute ssh SYSTEM@$INSTANCE

sudo su - postgres
psql -c "alter user postgres with encrypted password 'YOUR_POSTGRES_USER_PASSWORD'"
exit

exit

Для внешнего подключения к БД Postgres Pro с помощью 'psql' используем команду:

psql --host=$IpAddress --port=5433 --username=postgres --dbname=postgres

Для внешнего подключения к БД Postgres Pro с помощью 'Pgadmin' при конфигурации сервера в меню ‘Pgadmin’ используем следующие параметры:
- ‘mydb-xx’ для ‘Name'
- ‘$IpAddress’ для ‘Host’
- '5433' для ‘Port’
- ‘postgres’ для ‘Maintenance DB’
- ‘postgres’ для ‘Username’

Вместо ‘xx’ используем '01', '02', '03' и т.д.

Вместо ‘$IpAddress’ используем public IP-адрес VM.

Внешнее подключение к серверу мониторинга БД

Для подключения к серверу мониторинга БД устанавливаем пароль пользователя 'Admin':

gcloud compute ssh SYSTEM@$INSTANCE

sudo su - postgres
source .pgsql_profile
psql --dbname=zabbix --username=zabbix -c "update users set passwd=md5('YOUR_ZABBIX_ADMIN_PASSWORD') where alias='Admin'"
exit

exit

Внешнее подключение к серверу мониторинга БД по ссылке:

https://$IpAddress/zabbix

Вместо ‘$IpAddress’ используем public IP-адрес VM.

Изменение конфигурации VM

Рассмотрим варианты изменения конфигурации VM:

1) Необходимо изменить тип VM с ‘n1-standard-1’ на ‘n1-standard-2’ для увеличения вычислительной мощности VM

Для автоматического изменения значений параметров БД Postgres Pro перед увеличением размера VM нужно удалить файл $PGDATA/postgresql.tune.lock:

gcloud compute ssh SYSTEM@$INSTANCE

sudo su - postgres
cp $PGDATA/postgresql.auto.conf $PGDATA/postgresql.auto.conf.ORIG
rm $PGDATA/postgresql.tune.lock
exit

exit

Получаем список доступных типов VM:

gcloud compute machine-types list \
--filter="zone:(europe-north1-a)"

Чтобы изменить тип VM, выполняем:

gcloud compute instances stop $INSTANCE

InstanceType=n1-standard-2
echo $InstanceType

gcloud compute instances set-machine-type $INSTANCE \
--machine-type $InstanceType

gcloud compute instances start $INSTANCE

2) Необходимо увеличить размер ОС-диска, например, до 80 ГБ

Получаем информацию об ОС-диске:

gcloud compute disks list | grep -E "(NAME|$INSTANCE)"

Временно останавливаем VM:

gcloud compute instances stop $INSTANCE

Увеличиваем размер ОС-диска:

echo "y" | gcloud compute disks resize $INSTANCE \
--size=80GB \
--zone=$ZONE

Проверяем обновленную информацию об ОС-диске:

gcloud compute disks list | grep -E "(NAME|$INSTANCE)"

Стартуем VM:

gcloud compute instances start $INSTANCE

Подключаемся к VM:

gcloud compute ssh SYSTEM@$INSTANCE

Увеличиваем размер раздела файловой системы ‘/’:

(echo d; echo n; echo p; echo 1; echo ; echo ; echo w) | sudo fdisk /dev/sda

Выполняем перезагрузку VM:

sudo reboot

Подключаемся к VM:

gcloud compute ssh SYSTEM@$INSTANCE

Увеличиваем размер файловой системы ‘/’:

sudo xfs_growfs -d /dev/sda1

Выполняем перезагрузку VM:

sudo reboot

3) Необходимо использовать выделенный диск для хранения файлов БД Postgres Pro, например, с целью повышения производительности

Создаем новый диск размером 200 ГБ и подключаем его к VM:

gcloud compute disks create $INSTANCE-datadisk \
--size=200GB \
--type=pd-standard \
--zone=$ZONE

gcloud compute instances attach-disk $INSTANCE \
--disk $INSTANCE-datadisk

Подключаемся к VM:

gcloud compute ssh SYSTEM@$INSTANCE

Останавливаем сервис БД Postgres Pro и проверяем его статус:

sudo systemctl stop postgrespro-9.6.service
sudo systemctl -l status postgrespro-9.6.service
или
sudo systemctl stop postgrespro-std-10.service
sudo systemctl -l status postgrespro-std-10.service
или
sudo systemctl stop postgrespro-std-11.service
sudo systemctl -l status postgrespro-std-11.service

Создаем точку монтирования новой файловой системы:

sudo mkdir /PGDATA

С помощью утилиты 'fdisk' определяем имя устройства, назначенного новому диску (в нашем случае это /dev/sdb):

sudo fdisk -l

На этом диске создаем один раздел максимального размера, на разделе создаем файловую систему:

(echo n; echo p; echo 1; echo ; echo ; echo w) | sudo fdisk /dev/sdb
sudo mkfs -t ext4 /dev/sdb1

Для файловой системы раздела выделенного диска создаем запись в файле /etc/fstab и монтируем файловую систему:

sudo sh -c "echo '`sudo blkid -o export /dev/sdb1 | grep UUID` /PGDATA ext4 defaults,nofail,barrier=0 1 2' >> /etc/fstab"
sudo mount /PGDATA

Создаем директорию 'data' на новой файловой системе и устанавливаем для нее необходимые разрешения:

sudo mkdir /PGDATA/data
sudo chown postgres:postgres /PGDATA/data
sudo chmod 0700 /PGDATA/data

Переключаемся на пользователя ‘postgres’ и переносим файлы БД Postgres Pro на новую файловую систему:

sudo su - postgres
mv /var/lib/pgpro/9.6/data/* /PGDATA/data; rmdir /var/lib/pgpro/9.6/data; ln -s /PGDATA/data /var/lib/pgpro/9.6/data
или
mv /var/lib/pgpro/std-10/data/* /PGDATA/data; rmdir /var/lib/pgpro/std-10/data; ln -s /PGDATA/data /var/lib/pgpro/std-10/data
или
mv /var/lib/pgpro/std-11/data/* /PGDATA/data; rmdir /var/lib/pgpro/std-11/data; ln -s /PGDATA/data /var/lib/pgpro/std-11/data
exit

Стартуем сервис БД Postgres Pro и проверяем его статус:

sudo systemctl start postgrespro-9.6.service
sudo systemctl -l status postgrespro-9.6.service
или
sudo systemctl start postgrespro-std-10.service
sudo systemctl -l status postgrespro-std-10.service
или
sudo systemctl start postgrespro-std-11.service
sudo systemctl -l status postgrespro-std-11.service

Выполняем перезагрузку VM, проверяем автоматическое монтирование файловой системы и статус сервиса БД Postgres Pro:

sudo reboot

gcloud compute ssh SYSTEM@$INSTANCE

sudo mount | grep /PGDATA
sudo df -h /PGDATA

sudo systemctl -l status postgrespro-9.6.service
или
sudo systemctl -l status postgrespro-std-10.service
или
sudo systemctl -l status postgrespro-std-11.service

Вместо ‘xx’ используем '01', '02', '03' и т.д.

4) Автоматический перезапуск сервиса базы данных в случае аварии

Добавляем настройку автоматического перезапуска сервиса базы данных в конфигурационном файле systemd и перезапускаем сервис базы данных:

sudo sed -i '/KillSignal=/a Restart=on-failure' /usr/lib/systemd/system/postgrespro-9.6.service
sudo systemctl daemon-reload
sudo systemctl restart postgrespro-9.6.service
sudo systemctl -l status postgrespro-9.6.service
или
sudo sed -i '/KillSignal=/a Restart=on-failure' /usr/lib/systemd/system/postgrespro-std-10.service
sudo systemctl daemon-reload
sudo systemctl restart postgrespro-std-10.service
sudo systemctl -l status postgrespro-std-10.service
или
sudo sed -i '/KillSignal=/a Restart=on-failure' /usr/lib/systemd/system/postgrespro-std-11.service
sudo systemctl daemon-reload
sudo systemctl restart postgrespro-std-11.service
sudo systemctl -l status postgrespro-std-11.service