3.8. Интеграция с Postgres Pro Enterprise Manager #

Postgres Pro Enterprise Manager (PPEM) поддерживает интеграцию с pgpro-otel-collector и способен принимать метрики и журналы.

3.8.1. Настройка метрик #

Для отправки метрик в PPEM выполните следующие действия:

  1. Включите и настройте нужные ресиверы метрик (как обычно).

  2. Настройте экспортёр otlp_http:

    1. Укажите URL подключения к PPEM.

    2. Настройте TLS (за подробностями обратитесь к Подразделу 3.6.4).

    3. В заголовке X-Ppem-Source-Agent-Name укажите имя агента, который управляет экземпляром базы данных (см. ppem-agent.yml).

    4. В заголовке X-Ppem-Source-Instance-Port укажите номер порта экземпляра СУБД (см. postgresql.conf).

  3. Настройте конвейер (как обычно).

receivers:
  host_metrics:
    # ...
  postgrespro:
    # ...
exporters:
  otlp_http/ppem_metrics:
    compression: ''
    endpoint: "https://ppem.example.org"
    # tls:
    #   insecure: false
    #   # Требуется для самоподписанных сертификатов (если не указано, используются системные корневые сертификаты)
    #   ca_file: /etc/pgpro-otel-collector/cert.d/ca.crt
    #   # cert_file/key_file: требуется для mTLS
    #   cert_file: /etc/pgpro-otel-collector/cert.d/client.crt
    #   key_file: /etc/pgpro-otel-collector/cert.d/client.key
    #   min_version: "1.3"
    headers:
      X-Ppem-Source-Agent-Name: "dbserver01"
      X-Ppem-Source-Instance-Port: "5432"
service:
  extensions: []
  pipelines:
    metrics:
      receivers:
        - postgrespro
        - host_metrics
      processors:
      exporters:
        - otlp_http/ppem_metrics

Важно указать правильные значения в заголовках HTTP — эти заголовки используются для ассоциации метрик с экземплярами в PPEM.

Примечание

Чтобы избежать чрезмерного потребления ресурсов из-за неиспользуемых метрик, в конфигурации используйте раздел default, как описано в Подразделе 3.2.1.11.

3.8.2. Настройка журналов #

Для отправки журналов в PPEM выполните следующие действия:

  1. Включите и настройте ресиверы file_log с учётом формата журналирования экземпляра СУБД (csvlog или jsonlog).

  2. Включите и настройте процессор attributes/convert с учётом формата журналирования экземпляра СУБД (csvlog или jsonlog).

  3. Настройте экспортёр otlp_http:

    1. Укажите URL подключения к PPEM.

    2. Настройте TLS (за подробностями обратитесь к Подразделу 3.6.4).

    3. В заголовке X-Ppem-Source-Agent-Name укажите имя агента, который управляет экземпляром СУБД (см. ppem-agent.yml).

    4. В заголовке X-Ppem-Source-Instance-Port укажите номер порта экземпляра СУБД (см. postgresql.conf).

  4. Настройте конвейер (как обычно).

receivers:
  file_log:
    # ...
processors:
  attributes/convert:
    # ...
exporters:
  otlp_http/ppem_logs:
    compression: ''
    # tls:
    #   insecure: false
    #   # Требуется для самоподписанных сертификатов (если не указано, используются системные корневые сертификаты)
    #   ca_file: /etc/pgpro-otel-collector/cert.d/ca.crt
    #   # cert_file/key_file: требуется для mTLS
    #   cert_file: /etc/pgpro-otel-collector/cert.d/client.crt
    #   key_file: /etc/pgpro-otel-collector/cert.d/client.key
    #   min_version: "1.3"
    endpoint: "https://ppem.example.org"
    headers:
      X-Ppem-Source-Agent-Name: "dbserver01"
      X-Ppem-Source-Instance-Port: '5432'
service:
  extensions: []
  pipelines:
    logs:
      receivers:
        - file_log
      processors:
        - attributes/convert
      exporters:
        - otlp_http/ppem_logs

3.8.3. Пример конфигурации #

Ниже приведён пример конфигурации коллектора для отправки метрик и журналов (CSV) в PPEM.

receivers:
  file_log:
    include:
      - /var/log/postgresql/*.csv
    multiline:
      line_start_pattern: ^[0-9]{4}-[0-9]{2}-[0-9]{2}
    operators:
      - header: timestamp,user,dbname,pid,connection_from,session_id,line_num,ps,session_start,vxid,txid,error_severity,state_code,message,detail,hint,internal_query,internal_position,context,statement,cursor_position,func_name,application_name,backend_type,leader_pid,query_id
        timestamp:
          layout: '%Y-%m-%d %H:%M:%S.%L %Z'
          layout_type: strptime
          parse_from: attributes.timestamp
        type: csv_parser
      - field: attributes.timestamp
        type: remove
    retry_on_failure:
      enabled: true
      initial_interval: 1s
      max_elapsed_time: 5m
      max_interval: 30s
    start_at: end
  host_metrics:
    collection_interval: 60s
    initial_delay: 1s
    scrapers:
      cpu:
        metrics:
          system.cpu.utilization:
            enabled: true
      disk: null
      load: null
      memory: null
      network: null
  postgrespro:
    max_threads: 3
    initial_delay: 1s
    collection_interval: 60s
    transport: tcp
    endpoint: localhost:5432
    # tls:
    #   insecure: false
    #   insecure_skip_verify: false
    #   ca_file: /etc/pgpro-otel-collector/cert.d/authorities.crt
    #   cert_file: /etc/pgpro-otel-collector/cert.d/postgresql.crt
    #   key_file: /etc/pgpro-otel-collector/cert.d/postgresql.key
    database: postgres
    username: postgres
    password: ${env:POSTGRESQL_PASSWORD}
    metrics: null
    plugins:
      activity:
        enabled: true
      bgwriter:
        enabled: true
      locks:
        enabled: true
      versions:
        enabled: true
      wal:
        enabled: true
      cache:
        enabled: true
processors:
  attributes/convert:
    actions:
      - action: convert
        converted_type: string
        key: pid
      - action: convert
        converted_type: int
        key: line_num
      - action: convert
        converted_type: int
        key: txid
      - action: convert
        converted_type: int
        key: remote_port
      - action: convert
        converted_type: int
        key: cursor_position
      - action: convert
        converted_type: int
        key: internal_position
      - action: convert
        converted_type: int
        key: leader_pid
  batch:
    send_batch_size: 8192
    timeout: 10s
  resource:
    attributes:
      - action: upsert
        key: service.name
        value: postgresql
      - action: upsert
        key: service.instance.id
        value: dbserver-01.example.org:5432
exporters:
  otlp_http/ppem_logs:
    endpoint: 'https://ppem.example.org'
    # tls:
    #   insecure: false
    #   # Требуется для самоподписанных сертификатов (если не указано, используются системные корневые сертификаты)
    #   ca_file: /etc/pgpro-otel-collector/cert.d/ca.crt
    #   # cert_file/key_file: требуется для mTLS
    #   cert_file: /etc/pgpro-otel-collector/cert.d/client.crt
    #   key_file: /etc/pgpro-otel-collector/cert.d/client.key
    #   min_version: "1.3"
    headers:
      X-Ppem-Source-Agent-Name: 'dbserver-01.example.org'
      X-Ppem-Source-Instance-Port: '5432'
  otlp_http/ppem_metrics:
    endpoint: 'https://ppem.example.org'
    # tls:
    #   insecure: false
    #   # Требуется для самоподписанных сертификатов (если не указано, используются системные корневые сертификаты)
    #   ca_file: /etc/pgpro-otel-collector/cert.d/ca.crt
    #   # cert_file/key_file: требуется для mTLS
    #   cert_file: /etc/pgpro-otel-collector/cert.d/client.crt
    #   key_file: /etc/pgpro-otel-collector/cert.d/client.key
    #   min_version: "1.3"
    headers:
      X-Ppem-Source-Agent-Name: 'dbserver-01.example.org'
      X-Ppem-Source-Instance-Port: '5432'
service:
  extensions: []
  pipelines:
    logs:
      receivers:
        - file_log
      processors:
        - resource
        - attributes/convert
        - batch
      exporters:
        - otlp_http/ppem_logs
    metrics:
      receivers:
        - postgrespro
        - host_metrics
      processors:
        - batch
      exporters:
        - otlp_http/ppem_metrics

Пример настройки journald для отправки журналов в формате journald в PPEM приведён в Подразделе 3.3.1.2.

FAQ