1.1. Архитектура #

pgpro-otel-collector основан на архитектуре OpenTelemetry Collector и состоит из нескольких компонентов, которые взаимодействуют друг с другом по конвейерному принципу (сбор — обработка — отправка):

  • Ресиверы — ключевые компоненты, отвечающие за сбор данных. pgpro-otel-collector включает следующие ресиверы:

    • postgrespro — главный компонент коллектора, заключающий в себе все инструменты (встроенные плагины) для сбора данных с экземпляра БД.

    • file_log — вспомогательный ресивер, отвечающий за сбор информации из журналов активности БД.

      Важно

      filelog переименован в file_log в соответствии с конвенцией именования компонентов. Устаревший псевдоним по-прежнему поддерживается, но будет полностью удалён в будущих выпусках, и при его использовании выводятся предупреждения. Обновите конфигурацию.

    • host_metrics — вспомогательный ресивер для сбора информации из операционной системы. Могут потребоваться права root.

      Важно

      hostmetrics переименован в host_metrics в соответствии с конвенцией именования компонентов. Устаревший псевдоним по-прежнему поддерживается, но будет полностью удалён в будущих выпусках, и при его использовании выводятся предупреждения. Обновите конфигурацию.

    • journald — вспомогательный ресивер, который собирает записи журнала systemd.

    • otlp — специальный ресивер для сбора данных в формате OTLP (OpenTelemetry Protocol). Он особенно полезен при работе с Postgres ProGate.

    • sqlquery — вспомогательный ресивер для сбора метрик и/или журналов из пользовательских SQL-запросов.

      Предупреждение

      В настоящее время ресивер sqlquery является экспериментальным и не рекомендован для использования в производственной среде.

  • Процессоры принимают и обрабатывают данные от ресиверов. pgpro-otel-collector включает следующие процессоры:

    • attributes обрабатывает отдельные атрибуты записей журнала.

    • batch формирует пакеты данных и регулирует механизм отправки данных.

    • filter позволяет фильтровать метрики и журналы на основе заданных условий с использованием OTTL (OpenTelemetry Transformation Language, язык преобразований OpenTelemetry).

    • memory_limiter ограничивает потребление памяти pgpro-otel-collector.

    • metrics_transform позволяет переименовывать метрики и управлять метками, включая масштабирование и агрегирование.

      Важно

      metricstransform переименован в metrics_transform в соответствии с конвенцией именования компонентов. Устаревший псевдоним по-прежнему поддерживается, но будет полностью удалён в будущих выпусках, и при его использовании выводятся предупреждения. Обновите конфигурацию.

    • resource добавляет дополнительные атрибуты записей журнала.

    • transform изменяет данные с помощью OTTL.

  • Экспортёры получают обработанные данные от процессоров и доставляют их внешним потребителям. pgpro-otel-collector включает следующие экспортёры:

    • kafka отправляет метрики и журналы в Apache Kafka, распределённую платформу с открытым исходным кодом для потоковой передачи событий.

    • otlp_http отправляет данные по протоколу OTLP (стандартный протокол OpenTelemetry, внедряемый многими поставщиками систем мониторинга) с использованием протокола HTTP.

      Важно

      otlphttp переименован в otlp_http в соответствии с конвенцией именования компонентов. Устаревший псевдоним по-прежнему поддерживается, но будет полностью удалён в будущих выпусках, и при его использовании выводятся предупреждения. Обновите конфигурацию.

    • prometheus экспортирует метрики по встроенному HTTP-серверу и публикует их на странице /metrics в формате системы мониторинга Prometheus. prometheus используется по умолчанию, так как не требует дополнительной настройки.

    • prometheus_remote_write отправляет метрики по протоколу удалённой записи в совместимые с Prometheus системы, включая Cortex, Mimir, Thanos, VictoriaMetrics.

    • zabbix отправляет метрики в Zabbix — решение для мониторинга с открытым исходным кодом.

Согласно общей архитектуре OpenTelemetry Collector, pgpro-otel-collector можно настроить таким образом, чтобы один и тот же компонент использовался несколько раз. Например, можно использовать несколько экземпляров одного и того же ресивера для сбора данных с нескольких экземпляров СУБД. Также один и тот же экспортёр может использоваться для отправки данных в разные хранилища.

За подробным описанием каждого компонента обратитесь к Разделу 1.2.

FAQ