3.1. Файл конфигурации #
Главный файл конфигурации находится в /etc/pgpro-otel-collector/basic.yml и используется по умолчанию. Он состоит из следующих основных разделов:
Параметры ресиверов
Параметры процессоров
Параметры экспортёров
Параметры конвейеров
Дополнительные и необязательные параметры
Разделы можно размещать в произвольном порядке. На верхнем уровне структура файла конфигурации выглядит следующим образом:
receivers:
# Раздел для указания ресиверов, ответственных за сбор данных
processors:
# Раздел для указания процессоров, ответственных за промежуточную обработку данных
exporters:
# Раздел для указания экспортёров, ответственных за отправку данных
service:
pipelines:
# Раздел для указания конвейеров от начала сбора данных до их передачиВ зависимости от целей администратора файл конфигурации может быть дополнен следующими компонентами и их параметрами.
Ресиверы:
ресивер
postgresproдля сбора метрик Postgres Proресивер
file_logи процессорыresourceиattributesдля сбора журналов Postgres Proресивер
host_metricsдля сбора метрик операционной системыВажно
hostmetricsпереименован вhost_metricsв соответствии с конвенцией именования компонентов. Устаревший псевдоним по-прежнему поддерживается, но будет полностью удалён в будущих выпусках, и при его использовании выводятся предупреждения. Обновите конфигурацию.ресивер
journaldи процессорыresource,attributes,batchиtransformдля сбора журналов из systemdресивер
otlpдля сбора метрик и журналов в формате OTLP
Экспортёры:
экспортёр
kafkaдля отправки журналов и метрик в Apache Kafkaэкспортёр
otlp_httpдля отправки данных в OTLP-совместимое хранилищеВажно
otlphttpпереименован вotlp_httpв соответствии с конвенцией именования компонентов. Устаревший псевдоним по-прежнему поддерживается, но будет полностью удалён в будущих выпусках, и при его использовании выводятся предупреждения. Обновите конфигурацию.экспортёр
prometheusдля публикации данных в формате, совместимом с Prometheusэкспортёр
prometheus_remote_writeдля отправки метрик в совместимые с Prometheus системы по протоколу удалённой записи (remote write)
Помимо этого, все добавленные компоненты нужно выстроить в конвейер в раздел service.pipelines.
На более детальном уровне структура файла конфигурации выглядит следующим образом:
exporters:
otlp_http/logs:
# Настройка экспортёра otlp_http для отправки журналов
otlp_http/metrics:
# Настройка экспортёра otlp_http для отправки метрик
prometheus:
# Настройка экспортёра prometheus для публикации метрик
processors:
attributes/convert:
# Настройка процессора attributes для обработки записей журнала
resource:
# Настройка процессора resource для обработки записей журнала
receivers:
postgrespro:
# Настройка ресивера для сбора метрик экземпляра СУБД
filelog:
# Настройка ресивера для сбора журналов
hostmetrics:
# Настройка ресивера для сбора метрик операционной системы
journald:
# Настройка ресивера для сбора записей журнала systemd
service:
extensions: []
pipelines:
# Конвейер сбора, обработки и передачи журналов
logs:
receivers:
- filelog
- journald
processors:
- resource
- attributes/convert
exporters:
- otlp_http/logs
# Конвейер сбора, обработки и отправки метрик
metrics:
receivers:
- postgrespro
- hostmetrics
processors:
exporters:
- prometheus
- otlp_http/metricsАрхитектура OpenTelemetry Collector позволяет использовать один и тот же компонент несколько раз. Например, можно добавить несколько экземпляров ресивера postgrespro для сбора метрик с разных экземпляров СУБД. Также можно использовать несколько экземпляров экспортёра otlp_http, чтобы отправлять метрики и журналы активности в разные хранилища, обеспечивая тем самым разветвление потоков данных.
Для указания нескольких экземпляров компонентов следует использовать нотацию компонент/имя, где:
компонент— название компонента (ресивера, процессора или экспортёра).имя— дополнительное произвольное имя.
За счёт пар компонент/имя формируются уникальные идентификаторы компонентов, которые далее используются в составе конвейеров. Например, otlp_http/logs_main, postgrespro/primary, postgrespro/standby.
Пример использования нескольких экземпляров одного и того же компонента:
receivers:
# ...
processors:
# ...
exporters:
# Используется два экземпляра экспортёра `otlp_http` для отправки данных в разные пункты назначения
otlp_http/logs_elastic:
endpoint: https://elastic.example.org
otlp_http/logs_ppem:
endpoint: https://ppem.example.org
service:
extensions: []
pipelines:
logs:
receivers:
# ...
processors:
# ...
# После сбора и обработки записей журнала отправка осуществляется по двум направлениям
exporters:
- otlp_http/logs_elastic
- otlp_http/logs_ppemТаким образом, наполняя файл конфигурации, можно гибко определять параметры сбора, обработки и отправки данных.
В каталоге /usr/share/doc/pgpro-otel-collector/examples находятся дополнительные файлы конфигурации, которые можно использовать для расширения функциональности коллектора. Особое внимание стоит уделить настройке ресивера postgrespro: он поддерживает широкий спектр возможностей для сбора данных, но в конфигурации по умолчанию включён только минимальный набор, а большинство плагинов отключено. Прежде чем включать какие-либо плагины, убедитесь, что статистика доступна на стороне экземпляра БД.
Предупреждение
Активация дополнительных плагинов может привести к значительным накладным расходам (затратам на сбор данных), поэтому их включение должно быть тщательно продумано.