监控 Debezium

您可以使用 Apache Kafka 和 Kafka Connect 提供的 JMX 指标来监控 Debezium。要使用这些指标，您必须在启动 Kafka 和 Kafka Connect 服务时启用它们。启用 JMX 涉及设置正确的环境变量。必须设置的环境变量取决于您是在本地安装还是在 Docker 容器中运行 Kafka 和 Kafka Connect。

如果您在同一台机器上运行多个服务，请确保为每个服务使用不同的 JMX 端口。

用于监控 Debezium 连接器的指标

除了 Kafka 和 Kafka Connect 内置的 JMX 指标支持外，每个连接器还提供额外的指标，您可以使用它们来监控其活动。

在本地安装中启用 JMX

通过 Kafka 和 Kafka Connect，您可以通过在启动每个服务时设置相应的环境变量来启用 JMX。

Kafka JMX 环境变量

当使用本地安装运行 Kafka 时，kafka-server-start.sh 脚本会识别以下环境变量

JMX_PORT

启用 JMX 并指定将用于 JMX 的端口号。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.port=$JMX_PORT。

KAFKA_JMX_OPTS

JMX 选项，它们将在启动时直接传递给 JVM。默认选项是

  • -Dcom.sun.management.jmxremote

  • -Dcom.sun.management.jmxremote.authenticate=false

  • -Dcom.sun.management.jmxremote.ssl=false

Kafka Connect JMX 环境变量

当使用本地安装运行 Kafka 时，connect-distributed.sh 脚本会识别以下环境变量

JMX_PORT

启用 JMX 并指定将用于 JMX 的端口号。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.port=$JMX_PORT。

KAFKA_JMX_OPTS

JMX 选项，它们将在启动时直接传递给 JVM。默认选项是

  • -Dcom.sun.management.jmxremote

  • -Dcom.sun.management.jmxremote.authenticate=false

  • -Dcom.sun.management.jmxremote.ssl=false

在 Docker 中启用 JMX

如果您通过 Debezium 容器镜像运行 Kafka 和 Kafka Connect，启用 JMX 需要几个额外的环境变量，而这些环境变量在本地机器上运行时通常不需要。这是因为 JVM 需要它将要向 JMX 客户端声明的主机名。因此，Debezium 的 Kafka 和 Kafka Connect 容器镜像使用多个环境变量来启用和配置 JMX。大多数环境变量对于所有镜像都是相同的，但存在一些细微的差异。

Docker 中的 Kafka JMX 环境变量

debezium/kafka 镜像识别以下与 JMX 相关的环境变量

JMXPORT (必需)

将用于 JMX 的端口号。该值用于指定以下 JVM 参数

  • -Dcom.sun.management.jmxremote.port=$JMXPORT

  • -Dcom.sun.management.jmxremote.rmi.port=$JMXPORT

JMXHOST (必需)

Docker 主机的 IP 地址或可解析的主机名，JMX 使用它来构建发送到 JMX 客户端的 URL。值 localhost 或 127.0.0.1 将不起作用。通常可以使用 0.0.0.0。该值用于指定 JVM 参数 -Djava.rmi.server.hostname=$JMXHOST。

JMXAUTH

JMX 客户端连接时是否必须使用密码验证。必须是 true 或 false。默认为 false。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.authenticate=$JMXAUTH。

JMXSSL

JMX 客户端是否使用 SSL/TLS 连接。必须是 true 或 false。默认为 false。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.ssl=$JMXSSL。

示例 1. 在 Kafka Docker 容器中启用 JMX

以下示例 Docker 命令使用 debezium/kafka 镜像启动一个容器，并为 JMXPORT 和 HOST_NAME 环境变量设置值，并将 Docker 主机的端口 9011 映射到容器的 JMX 端口

$ docker run -it --rm --name kafka --hostname kafka \
  -p 9092:9092 -p 9011:9011 \
  -e CLUSTER_ID=<YOUR_UNIQUE_CLUSTER_IDENTIFIER> \
  -e NODE_ID=1 \
  -e NODE_ROLE=combined \
  -e KAFKA_CONTROLLER_QUORUM_VOTERS=1@kafka:9093 \
  -e KAFKA_LISTENERS=PLAINTEXT://kafka:9092,CONTROLLER://kafka:9093 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092 \
  -e JMXPORT=9011 \
  -e JMXHOST=10.0.1.10\
  quay.io/debezium/kafka:{debezium-docker-label}

Docker 中的 Kafka Connect JMX 环境变量

debezium/connect 镜像识别以下与 JMX 相关的环境变量

JMXPORT (必需)

将用于 JMX 的端口号。该值用于指定以下 JVM 参数

  • -Dcom.sun.management.jmxremote.port=$JMXPORT

  • -Dcom.sun.management.jmxremote.rmi.port=$JMXPORT

JMXHOST (必需)

Docker 主机的 IP 地址或可解析的主机名，JMX 使用它来构建发送到 JMX 客户端的 URL。值 localhost 或 127.0.0.1 将不起作用。通常可以使用 0.0.0.0。该值用于指定 JVM 参数 -Djava.rmi.server.hostname=$JMXHOST。

JMXAUTH

JMX 客户端连接时是否必须使用密码验证。必须是 true 或 false。默认为 false。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.authenticate=$JMXAUTH。

JMXSSL

JMX 客户端是否使用 SSL/TLS 连接。必须是 true 或 false。默认为 false。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.ssl=$JMXSSL。

示例 2. 在 Kafka Connect Docker 容器中启用 JMX

以下示例 Docker 命令使用 debezium/connect 镜像启动一个容器，并为 JMXPORT 和 JMXHOST 环境变量设置值，并将 Docker 主机的端口 9012 映射到容器的 JMX 端口

$ docker run -it --rm --name connect \
  -p 8083:8083 -p 9012:9012 \
  -e JMXPORT=9012 -e JMXHOST=10.0.1.10 \
  -e GROUP_ID=1 \
  -e CONFIG_STORAGE_TOPIC=my_connect_configs \
  -e OFFSET_STORAGE_TOPIC=my_connect_offsets \
  -e STATUS_STORAGE_TOPIC=my_connect_statuses \
  --link kafka:kafka \
  --link mysql:mysql \
  quay.io/debezium/connect:latest

使用 Prometheus 和 Grafana

Debezium 和 Kafka 暴露的指标可以与 Prometheus 和 Grafana 一起导出和显示。您可以在 Debezium 示例存储库 中找到所需配置的示例以及不同连接器的示例仪表板。

这些仪表板不是 Debezium 本身的一部分，并且是尽最大努力维护的。

Java Flight Recording

Debezium Kafka Connect 容器镜像还提供了易于使用的 JDK Flight Recorder 支持。要启用录制，需要设置环境变量 ENABLE_JFR=true。录制将在容器启动后自动开始。默认情况下，录制已启用，即进行具有默认设置的连续录制，然后您可以使用 jcmd 或 JDK Mission Control 来转储。

可以修改录制器的行为。为此，您需要设置以 JFR_RECORDING_ 为前缀的环境变量来设置录制参数。前缀后面的部分将转换为小写，并将下划线替换为连字符，因此 JFR_RECORDING_PATH_TO_GC_ROOTS=true 将成为 path-to-gc-roots=true。

可以通过以 JFR_OPT_ 为前缀的环境变量来配置 Flight Recorder 控制选项。