使用 Java Management Extension (JMX) 监控 Kafka Connector¶

在 Kafka Connector 中配置 JMX¶

默认在 Snowflake Kafka Connector 中启用 JMX。要在 Kafka 中启用 JMX，请执行以下操作：

1. 启用 JMX 以连接到 Kafka 安装：

   • 要使 JMX 连接到远程服务器上运行的 Kafka 安装，请在 Kafka Connect 启动脚本中设置 KAFKA_JMX_OPTS 环境变量：

     export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote=true
         -Dcom.sun.management.jmxremote.authenticate=false
         -Dcom.sun.management.jmxremote.ssl=false
         -Djava.rmi.server.hostname=<ip_address>
         -Dcom.sun.management.jmxremote.port=<jmx_port>"
     

     Copy

     其中：

     • ip_address：指定 Kafka Connect安装的 IP 地址。

     • jmx_port：指定 Kafka Connect 侦听 JMX 连接的 JMX 端口。

   • 要使 JMX 连接到相同服务器上运行的 Kafka，请在 Kafka 启动脚本中设置 JMX_PORT 环境变量：

     export JMX_PORT=<port_number>
     

     Copy

     其中， port_number 是 Kafka 安装的 JMX 端口。

2. 重新启动 Kafka Connector。

使用 Snowflake Kafka Connector Managed Beans (MBeans)¶

JMX 使用 MBeans 表示 Kafka 中可以监控的对象（例如线程数、CPU 负载等）。Snowflake Kafka Connector 提供 MBeans，用于访问连接器管理的对象。可以使用这些 MBeans 创建监控仪表板。

Kafka Connector MBean 对象名称的一般格式如下所示：

snowflake.kafka.connector:connector=connector_name,pipe=pipe_name,category=category_name,name=metric_name

其中：

• connector=connector_name 指定 Kafka 配置文件中定义的连接器的名称。

• pipe=pipe_name 指定用于引入数据的 Snowpipe 对象。Kafka Connector 为每个分区定义 Snowpipe 对象。

• category=category_name 指定 MBean 的类别。每个类别都包含一组指标。

• name=metric_name 指定指标的名称。

以下部分列出了 Snowflake Kafka Connector 提供的类别和指标的名称。