管理 Kafka Connector

本主题描述与管理 Kafka 连接器相关的管理任务。

本主题内容:

删除 Kafka Connector 使用的 Snowflake 对象

如果您不再计划使用 Kafka 连接器将数据加载到 Snowflake 表中,则可以关闭 Kafka 并删除连接器使用的 Snowflake 对象。

连接器使用以下类型的 Snowflake 对象来引入数据:

  • 已命名的内部暂存区

  • 管道

本节提供有关查找和删除 Kafka 连接器使用的 Snowflake 对象的说明。

删除暂存区

连接器为每个 Kafka 主题创建一个命名的内部暂存区。暂存区名称的格式为:

SNOWFLAKE_KAFKA_CONNECTOR_connector_name_STAGE_table_name

请注意,每个内部暂存区不仅存储要加载到表中的文件,还存储用于确保将行从 Kafka 传送到表的“状态”信息。

如果保留暂存区及其状态信息,则如果连接器停止并重新启动,连接器会自动尝试从其停止的位置恢复。但是,如果删除某个暂存区,连接器就无法从中断处恢复。

要删除 Kafka 连接器使用的暂存区:

  1. 通过以暂存区所有者(即在暂存区上具有 OWNERSHIP 权限的角色)执行 SHOW STAGES 来查找暂存区的名称。这应该是 Kafka 配置文件中定义的运行 Kafka 连接器的用户的默认角色。

  2. 执行 DROP STAGE 以删除要从系统中移除的每个暂存区。

删除管道

连接器为 Kafka 主题中的每个 分区 创建一个管道。管道名称的格式为:

SNOWFLAKE_KAFKA_CONNECTOR_connector_name_PIPE_table_name_partition_number

要删除 Kafka 连接器使用的管道:

  1. 通过以管道所有者(即在管道上具有 OWNERSHIP 权限的角色)执行 SHOW PIPES 来查找管道的名称。这应该是 Kafka 配置文件中定义的运行 Kafka 连接器的用户的默认角色。

  2. 执行 DROP PIPE 以删除要从系统中移除的每个管道。

删除表

如果不再需要加载到目标表中的数据,您也可以删除这些表。

如果您没有使用 Kafka 配置属性 中的 snowflake.topic2table.map 参数将 Kafka 主题映射到表,Kafka 连接器将使用主题名称创建新表。表名称为大写,但在其他方面与主题名称相同,只要主题名称不违反 Snowflake 对象命名规则即可。例如,Snowflake 为名 temperature_data 的 Kafka 主题创建一个名为 TEMPERATURE_DATA 的表。

要删除 Kafka 连接器使用的表:

  1. 通过以表所有者(即对表具有 OWNERSHIP 权限的角色)执行 SHOW TABLES 来查找表的名称。这应该是 Kafka 配置文件中定义的运行 Kafka 连接器的用户的默认角色。

  2. 执行 DROP TABLE 以删除要从系统中移除的每个表。

语言: 中文