管理 Kafka Connector¶
本主题描述与管理 Kafka 连接器相关的管理任务。
本主题内容:
删除 Kafka Connector 使用的 Snowflake 对象¶
如果您不再计划使用 Kafka 连接器将数据加载到 Snowflake 表中,则可以关闭 Kafka 并删除连接器使用的 Snowflake 对象。
连接器使用以下类型的 Snowflake 对象来引入数据:
已命名的内部暂存区
管道
表
本节提供有关查找和删除 Kafka 连接器使用的 Snowflake 对象的说明。
删除暂存区¶
连接器为每个 Kafka 主题创建一个命名的内部暂存区。暂存区名称的格式为:
SNOWFLAKE_KAFKA_CONNECTOR_connector_name_STAGE_table_name
请注意,每个内部暂存区不仅存储要加载到表中的文件,还存储用于确保将行从 Kafka 传送到表的“状态”信息。
如果保留暂存区及其状态信息,则如果连接器停止并重新启动,连接器会自动尝试从其停止的位置恢复。但是,如果删除某个暂存区,连接器就无法从中断处恢复。
要删除 Kafka 连接器使用的暂存区:
通过以暂存区所有者(即在暂存区上具有 OWNERSHIP 权限的角色)执行 SHOW STAGES 来查找暂存区的名称。这应该是 Kafka 配置文件中定义的运行 Kafka 连接器的用户的默认角色。
执行 DROP STAGE 以删除要从系统中移除的每个暂存区。
删除管道¶
连接器为 Kafka 主题中的每个 分区 创建一个管道。管道名称的格式为:
SNOWFLAKE_KAFKA_CONNECTOR_connector_name_PIPE_table_name_partition_number
要删除 Kafka 连接器使用的管道:
通过以管道所有者(即在管道上具有 OWNERSHIP 权限的角色)执行 SHOW PIPES 来查找管道的名称。这应该是 Kafka 配置文件中定义的运行 Kafka 连接器的用户的默认角色。
执行 DROP PIPE 以删除要从系统中移除的每个管道。
删除表¶
如果不再需要加载到目标表中的数据,您也可以删除这些表。
如果您没有使用 Kafka 配置属性 中的 snowflake.topic2table.map
参数将 Kafka 主题映射到表,Kafka 连接器将使用主题名称创建新表。表名称为大写,但在其他方面与主题名称相同,只要主题名称不违反 Snowflake 对象命名规则即可。例如,Snowflake 为名 temperature_data
的 Kafka 主题创建一个名为 TEMPERATURE_DATA
的表。
要删除 Kafka 连接器使用的表:
通过以表所有者(即对表具有 OWNERSHIP 权限的角色)执行 SHOW TABLES 来查找表的名称。这应该是 Kafka 配置文件中定义的运行 Kafka 连接器的用户的默认角色。
执行 DROP TABLE 以删除要从系统中移除的每个表。