CaptureChangeSqlServer 2025.10.9.21¶
捆绑包¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
描述¶
从 SQL 服务器数据库读取 CDC 事件。处理器定期查询数据库中的变更跟踪表,但仅限于 TableStateService 提供的表。处理器维护每个表上次处理的事件的状态。处理器在每个已处理的表之后移动位置。处理器支持多线程。连接池中配置的线程数和连接上限共同定义了与源数据库保持打开连接的最大数量。处理器输出两种类型的 FlowFiles:DDLs,包含表的初始架构,以及每当该表的架构发生变化时的更新;DMLs,记录表示表中数据变更的记录。FlowFile 始终代表与单个表相关的数据。带有架构的 DDL 以 JSON 对象的形式写入到 FlowFile 内容中,其形式为:{ "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...] } DML 记录的结构为:{ "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }
输入要求¶
FORBIDDEN
支持敏感的动态属性¶
false
属性¶
属性 |
描述 |
|---|---|
列筛选存储 |
存储每个表列筛选设置的服务。 |
连接池 |
连接池 |
提取大小 |
一次加载到内存中的最大行数 |
最大批处理大小 |
单个批次提取的最大行数 |
记录写入器 |
用于序列化 DML 事件的记录写入器 |
表变更查询间隔 |
在安排下一次表变更查询之前必须经过的最短时间间隔。这控制了数据库轮询的频率,以防止过度查询。 |
表状态存储 |
保存复制表状态的共享存储。 |
状态管理¶
范围 |
描述 |
|---|---|
CLUSTER |
该处理器会存储每个表上次处理的记录版本等信息,以便在重新启动时从同一位置继续运行。 |
关系¶
名称 |
描述 |
|---|---|
success |
通过 CDC 流活动成功创建 FlowFile |