CaptureChangeSqlServer 2025.5.31.15¶
捆绑包¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
描述¶
从 SQL 服务器数据库读取 CDC 事件。处理器定期查询数据库中的变更跟踪表,但仅限于 TableStateService 提供的表。处理器维护每个表上次处理的事件的状态。处理器在每个已处理的表之后移动位置。处理器支持多线程。池中配置的线程数和连接限制共同定义了与源数据库建立的开放连接的上限。处理器输出两种类型的 FlowFile:DDLs,包含表的初始架构,然后每次架构发生变化时都会输出;以及 DMLs,包含表中表明数据变化的记录。一个 FlowFile 始终表示与单个表相关的数据。包含架构的 DDL 以 JSON 对象的形式写入到 FlowFile 内容中,格式如下:{ "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...]} DML 记录的结构如下:{ "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }}
输入要求¶
FORBIDDEN
支持敏感的动态属性¶
false
属性¶
属性 |
描述 |
---|---|
列筛选存储 |
存储每个表列筛选设置的服务。 |
连接池 |
连接池 |
提取大小 |
一次加载到内存中的最大行数 |
最大批处理大小 |
单个批次提取的最大行数 |
记录写入器 |
用于序列化 DML 事件的记录写入器 |
表状态存储 |
保存复制表状态的共享存储。 |
状态管理¶
范围 |
描述 |
---|---|
CLUSTER |
该处理器会存储每个表上次处理的记录版本等信息,以便在重新启动时从同一位置继续运行。 |
关系¶
名称 |
描述 |
---|---|
success |
通过 CDC 流活动成功创建 FlowFile |