CaptureChangePostgreSQL 2025.10.2.19¶
捆绑包¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
描述¶
Reads CDC events from a PostgreSQL database. The processor continuously reads events arriving in the stream, filtering for those related to tables provided by the TableStateService, and discarding the rest. After the current batch of events is processed, the processor confirms the replication slot position back to PostgreSQL, letting it trim the WAL. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...] } The DML records are structured as: { "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }
输入要求¶
FORBIDDEN
支持敏感的动态属性¶
false
属性¶
属性 |
描述 |
|---|---|
列筛选存储 |
存储每个表列筛选设置的服务。 |
JDBC 驱动程序位置 |
以逗号分隔的文件/文件夹列表和/或 URLs,包含驱动程序 JAR 及其依赖项(如果有)。例如“/var/tmp/postgresql-java-client-42.7.5.jar” |
JDBC URL |
数据库连接的 JDBC URL,即 jdbc:postgresql://localhost:5432/postgres |
最大批处理大小 |
单次迭代中要处理的最大记录数 |
最长批处理等待时间 |
等待数据出现在 CDC 流中的最长时间。 |
密码 |
访问 PostgreSQL 数据库的密码 |
发布名称 |
要读取的 CDC 发布名称。 |
记录写入器 |
用于序列化 DML 事件的记录写入器 |
Replication Slot Name |
要使用的复制槽的名称。最多 63 个字符。如果该插槽不存在,则由处理器创建。 |
SSL Context Service |
支持加密套接字通信的 SSL Context Service |
SSL 模式 |
连接 PostgreSQL 时是否使用和强制执行 SSL |
TOASTed 值占位符 |
要放入 TOASTed 列中的值 |
TOASTed 值策略 |
确定如何处理 TOASTed 值。 |
表状态存储 |
保存复制表状态的共享存储。 |
用户名 |
访问 PostgreSQL 数据库的用户名 |
状态管理¶
范围 |
描述 |
|---|---|
CLUSTER |
该处理器会存储数据库中当前 CDC 事件的“pointer”等信息,以便在重新启动时从同一位置继续运行,以及在 PostgreSQL 中创建的复制槽的名称。 |
关系¶
名称 |
描述 |
|---|---|
success |
通过 CDC 流活动成功创建 FlowFile |
写入属性¶
名称 |
描述 |
|---|---|
source.schema.name |
事件来源表的架构名称 |
source.table.name |
事件来源表的名称 |
cdc.event.type |
Type of event carried by the FlowFile: ddl or dml |
cdc.most.significant.position |
Ddl 在 cdc 流中最重要的位置 |
cdc.least.significant.position |
Ddl 在 cdc 流中最不重要的位置 |
cdc.event.seen.at |
处理器读取 ddl 事件的时间戳 |