FetchTableSnapshot 2025.10.2.19

捆绑包

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

描述

Fetches a snapshot of a table from a database. The snapshot is fetched incrementally, using the primary key columns of the table to fetch rows in batches. Replicating a table without primary key is not supported. The snapshot is written to a FlowFile in the specified Record Writer format. The input FlowFile is expected to consist of a JSON representation of the table schema in the following format: { "columns": [{ "name": "<column name>", "type": "<column type>" }, { "name": "<column name>", "type": "<column type>" }, ... ], "primaryKeys": ["<name of first primary key column>", "<name of second primary key column>", ...] } Only those columns that are specified in the schema will be fetched from the table.

标签

database、fetch、rdbms、snapshot、snowflake、table

输入要求

REQUIRED

支持敏感的动态属性

false

属性

属性

描述

连接池

用于提取数据库快照的连接池

提取大小

一次加载到内存中的最大行数

JDBC 驱动程序位置

以逗号分隔的文件/文件夹列表和/或 URLs,包含驱动程序 JAR 及其依赖项(如果有)。例如“/var/tmp/postgresql-java-client-42.7.5.jar”

最大批处理大小

单个批次提取的最大行数

记录写入器

用于写入提取的快照的记录写入器

架构名称

要从中提取快照的架构的名称

表名称

要从中提取快照的表的名称

关系

名称

描述

complete

快照完成后,原始 FlowFile 将路由到此关系

failure

如果无法从由 FlowFile 表示的表中检索数据,则 FlowFile 将路由到此关系。

retryable failure

如果无法从由 FlowFile 表示的表中检索数据,但我们预计将来可以检索数据,则 FlowFile 将路由到此关系。

rows

成功从由 FlowFile 表示的表中检索到快照后,这些行将路由到此关系。

写入属性

名称

描述

snapshot.complete

表示快照是否完成

rows.total.fetched

为该表提取的总行数

rows.delta.fetched

上次迭代中为表提取的行数

start.row.index

给定迭代的快照中第一行的索引,从 0 开始

last.row.index

给定迭代的快照中最后一行的索引,从 0 开始

fetch.delta.time.in.millis

在上次迭代中提取行所用的时间(以毫秒为单位)

fetch.total.time.in.millis

到目前为止提取行所用的时间(以毫秒为单位)

语言: 中文