Openflow Connector for PostgreSQL:选择使用 时默认使用的角色和仓库。设置不使用快照的增量复制¶
备注
此连接器受 Snowflake 连接器条款 的约束。
Openflow Connector for PostgreSQL 连接器可以配置为立即开始复制新添加表的增量变更,绕过快照。 增量加载在重新安装连接器覆盖先前复制的数据时非常有用,可继续执行复制操作而无需对每张表重新创建快照。
可以在连接器的新实例或现有实例中启用增量复制。
要在连接器的新实例中启用增量复制,请执行以下任务:
按照 设置 Openflow Connector for PostgreSQL 中所述设置连接器。
在
PostgreSQL Ingestion Parameters上下文中,将Ingestion Type参数设置为incremental。
启用不使用快照的增量复制¶
要在现有连接器上启用增量复制,请执行以下操作:
Sign in to Snowsight。
In the navigation menu, select Ingestion » Openflow。
在 Openflow 窗格中选择 Runtimes 选项卡。
选择包含连接器的运行时。
选择连接器。
在
Ingestion Parameters上下文中,指定Ingestion Type=incremental。添加新的复制表。这些表会立即切换到增量加载。
备注
要恢复使用快照加载来复制表,将 Ingestion Type 从 incremental 更改为 full。
使用说明¶
更改 Ingestion Type 的值不会影响任何已开始复制数据的表。当前处于快照阶段的表将继续运行,直到快照加载完成。
当 Ingestion Type 设置为
incremental时,新添加到复制表列表中的表将跳过快照阶段。这包括与Included Table Regex参数匹配的源数据库中新添加的表。确保将引入类型设置为incremental以跳过快照阶段。备注
连接器应仅在必需时保持
incremental模式,因为该模式会跳过快照。客户的增量更新需求得到满足后,应将连接器切换回full模式。对于跳过快照加载的表,仅当目标表不存在时,连接器才会通过执行
CREATE TABLE IF NOT EXISTS语句在 Snowflake 中创建目标表。而经历快照加载的表则要求目标表必须不存在。