Openflow Connector for SQL Server:选择使用 时默认使用的角色和仓库。维护¶
备注
此连接器受 Snowflake 连接器条款 的约束。
本主题介绍了 Openflow Connector for SQL Server 的维护注意事项和最佳实践,例如重新安装连接器或设置变更跟踪起始位置。
这些操作常与 快照增量复制 结合使用。
重新安装连接器¶
本部分说明如何重新安装连接器,以及如何继续复制相同表的数据,而无需再次创建快照。它涵盖了新连接器安装在同一运行时中以及移动到新运行时的情况。
先决条件¶
查看并记下连接器参数上下文值。如果要在同一运行时中重新安装连接器,则可以重用现有上下文。如果新实例位于不同的运行时,则必须重新输入所有参数。
先完成现有连接器中所有传输中 FlowFiles 的处理,随后停止该连接器。
登录 Snowsight。
在导航菜单中,选择 Ingestion » Openflow。
在 Openflow 窗格中选择 Runtimes 选项卡。
选择包含连接器的运行时。
选择连接器。
停止 Snapshot Load 组中最顶层的处理器 Set Tables for Replication。
停止 Incremental Load 组中最顶层的处理器 Read SQLServer Change Tracking tables。
如果您更改了 Merge Task Schedule CRON 参数的值,请将其返回到
* * * * * ?,否则在下一次计划运行之前,队列不会清空。等待直至连接器中所有 FlowFiles 均处理完毕,且所有队列均为空。当所有 FlowFiles 处理完成后,连接器处理器组的 Queued 值将变为零。如果原始连接器的队列中还有任何项目,则新连接器启动时可能会出现数据间隙。
停止连接器中的所有处理器和控制器服务。
小心
现有连接器可以保留在运行时中,只要它保持停止状态,就不会干扰新实例。
创建连接器的新实例。如果使用与原连接器相同的运行时,可选择保留现有参数配置并复用其设置。
如果安装至不同运行时或已删除先前的参数配置,则需将配置设置(包括 设置 Openflow Connector for SQL Server 中描述的表名与模式)输入至新的参数配置中。
导航到
SQLServer Ingestion Parameters上下文,并设置以下参数:将
Ingestion Type参数设置为incremental。有关信息,请参阅 启用不使用快照的增量复制。将
Starting Change Tracking Position参数设置为Earliest。有关信息,请参阅 指定从变更跟踪表位置加载。
启动新连接器。
使用说明¶
新连接器将使用原连接器创建的现有目标表,但会新建日志表。
指定从变更跟踪表位置加载¶
Openflow Connector for SQL Server 连接器允许您选择读取变更跟踪表的起始位置。默认情况下,连接器从最新的可用位置读取。或者,您可以选择源实例上可用的最早位置。重新安装连接器时,通常选择从最早的位置开始。这使得新实例能够追平进度并继续复制现有表,而无需对每张表重新执行快照操作。
将正在运行的连接器从最新位置切换到最早位置会导致重新读取、重新处理变更跟踪表的内容,并将其重新应用于目标表。
警告
在重新读取变更跟踪表期间,受影响目标表中的数据可能会与其源端不同步,直到所有事件都被重新处理并合并。
以下参数可在 Ingestion Parameters 上下文中设置:
参数 |
描述 |
|---|---|
开始变更跟踪位置 |
|
重新读取状态表 |
|
要判断连接器是否完成变更跟踪表重新读取,请执行以下操作:
导航到 Openflow 画布。
打开 Incremental Load 进程组。
右键点击名为 Read SQLServer Change Tracking tables 的最顶层处理器,然后选择 View state。
检查键名以
position.开头的每个表的状态条目。如果值为0/0,则表示连接器尚未完成对该表变更的重新读取。
使用说明¶
将正在运行的连接器切换为从最早位置读取并启动后,您将无法重新配置或取消该过程,它将持续运行直到当前读取位置达到最新值。
对运行中的连接器切换至最早位置时,所有正在重新处理的表将完成其现有日志处理,并创建新的日志表。