Openflow Connector for SQL Server:选择使用 时默认使用的角色和仓库。维护

备注

此连接器受 Snowflake 连接器条款 的约束。

本主题介绍了 Openflow Connector for SQL Server 的维护注意事项和最佳实践,例如重新安装连接器或设置变更跟踪起始位置。

这些操作常与 快照增量复制 结合使用。

重新安装连接器

本部分说明如何重新安装连接器,以及如何继续复制相同表的数据,而无需再次创建快照。它涵盖了新连接器安装在同一运行时中以及移动到新运行时的情况。

先决条件

查看并记下连接器参数上下文值。如果要在同一运行时中重新安装连接器,则可以重用现有上下文。如果新实例位于不同的运行时,则必须重新输入所有参数。

  1. 先完成现有连接器中所有传输中 FlowFiles 的处理,随后停止该连接器。

    1. 登录 Snowsight

    2. 在导航菜单中,选择 Ingestion » Openflow

    3. Openflow 窗格中选择 Runtimes 选项卡。

    4. 选择包含连接器的运行时。

    5. 选择连接器。

    6. 停止 Snapshot Load 组中最顶层的处理器 Set Tables for Replication

    7. 停止 Incremental Load 组中最顶层的处理器 Read SQLServer Change Tracking tables

    8. 如果您更改了 Merge Task Schedule CRON 参数的值,请将其返回到 * * * * * ?,否则在下一次计划运行之前,队列不会清空。

      等待直至连接器中所有 FlowFiles 均处理完毕,且所有队列均为空。当所有 FlowFiles 处理完成后,连接器处理器组的 Queued 值将变为零。如果原始连接器的队列中还有任何项目,则新连接器启动时可能会出现数据间隙。

    9. 停止连接器中的所有处理器和控制器服务。

    小心

    现有连接器可以保留在运行时中,只要它保持停止状态,就不会干扰新实例。

  2. 创建连接器的新实例。如果使用与原连接器相同的运行时,可选择保留现有参数配置并复用其设置。

  3. 如果安装至不同运行时或已删除先前的参数配置,则需将配置设置(包括 设置 Openflow Connector for SQL Server 中描述的表名与模式)输入至新的参数配置中。

  4. 导航到 SQLServer Ingestion Parameters 上下文,并设置以下参数:

  5. 启动新连接器。

使用说明

新连接器将使用原连接器创建的现有目标表,但会新建日志表。

指定从变更跟踪表位置加载

Openflow Connector for SQL Server 连接器允许您选择读取变更跟踪表的起始位置。默认情况下,连接器从最新的可用位置读取。或者,您可以选择源实例上可用的最早位置。重新安装连接器时,通常选择从最早的位置开始。这使得新实例能够追平进度并继续复制现有表,而无需对每张表重新执行快照操作。

将正在运行的连接器从最新位置切换到最早位置会导致重新读取、重新处理变更跟踪表的内容,并将其重新应用于目标表。

警告

在重新读取变更跟踪表期间,受影响目标表中的数据可能会与其源端不同步,直到所有事件都被重新处理并合并。

以下参数可在 Ingestion Parameters 上下文中设置:

参数

描述

开始变更跟踪位置

  • ``Latest``(默认):变更跟踪表读取从最新的可用位置开始,并从那里继续。

  • Earliest:选择使用 时默认使用的角色和仓库。切换增量加载模式,从最早可用的变更跟踪表位置开始(或重新开始)读取。

重新读取状态表

  • New``(默认):仅在起始位置切换到 ``Earliest 后添加的新表,才会从最早可用位置读取其变更跟踪表。在配置更改之前开始复制的表将继续从其上次位置读取。

  • Any active:选择使用 时默认使用的角色和仓库。重新读取并重新处理当前处于复制状态的任何表的变更。

要判断连接器是否完成变更跟踪表重新读取,请执行以下操作:

  1. 导航到 Openflow 画布。

  2. 打开 Incremental Load 进程组。

  3. 右键点击名为 Read SQLServer Change Tracking tables 的最顶层处理器,然后选择 View state

  4. 检查键名以 position. 开头的每个表的状态条目。如果值为 0/0,则表示连接器尚未完成对该表变更的重新读取。

使用说明

  • 将正在运行的连接器切换为从最早位置读取并启动后,您将无法重新配置或取消该过程,它将持续运行直到当前读取位置达到最新值。

  • 对运行中的连接器切换至最早位置时,所有正在重新处理的表将完成其现有日志处理,并创建新的日志表。

语言: 中文