设置 Openflow Connector for SQL Server¶

先决条件¶

1. 确保您已查看 关于 Openflow Connector for SQL Server。

2. 确保您已查看 支持的 SQL 服务器版本。

3. Ensure that you have 设置 Openflow - BYOC or 设置 Openflow - Snowflake 部署 - 任务概述.

4. 作为数据库管理员，请执行以下任务：

   1. 启用 数据库 (https://learn.microsoft.com/en-us/sql/relational-databases/track-changes/enable-and-disable-change-tracking-sql-server?view=sql-server-ver16#enable-change-tracking-for-a-database) 及 表 (https://learn.microsoft.com/en-us/sql/relational-databases/track-changes/enable-and-disable-change-tracking-sql-server?view=sql-server-ver16#enable-change-tracking-for-a-table) 的变更跟踪。连接器要求在复制开始之前对数据库和表启用变更跟踪。确保您计划复制的每张表都启用了变更跟踪。您还可以在连接器运行时为更多表启用变更跟踪。请参阅以下代码片段：

      ALTER DATABASE <database>
      SET CHANGE_TRACKING = ON
      (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);
      
      ALTER TABLE <schema>.<table>
      ENABLE CHANGE_TRACKING
      WITH (TRACK_COLUMNS_UPDATED = ON);
      

      Copy

   2. 为连接器创建用户。连接器需要一个对复制表拥有 VIEW CHANGE TRACKING 权限的用户。为该用户提供访问连接器配置的密码。

      CREATE LOGIN <user_name> WITH PASSWORD = <password>;
      CREATE USER <user_name> FOR LOGIN <user_name>;
      GRANT SELECT ON <schema>.<table> TO <user_name>;
      GRANT VIEW CHANGE TRACKING ON <schema>.<table> TO <user_name>;
      

      Copy

   3. 通过 SSL 连接。如果您计划使用 SSL 连接到 SQL 服务器，请为数据库服务器准备根证书。在配置期间这是必需的。

5. 作为 Snowflake 账户管理员，执行以下任务：

   1. 创建一个类型为 SERVICE 的 Snowflake 用户。创建一个用于存储复制数据的数据库，并为该 Snowflake 用户设置在该数据库中创建对象所需的权限，即授予 USAGE 和 CREATE SCHEMA 权限。

      CREATE DATABASE <destination_database>;
      CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow';
      CREATE ROLE <openflow_role>;
      GRANT ROLE <openflow_role> TO USER <openflow_user>;
      GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
      GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
      CREATE WAREHOUSE <openflow_warehouse>
           WITH
               WAREHOUSE_SIZE = 'MEDIUM'
               AUTO_SUSPEND = 300
               AUTO_RESUME = TRUE;
      GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
      

      Copy

   2. 创建安全密钥对（公钥和私钥）。将用户的私钥存储在文件中，以提供给连接器的配置。将公钥分配给 Snowflake 服务用户：

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      有关更多信息，请参阅 密钥对身份验证和密钥对轮换。

   3. 指定一个仓库供连接器使用。从 MEDIUM 仓库规模开始，然后根据要复制的表的数量和传输的数据量尝试规模。相较于扩大仓库规模，采用 多集群仓库 通常能更有效地应对海量表数量的扩展需求。

设置连接器¶

作为数据工程师，执行以下任务以配置连接器：

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

运行流¶

1. 右键点击“飞机”图标并选择 Enable all Controller Services。

2. 右键点击导入的进程组并选择 Start。连接器开始数据引入。