选择 SDK 组件

此连接器原生 SDK 由多个组件组成,其中一些组件是独立的,而另一些组件则相互依赖。本节说明如何自定义将在连接器中打开的组件。此外,将简要描述每个组件,并提及它们的依赖关系。

启用/禁用组件

组件在 Snowflake 数据库对象级别上启用和禁用。这意味着,执行的 setup.sql 文件是启用或禁用组件的事实来源。对于新用户,建议使用 SDK 提供的 all.sql 文件。此文件包括 SDK 中的所有基本功能(任务反应器除外)。

要做到这一点,只需在连接器的 setup.sql 文件中放入以下行:

EXECUTE IMMEDIATE FROM 'native-connectors-sdk-components/all.sql';
Copy

更有经验的用户可以自定义启用和禁用的功能。要做到这一点,只需要根据需要添加和移除 EXECUTE IMMEDIATE 语句。请记住,排除功能所需的文件将破坏文件。

-- Core connector objects
EXECUTE IMMEDIATE FROM 'core.sql';

-- Connector configuration prerequisites
EXECUTE IMMEDIATE FROM 'prerequisites.sql';

-- Connector configuration flow
EXECUTE IMMEDIATE FROM 'configuration/app_config.sql';
EXECUTE IMMEDIATE FROM 'configuration/connector_configuration.sql';
Copy

组件

以下章节包含连接器原生 SDK 组件列表(带有简短描述)以及每个组件所需的其他组件列表。有关更多信息,请参阅 Snowflake Native SDK for Connectors 参考

核心部件

核心组件负责为连接器创建基本对象,如架构、角色和应用程序内部状态的持久层。

依赖关系

此组件与其他组件没有依赖关系。

应用程序配置组件

应用程序配置组件是一个持久层,用于存储和读取应用程序的内部配置。

依赖关系

此组件与其他组件没有依赖关系。

先决条件组件

先决条件是向导的可选部分。它支持向最终用户提供关于需要满足的配置和初始设置的通知,通常这些设置是在连接器本身之外完成的。

依赖关系

  • 核心部件

连接器配置组件

连接器配置是一个向导步骤,负责配置常见的连接器属性,如:接收数据库、数据所有者角色、仓库等。

依赖关系

  • 核心部件

  • 应用程序配置组件

连接配置组件

连接配置是一个向导步骤,负责为连接器配置与外部源系统通信相关的属性,例如身份验证和授权属性及方法。

依赖关系

  • 核心部件

  • 应用程序配置组件

完成配置组件

完成连接器是一个向导步骤,负责执行与外部源系统的最终连接检查以及连接器特定配置的设置。

依赖关系

  • 核心部件

  • 推荐:应用程序配置组件

暂停/恢复组件

暂停/恢复组件提供了随时暂停和恢复连接器的选项,以便停止消耗 credit。

依赖关系

  • 核心部件

  • 推荐:应用程序配置组件

  • 建议:完成配置组件

引入组件

引入组件提供了抽象和持久化功能,用于定义将从外部源系统输入到 Snowflake 中的数据。

依赖关系

此组件与其他组件没有依赖关系,但需要执行多个 SQL 文件。

排程器组件

排程器提供了一种机制,通过使用底层 Snowflake 任务,根据配置触发连接器内部的任务。

依赖关系

  • 核心部件

  • 应用程序配置组件

  • 连接器配置组件

连接器统计组件

连接器统计组件提供了有用的视图,用于查看执行的引入任务的元数据。对于监控有多少数据流经连接器很有用。

依赖关系

  • 引入组件

同步状态组件

同步状态组件提供了快速检查上次数据同步时间的视图。

依赖关系

  • 引入组件

  • 连接器统计组件

任务反应器组件

任务反应器组件提供了给工作项排队,并将它们分散到多个工作节点任务之间的机制。工作节点的数量可以改变,以便在工作负载巨大时使用更多的工作节点。

依赖关系

此组件与其他组件没有依赖关系。

语言: 中文