引入排程器¶
提供所有 Snowflake 连接器都会用到的通用元素和功能的库。
要求¶
排程器的默认实施要求在连接器安装期间执行以下文件:
概述¶
排程器任务负责根据资源的配置在适当时间触发资源引入。此任务不是由 SDK 本身启动的,需要创建和恢复,比如在完成配置步骤期间创建和恢复。有两种实现方式:使用从 SQL 调用的名为 PUBLIC.CREATE_SCHEDULER() 的过程,或者直接通过 Java 代码调用 SchedulerCreator#createScheduler()。
默认实施将使用 connector_configuration
中提供的表达式在 global_schedule
键下创建排程器任务。当执行默认排程器任务时,它会搜索所有启用的资源引入定义,这些定义在配置中将其 ScheduleType 设置为 GLOBAL
及其对应的引入进程。然后,每个进程更新为 IN_PROGRESS
状态。引入迭代完成后,此状态将再次更新为 SCHEDULED
。然后,对它们中的每一个执行 OnIngestionScheduledCallback。此回调可以完全自定义,可以使用 SQL 或 Java 实施。此回调的默认实施没有任何作用,但是 SDK 也提供使用 任务反应器 模块以实施此回调的方法。此实施从数据库中检索有关资源的数据,并将包含此数据的工作项放入任务反应器队列中。
工作项完成后,将执行另一个名为 OnIngestionFinishedCallback 的回调。一旦引入完成,此回调会将进程状态改回 SCHEDULED
。