Streams 和 Tasks 简介

Snowflake 通过 Streams 和 Tasks 支持连续数据管道:

:

对象记录表(例如暂存表)的更改数据获取 (CDC) 信息的增量,包括插入和其他数据操作语言 (DML) 更改。流允许在两个事务时间点之间在行级别查询和使用对表的一组更改。

在连续数据管道中,表流会记录何时使用连续数据加载将来自业务应用程序的数据填充到暂存表和任何下游表中,以及何时可使用 SQL 语句进行进一步处理。

有关更多信息,请参阅 Streams 简介

任务:

任务 对象运行 SQL 语句,其中可包括对存储过程的调用。任务可以按计划运行,也可以基于您定义的触发器运行,例如数据的到达。您可以使用任务图将任务链接在一起,定义有向无环图 (DAGs) 以支持更复杂的定期处理。有关更多信息,请参阅 任务简介使用任务图管理任务依赖关系

将任务与表流相结合是持续处理新数据或更改的数据的一种方便而强大的方法。使用 SYSTEM$STREAM_HAS_DATA,任务可以转换流显示的新行或更改的行。每次任务运行时,都可以使用更改的数据,如果不存在更改的数据,则可以跳过当前运行。

有关其他连续数据管道功能,请参阅:

语言: 中文