动态表

动态表通过提供可靠、经济高效和自动化的数据转换方式,简化了 Snowflake 中的数据工程。您无需使用任务和调度管理转换步骤,而是使用动态表定义最终状态,并让 Snowflake 处理管道管理。

以下是它们的益处:

  • 声明式编程:使用声明式 SQL 定义管道结果,无需担心实现这些结果的步骤,从而降低复杂性。

  • 透明编排:通过将动态表串联起来,可以轻松地创建从线性链到有向图等各种形状的管道。Snowflake 可根据您的数据新鲜度目标管理管道刷新的编排和调度。

  • 通过增量处理提升性能:对于适合增量处理的 有利工作负载,动态表相比全量刷新可以显著提高性能。

  • 轻松切换:只需一个 ALTER DYNAMIC TABLE 命令,即可从批处理无缝过渡到流处理。您可以控制管道中数据的刷新频率,这有助于平衡成本和数据新鲜度。

  • 运营化:动态表完全可通过 Snowsight 进行观察和管理,还提供编程访问权限,让您可以构建自己的可观察性应用程序。

动态表反映查询结果,无需单独的目标表和用于数据转换的自定义代码。自动化流程需要通过计划的 刷新 来定期更新结果。由于动态表的内容基于查询,因此不能使用 DML 操作修改。自动刷新过程将查询结果具体化到动态表中。

以下主题将介绍动态表的概念,并说明如何使用动态表在连续数据管道中转换数据。

概念

描述

动态表的工作原理

了解使用动态表所需的权限、动态表刷新的操作方法,以及动态表、流和任务以及物化视图之间的区别。

使用动态表

了解动态表的创建、管理和监控。

动态表的最佳实践

了解使用动态表的最佳实践。

了解动态表的成本

了解动态表的计算和存储成本。

动态表的已知限制

由于动态表的使用限制,或者如果您没有必要的权限,某些操作可能会受到限制。

语言: 中文