动态表性能和优化

了解如何优化和监控动态表,以提高速度和成本效益。本部分介绍基本概念和访问更详细主题的链接。

动态表 性能 是指完成 动态表刷新 的速度和效率。性能良好的动态表刷新速度足以满足其 目标滞后,而不会消耗过多的计算资源。

为什么性能很重要

数据新鲜度

动态表刷新基于您指定的 目标滞后,即源表更新和动态表内容更新之间允许的最大延迟。当刷新时间过长时,管道可能无法满足新鲜度要求。

例如,当刷新需要八分钟时,将目标滞后设置为五分钟即意味着管道无法保持所需的新鲜度。

成本效益

动态表需要虚拟仓库进行刷新,这会消耗 Credit。优化不佳的动态表可能会扫描不必要的数据,在增量就足够时触发完全刷新,或者需要更大的仓库才能在目标滞后窗口内完成刷新。

有关成本的更多信息,请参阅 Understanding costs for dynamic tables

性能决策

影响动态表性能的变更根据您可以进行变更的 时间 分为两类:

设计变更

调整

时间

创建管道之前。

管道运行之后。

影响

灵活性

难以更改;需要重新创建表。

易于更改;无需重新创建表。

示例

查询结构、刷新模式、管道设计。

仓库大小、群集密钥、目标滞后。

有关这两个类别的详细指南,请参阅 优化动态表性能

开始使用

要开始进行动态表性能优化,请尝试实践教程:

教程:为 SCD Type 1 工作负载优化动态表性能

了解如何识别和解决动态表管道中的性能瓶颈。本教程展示了不同 SQL 模式会如何影响增量刷新,以及如何使用 QUALIFY 子句有效移除重复行。

本部分主题

监控动态表性能

如何监控刷新性能、分析查询配置文件和跟踪关键指标。

优化动态表性能

关键概念和优化技术:刷新模式、数据局部性、仓库大小、目标滞后、查询模式和群集。

优化增量刷新查询

关于 SQL 运算符如何影响增量刷新速度的性能指南。

使用不可变性约束

如何使用不可变约束条件将历史数据标记为不变并缩小刷新范围。

语言: 中文