2025 年 12 月 17 日:支持 Snowpipe Streaming 高性能架构的表架构演化

Snowflake 宣布在 Snowpipe Streaming 高性能架构中支持自动表架构演化。该功能使您的流式数据管道能够近乎实时地无缝适应架构漂移,从而在源端引入新的数据属性时,无需进行手动 DDL 干预。

要启用此功能,请在目标表上设置 ENABLE_SCHEMA_EVOLUTION = TRUE

主要功能:

  • 自动添加列:在传入数据流中检测到的新字段会自动添加到目标表中。

  • 约束管理:如果传入记录缺少特定值,系统会自动删除 NOT NULL 约束。

  • 无缝引入:减少因架构不匹配导致的管道失败,确保数据持续可用。

限制:

  • 表类型:仅支持标准(原生)Snowflake 表。不支持外部表和 Iceberg 表。

  • 列修改:不支持自动列加宽,例如增加精度、小数位数或文本长度。

  • 数据类型:目前不支持对结构化类型进行架构演化,这些类型包括结构化的 OBJECT、ARRAY 或 MAP 列。不过,包含结构化类型的新列会被推断为 VARIANT,从而支持 JSON 对象和数组。

有关更多信息,请参阅:

语言: 中文