采用高性能架构的 Snowpipe Streaming 的限制与注意事项

本文档概述了采用高性能架构的 Snowpipe Streaming 的已知限制及关键注意事项。

常规及服务级别限制

  • 此服务在除政府特定区域和中国境内区域外的所有 AWS 区域中均可用。

  • 默认角色用于授权。确保用户在连接到服务时已获授对默认角色的访问权限。

表限制

  • 最大吞吐量:单个表可实现最高 10 GBps 的未压缩总吞吐量。

管道限制

  • 每个管道的通道数:默认情况下,单个管道最多可以有 2,000 个活动通道。如果您的用例需要更多通道,请联系 Snowflake 支持部门。

通道限制

每个通道具有以下软限制。如果您的应用程序需要更高的每通道吞吐量,请联系 Snowflake 支持部门以讨论提高这些限制。

  • SDK 吞吐量:12 MBps(未压缩)

  • REST 端点吞吐量:1 MBps(未压缩)

  • 请求速率:每秒 10 个请求 (RPS)。

引入与特定于数据的限制

  • 在采用高性能架构的 Snowpipe Streaming 中,ON_ERROR 选项仅支持 CONTINUE。

  • 数据吞吐量突然激增时,可能会出现短暂的端到端延迟增加,这是因为服务需弹性扩展以支持新的吞吐量级别。

  • 不支持分区的 Iceberg 表。

SDK 与架构限制

  • 支持的架构(Rust 核心):ARM64 Mac、Windows、ARM64-Linux 和 x86_64-Linux。

  • Linux 要求:如果您在 Linux 上使用 SDK,系统必须安装 glibc 2.26 或更高版本。

  • 时区:SDK 会自动使用 UTC,用户无法更改此设置。

  • OAuth 和个人访问令牌不受支持。

语言: 中文