采用高性能架构的 Snowpipe Streaming 的限制与注意事项¶
本文档概述了采用高性能架构的 Snowpipe Streaming 的已知限制及关键注意事项。
常规及服务级别限制¶
此服务在除政府特定区域和中国境内区域外的所有 AWS 区域中均可用。
默认角色用于授权。确保用户在连接到服务时已获授对默认角色的访问权限。
表限制¶
最大吞吐量:单个表可实现最高 10 GBps 的未压缩总吞吐量。
管道限制¶
每个管道的通道数:默认情况下,单个管道最多可以有 2,000 个活动通道。如果您的用例需要更多通道,请联系 Snowflake 支持部门。
通道限制¶
每个通道具有以下软限制。如果您的应用程序需要更高的每通道吞吐量,请联系 Snowflake 支持部门以讨论提高这些限制。
SDK 吞吐量:12 MBps(未压缩)
REST 端点吞吐量:1 MBps(未压缩)
请求速率:每秒 10 个请求 (RPS)。
引入与特定于数据的限制¶
在采用高性能架构的 Snowpipe Streaming 中,ON_ERROR 选项仅支持 CONTINUE。
数据吞吐量突然激增时,可能会出现短暂的端到端延迟增加,这是因为服务需弹性扩展以支持新的吞吐量级别。
不支持分区的 Iceberg 表。
SDK 与架构限制¶
支持的架构(Rust 核心):ARM64 Mac、Windows、ARM64-Linux 和 x86_64-Linux。
Linux 要求:如果您在 Linux 上使用 SDK,系统必须安装 glibc 2.26 或更高版本。
时区:SDK 会自动使用 UTC,用户无法更改此设置。
OAuth 和个人访问令牌不受支持。