2025 年 9 月 23 日:Snowpipe Streaming 的高性能架构(正式发布)¶
适用于 AWS 上所有账户的 Snowpipe Streaming 高性能架构现已正式发布。这一新架构从零开始设计,旨在支持大规模、实时的数据摄取,具备高吞吐量和低延迟。
主要功能和优点¶
高性能和低延迟: 每张表每秒可摄取高达 10 GB,从摄取到查询的延迟通常低于 10 秒。
多语言客户端支持: 您可以使用全新的高性能 Java 和 Python SDKs,它们基于共享的 Rust 核心构建,具有高效性。同时,还提供适用于轻量和无服务器摄取任务的 REST API。
简化的数据管道: 使用 PIPE 对象集中管理您的数据摄取逻辑。新架构将架构验证移至服务器端,并支持使用熟悉的 COPY 命令语法在数据传输过程中进行转换,从而降低客户端的复杂性。
提高成本效率: 采用基于吞吐量的全新定价模式,使成本更加可预测。
与经典架构的主要区别¶
这种新架构需要使用新的 SDKs 或 REST API。所有引入配置(包括数据转换和架构验证)现在都由服务器端的 PIPE 对象管理,该对象充当所有流式数据进入表的入口。
推荐用例¶
此架构适用于持续的高吞吐量流式数据工作负载,例如:支持实时分析仪表板、日志与事件分析,以及集成来自 IoT 设备的数据。
如需了解更多信息,请参阅 :doc:` Snowpipe Streaming:高性能架构 </user-guide/snowpipe-streaming/snowpipe-streaming-high-performance-overview>`。