2025 年 9 月 23 日:Snowpipe Streaming 的高性能架构(正式发布

适用于 AWS 上所有账户的 Snowpipe Streaming 高性能架构现已正式发布。这一新架构从零开始设计,旨在支持大规模、实时的数据摄取,具备高吞吐量和低延迟。

主要功能和优点

高性能和低延迟: 每张表每秒可摄取高达 10 GB,从摄取到查询的延迟通常低于 10 秒。

多语言客户端支持: 您可以使用全新的高性能 Java 和 Python SDKs,它们基于共享的 Rust 核心构建,具有高效性。同时,还提供适用于轻量和无服务器摄取任务的 REST API。

简化的数据管道: 使用 PIPE 对象集中管理您的数据摄取逻辑。新架构将架构验证移至服务器端,并支持使用熟悉的 COPY 命令语法在数据传输过程中进行转换,从而降低客户端的复杂性。

提高成本效率: 采用基于吞吐量的全新定价模式,使成本更加可预测。

与经典架构的主要区别

这种新架构需要使用新的 SDKs 或 REST API。所有引入配置(包括数据转换和架构验证)现在都由服务器端的 PIPE 对象管理,该对象充当所有流式数据进入表的入口。

语言: 中文