Snowflake Connector for Spark

Snowflake Connector for Spark(简称为“Spark Connector”)将 Snowflake 引入 Apache Spark 生态系统,使 Spark 能够从 Snowflake 读取数据并向其写入数据。从 Spark 的角度来看,Snowflake 与其他 Spark 数据源(PostgreSQL、HDFS、S3 等)是相似的。

备注

作为使用 Spark 的替代方法,可以考虑在编写代码时改用 Snowpark API。Snowpark 允许您在 Snowflake 中执行所有工作(而不是在单独的 Spark 计算群集中)。Snowpark 还支持下推所有操作,包括 Snowflake UDFs。

Snowflake 支持三个版本的 Spark:Spark 3.2、Spark 3.3 和 Spark 3.4。每个版本的 Spark 各有一个专用 Snowflake 连接器版本。请根据您的 Spark 版本,使用正确的连接器版本。

连接器作为 Spark 插件运行,并以 Spark 包 (spark-snowflake) 的形式提供。

后续主题:

语言: 中文