Snowpark Connect for Spark 的开发客户端

您可以通过 Snowflake 笔记本、Jupyter 笔记本、VS Code 等客户端或任何基于 Python 的界面,以交互方式运行 Spark 工作负载,而无需管理 Spark 集群。工作负载会在 Snowflake 基础设施上运行。

通过 Snowpark Connect for Spark 以交互方式开发 Spark 工作负载时,您可以执行以下任务:

  • 无需设置任何基础设施,即可通过本地工具运行 Spark 工作负载。

  • 运行与 PySpark APIs 和工作流兼容的代码。

  • 访问 Snowflake 计算资源,以运行查询和转换。

  • 将 Spark 集成到现有的数据科学、探索或开发工作流中。

  • 使用编程访问令牌 (PATs) 进行身份验证,以实现与现代企业访问控制机制一致的安全身份验证。

下表列出了在 Snowflake 上处理 Spark 工作负载时可使用的一些工具:

目的

工具

通过交互方式开发在 Snowflake 上运行的 Spark 工作负载。

批量运行 Spark 工作负载。

语言: 中文