Development clients for Snowpark Connect for Spark

您可以通过 Snowflake 笔记本、Jupyter 笔记本、VS Code 等客户端或任何基于 Python 的界面,以交互方式运行 Spark 工作负载,而无需管理 Spark 集群。工作负载会在 Snowflake 基础设施上运行。

When you develop Spark workloads interactively with Snowpark Connect for Spark, you can perform the following tasks:

  • 无需设置任何基础设施,即可通过本地工具运行 Spark 工作负载。
  • 运行与 PySpark APIs 和工作流兼容的代码。
  • 访问 Snowflake 计算资源,以运行查询和转换。
  • 将 Spark 集成到现有的数据科学、探索或开发工作流中。
  • 使用编程访问令牌 (PATs) 进行身份验证,以实现与现代企业访问控制机制一致的安全身份验证。

下表列出了在 Snowflake 上处理 Spark 工作负载时可使用的一些工具:

PurposeTools
Interactively develop Spark workloads that run on Snowflake.
Run Spark workloads as a batch.- Submitting Spark applications