Snowpark Connect for Spark 的开发客户端¶
您可以通过 Snowflake 笔记本、Jupyter 笔记本、VS Code 等客户端或任何基于 Python 的界面,以交互方式运行 Spark 工作负载,而无需管理 Spark 集群。工作负载会在 Snowflake 基础设施上运行。
通过 Snowpark Connect for Spark 以交互方式开发 Spark 工作负载时,您可以执行以下任务:
无需设置任何基础设施,即可通过本地工具运行 Spark 工作负载。
运行与 PySpark APIs 和工作流兼容的代码。
访问 Snowflake 计算资源,以运行查询和转换。
将 Spark 集成到现有的数据科学、探索或开发工作流中。
使用编程访问令牌 (PATs) 进行身份验证,以实现与现代企业访问控制机制一致的安全身份验证。
下表列出了在 Snowflake 上处理 Spark 工作负载时可使用的一些工具:
目的 |
工具 |
---|---|
通过交互方式开发在 Snowflake 上运行的 Spark 工作负载。 |
|
批量运行 Spark 工作负载。 |