安装和配置 Spark Connector¶

第 1 步：下载 Snowflake Connector for Spark 的最新版本¶

Snowflake 提供该连接器的多个版本。根据以下版本下载合适的版本：

• 您要使用的 Snowflake Connector for Spark 版本。

• 您正在使用的 Spark 版本。

• 您正在使用的 Scala 版本。

您可以从 Maven 下载 Snowflake Spark Connector。如果您想构建驱动程序，可以从 Github 访问源代码。

第 2 步：下载 Snowflake JDBC 驱动程序的兼容版本¶

接下来，需要下载与您正使用的 Snowflake Spark 连接器版本兼容的 Snowflake JDBC 驱动程序版本。

在 Maven Central Repository 的 JDBC Driver 页面 (https://central.sonatype.com/search?q=g%3Anet.snowflake%20snowflake-jdbc) 中，Snowflake JDBC 驱动程序作为标准的 Java 包提供。您可以将该包作为 .jar 文件下载，也可以直接引用该包。这些说明假设您引用了该包。

要查找您正使用的 Snowflake Spark Connector 版本支持的 Snowflake JDBC 驱动程序版本，请参阅 Snowflake Connector for Spark 版本说明。

有关下载和安装 Snowflake JDBC 驱动程序的更多详细信息，请参阅 下载/集成 JDBC 驱动程序。

第 3 步（可选）：验证 Snowflake Connector for Spark 包签名¶

要验证 Snowflake Connector for Spark 包签名，请执行以下步骤：

1. 从公钥服务器中，下载并导入您正使用的 Snowflake Connector for Spark 版本的 Snowflake GPG 公钥：

   • 对于版本 2.11.1 及更高版本：

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 630D9F3CAB551AF3

   • 对于版本 2.8.2 至 2.11.0：

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 37C7086698CB005C

   • 对于版本 2.4.13 至 2.8.1：

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys EC218558EABB25A1

   • 对于版本 2.4.12 及更低版本：

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 93DB296A69BE019A

   备注

   如果此命令失败并出现以下错误：

   gpg: keyserver receive failed: Server indicated a failure
   

   Copy

   然后指定您要将端口 80 用于密钥服务器：

   gpg --keyserver hkp://keyserver.ubuntu.com:80  ...
   

   Copy

2. 运行 gpg --verify 命令来验证包的签名。

   对于 --verify 命令行标志，将您 之前下载 的 .asc 文件指定为签名文件，并将 JAR 文件指定为包含签名数据的文件。

   $ gpg --verify spark-snowflake_x.xx-N.N.N-spark_P.P.jar.asc spark-snowflake_x.xx-N.N.N-spark_P.P.jar
   gpg: Signature made Wed 22 Feb 2017 04:31:58 PM UTC using RSA key ID <gpg_key_id>
   gpg: Good signature from "Snowflake Computing <snowflake_gpg\ @snowflake.net>"
   

   Copy

   其中：

   • x.xx 是 Scala 版本（例如 2.12）。

   • N.N.N 是 Snowflake Connector for Spark 的版本（例如 2.12.0）。

   • P.P 是 Spark 版本（例如 3.4）。

   备注

   验证签名会产生类似于以下内容的警告：

   gpg: Signature made Mon 24 Sep 2018 03:03:45 AM UTC using RSA key ID <gpg_key_id>
   gpg: Good signature from "Snowflake Computing <snowflake_gpg@snowflake.net>" unknown
   gpg: WARNING: This key is not certified with a trusted signature!
   gpg: There is no indication that the signature belongs to the owner.
   

   Copy

   为了避免警告，您可以授予 Snowflake GPG 公钥隐式信任。

3. 您的本地环境可以包含多个 GPG 密钥；然而，出于安全原因，Snowflake 会定期轮换 GPG 公钥。作为最佳实践，我们建议在确认最新密钥适用于最新签名的包后删除现有公钥。例如：

   $ gpg --delete-key "Snowflake Computing"
   

   Copy

第 4 步：配置本地 Spark 集群或 Amazon EMR 托管的 Spark 环境¶

如果您有本地 Spark 安装，或者 位于 Amazon EMR 中的 Spark 安装 (http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-spark-shell.html)，则需要配置 spark-shell 程序，以包含 Snowflake JDBC 驱动程序和 Spark Connector：

• 要包含 Snowflake JDBC 驱动程序，请使用 --package 选项引用来自 Maven Central Repository 的 JDBC Driver 页面 (https://central.sonatype.com/search?q=g%3Anet.snowflake%20snowflake-jdbc) 的 JDBC 包，并提供 您要使用的驱动程序的确切版本 （例如 net.snowflake:snowflake-jdbc:3.13.30）。

• 要包含 Spark Connector，请使用 --package 选项引用在 Maven Central Repository 中托管的合适的包（Scala 2.12 (https://central.sonatype.com/search?q=g%3Anet.snowflake%20a%3Aspark-snowflake_2.12) 或者 Scala 2.13 (https://central.sonatype.com/search?q=g%3Anet.snowflake%20a%3Aspark-snowflake_2.13)），并提供您要使用的驱动程序的确切版本（例如 net.snowflake:spark-snowflake_2.12:2.12.0-spark_3.4）。

例如：

spark-shell --packages net.snowflake:snowflake-jdbc:3.13.22,net.snowflake:spark-snowflake_2.12:2.12.0-spark_3.4

Copy

准备一个 AWS 外部 S3 桶¶

准备一个外部 S3 桶，供该连接器用于在 Snowflake 和 Spark 之间交换数据。然后，您向该连接器提供位置信息，以及位置的必要 AWS 凭据。有关更多详细信息，请参阅下一个主题中的 对 S3 进行身份验证以进行数据交换。

准备 Azure Blob 存储容器¶

准备一个外部 Azure Blob 存储容器，供该连接器用于在 Snowflake 和 Spark 之间交换数据。然后，您向该连接器提供位置信息，以及位置的必要 Azure 凭据。有关更多详细信息，请参阅下一个主题中的 对 Azure 进行身份验证以进行数据交换。