使用第三方包¶

开始使用¶

Snowflake 有一个名为 snowflake.snowpark.pypi_shared_repository 的默认 Artifact Repository，用于在 Snowpark UDFs 和过程中连接和安装 PyPI 包。要让用户使用此存储库，账户管理员（已被授予 ACCOUNTADMIN 角色的用户）需要向用户的角色授予 SNOWFLAKE PYPI_REPOSITORY_USER 数据库角色：

GRANT DATABASE ROLE SNOWFLAKE.PYPI_REPOSITORY_USER TO ROLE some_user_role;

要将此角色授予账户中的所有用户，账户管理员可以向 PUBLIC 角色授予 SNOWFLAKE.PYPI_REPOSITORY_USER 数据库角色：

GRANT DATABASE ROLE SNOWFLAKE.PYPI_REPOSITORY_USER TO ROLE PUBLIC;

然后，从存储库中安装该包。创建 UDF 时，将 ARTIFACT_REPOSITORY 参数设置为 Artifact Repository 的名称。您还可以将 PACKAGES 参数设置为将来自 Artifact Repository 的包的名称列表。在以下示例中，由于 Artifact Repository 配置了 PyPI，因此包 scikit-learn 来自于 PyPI。

PACKAGES = ('scikit-learn==1.5')

CREATE OR REPLACE FUNCTION sklearn_udf()
  RETURNS FLOAT
  LANGUAGE PYTHON
  RUNTIME_VERSION = 3.9
  ARTIFACT_REPOSITORY = snowflake.snowpark.pypi_shared_repository
  PACKAGES = ('scikit-learn')
  HANDLER = 'udf'
  AS
$$
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

def udf():
  X, y = load_iris(return_X_y=True)
  X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

  model = RandomForestClassifier()
  model.fit(X_train, y_train)
  return model.score(X_test, y_test)
$$;

SELECT sklearn_udf();

仅为 x86 构建的包¶

如果某个包仅为 x86 构建，请选择一个使用 x86 CPU 架构的仓库：MEMORY_1X_x86、MEMORY_16X_x86。有关更多信息，请参阅 Snowpark-Optimized Warehouses。

然后指定：RESOURCE_CONSTRAINT=(architecture='x86')。请查看以下示例。

CREATE OR REPLACE FUNCTION pymeos_example()
RETURNS STRING
LANGUAGE PYTHON
HANDLER='main'
RUNTIME_VERSION='3.11'
ARTIFACT_REPOSITORY=snowflake.snowpark.pypi_shared_repository
PACKAGES=('pymeos') -- dependency pymeos-cffi is x86 only
RESOURCE_CONSTRAINT=(architecture='x86')
AS $$
def main() -> str:
   from pymeos import pymeos_initialize, pymeos_finalize, TGeogPointInst, TGeogPointSeq

   # Always initialize MEOS library
   pymeos_initialize()

   sequence_from_string = TGeogPointSeq(
      string='[Point(10.0 10.0)@2019-09-01 00:00:00+01, Point(20.0 20.0)@2019-09-02 00:00:00+01, Point(10.0 10.0)@2019-09-03 00:00:00+01]')

   sequence_from_points = TGeogPointSeq(instant_list=[TGeogPointInst(string='Point(10.0 10.0)@2019-09-01 00:00:00+01'),
        TGeogPointInst(string='Point(20.0 20.0)@2019-09-02 00:00:00+01'),
        TGeogPointInst(string='Point(10.0 10.0)@2019-09-03 00:00:00+01')],
          lower_inc=True, upper_inc=True)
   speed = sequence_from_points.speed()

   # Call finish at the end of your code
   pymeos_finalize()

   return speed
$$;

SELECT pymeos_example();

您可以在 UDF 和存储过程客户端 APIs 中使用 Artifact Repository，如下所示：

• snowflake.snowpark.udf.UDFRegistration

• snowflake.snowpark.functions.sproc

使用它们时，请指定以下参数：

• ARTIFACT_REPOSITORY

• PACKAGES

并在 PACKAGES 字段中提供包名称。

请查看以下示例：

...
ARTIFACT_REPOSITORY="snowflake.snowpark.pypi_shared_repository",
PACKAGES=["urllib3", "requests"],
...

Copy

故障排除¶

函数或过程创建部分的包安装失败。您可以在本地运行以下 pip 命令来查看包规范是否有效：

pip install <package name> --only-binary=:all: --python-version 3.9 –platform <platform_tag>

限制¶

• 目前，Snowflake 仅支持二进制分发格式（即 wheel 文件）。

• 不支持访问私有存储库。

• 您不能直接在笔记本中直接使用此功能。但是，您可以使用在笔记本中使用 PyPI 包的 UDF 或存储过程。

• 您无法在匿名存储过程中使用 Artifact Repository。

开始使用¶

在开始使用 Snowflake 中的 Anaconda 提供的包之前，您必须确认 外部产品条款。

1. 登录 Snowsight。

2. 选择 Admin » Terms。

3. 在 Anaconda 部分中，选择 Enable。

4. 在 Anaconda Packages 对话框中，单击链接查看 外部产品条款页面。

5. 如果您同意条款，请选择 Acknowledge & Continue。

如果您在尝试接受 外部产品条款 时遇到错误，可能是由于您的用户配置文件中缺少信息，如姓名或电子邮件地址。如果您具有管理员权限，请参阅 向您的用户简介添加用户详细信息，以使用 Snowsight 更新您的简介。否则，请联系管理员 更新您的账户。

显示和使用包¶

select * from information_schema.packages where language = 'python';

select * from information_schema.packages where (package_name = 'numpy' and language = 'python');

desc function stock_sale_average(varchar, number, number);

冷仓库性能¶

为了更有效地管理资源，新预置的虚拟仓库不会预先安装 Anaconda 包。相反，Anaconda 包是在第一次使用 UDF 时按需安装的。这些包被缓存起来，以便将来在同一仓库上执行 UDF。当仓库暂停的时候缓存会被弃用。这可能会导致首次使用 UDF 或仓库恢复后性能下降。额外的延迟可能约为 30 秒。

单行预测的性能¶

一些数据科学框架，例如 Scikit-learn 和 TensorFlow，在进行单行 ML 预测时可能会很慢。为了提高性能，请进行批量预测而不是单行预测。要执行此操作，您可以使用矢量化的 Python UDFs，通过它可以定义批量接收输入行的 Python 函数，机器学习或数据科学库将在这些函数上进行优化操作。有关更多信息，请参阅 矢量化 Python UDFs。

从数据科学库按需下载数据¶

一些数据科学库（如 NLTK (https://www.nltk.org/data.html)、Keras (https://www.tensorflow.org/api_docs/python/tf/keras/datasets) 和 spaCy (https://spacy.io) ）提供按需下载其他语料库、数据或模型的功能。

然而，由于 Snowflake 安全约束，按需下载不能与 Python UDFs 一起使用，Snowflake 安全约束禁用了一些功能，例如网络访问和写入文件。

要解决此问题，请将数据下载到本地环境，然后通过 Snowflake 暂存区将其提供给 UDF。

XGBoost¶

在 UDF 或 UDTF 中使用 XGBoost 进行并行预测或训练时，每个 XGBoost 实例的并发性应该设置为 1。这确保 XGBoost 在 Snowflake 环境中执行时配置为最佳性能。

示例：

import xgboost as xgb
model = xgb.Booster()
model.set_param('nthread', 1)
model.load_model(...)

import xgboost as xgb
model = xgb.XGBRegressor(n_jobs=1)

TensorFlow/Keras¶

使用 Tensorflow/Keras 进行预测时，请使用 Model.predict_on_batch 而不是 Model.predict。

示例：

import keras
model = keras.models.load_model(...)
model.predict_on_batch(np.array([input]))