Snowpark ML：Snowflake 中的端到端机器学习¶

Snowpark ML Modeling¶

Snowpark ML Modeling 支持使用流行的机器学习框架（如 scikit-learn、xgboost 和 lightgbm）在 Snowflake 中进行数据预处理、特征工程和模型训练。该 API 还包括一个预处理模块，可利用由 Snowpark 优化的数据仓库提供的计算资源，提供可扩展的数据转换。

Snowpark ML Operations¶

Snowpark ML Operations (MLOps) 提供 Snowpark ML Model Registry，补充了 Snowpark ML Development API。该模型注册表允许在 Snowflake 中安全部署和管理模型，并支持在 Snowflake 内部和外部训练的模型。

Snowpark ML Data Access¶

Snowpark ML Data Access 提供了简单而高性能的方法将数据馈送到机器学习模型。

• FileSet API 提供了一个符合 ` Python fsspec <https://filesystem-spec.readthedocs.io/en/latest/ (https://filesystem-spec.readthedocs.io/en/latest/)>`_ 的 API，用于将数据从查询或 Snowpark DataFrame 具体化到 Snowflake 内部暂存区中，它还提供了用于处理数据以及 将数据馈送到 PyTorch 或 TensorFlow 中的便捷方法。

• 我们还推出一组 框架连接器，这些连接器以原生数据加载器格式为 Pytorch 和 Tensorflow 框架提供优化、安全且高性能的数据预置。

从 Snowflake Conda 通道安装 Snowpark ML¶

1. 创建将安装 Snowpark ML 的 Conda 环境。如果您希望使用现有环境，请跳过此步骤。

   conda create --name snowpark-ml
   

   Copy

2. 激活 Conda 环境：

   conda activate snowpark-ml
   

   Copy

3. 从 Snowflake Conda 通道安装 Snowpark ML：

   conda install --override-channels --channel https://repo.anaconda.com/pkgs/snowflake/ snowflake-ml-python
   

   Copy

从 PyPI 安装 Snowpark ML¶

您可以使用标准 Python 包管理器 pip，从 Python 包索引 (PyPI) 安装 Snowpark ML 包。

1. 切换到您的项目目录并激活您的 Python 虚拟环境：

   cd ~/projects/ml
   source .venv/bin/activate
   

   Copy

2. 安装 Snowpark ML 包：

   python -m pip install snowflake-ml-python
   

   Copy

安装可选的建模依赖项¶

某些 Snowpark ML Modeling APIs 需要依赖项，而这些依赖项并未作为 Snowpark ML 的依赖项安装。当您安装 Snowpark ML Modeling 时，默认会安装 scikit-learn 和 xgboost 包，但 lightgbm 是一个可选的依赖项。如果计划使用 snowflake.ml.modeling.lightgbm 命名空间中的类，请自行安装 lightgbm。

使用以下命令激活 conda 环境，并从 Snowflake conda 通道安装 lightgbm。

conda activate snowpark-ml
conda install --override-channels --channel https://repo.anaconda.com/pkgs/snowflake/ lightgbm

使用以下命令激活虚拟环境，并使用 pip 安装 lightgbm。

.venv/bin/activate
python -m pip install 'snowflake-ml-python[lightgbm]'

Snowflake 可能会不时向 Snowpark ML 添加其他可选依赖项。要使用 pip 安装所有可选依赖项，请执行以下操作：

.venv/bin/activate
python -m pip install 'snowflake-ml-python[all]'

设置 Snowpark Python¶

Snowpark Python 是 Snowpark ML 的依赖项，随 Snowpark ML 自动安装。如果您的系统上未设置 Snowpark Python，您可能需要执行其他配置步骤。有关 Snowpark Python 设置说明，请参阅 为 Snowpark Python 设置开发环境。

指定仓库¶

Snowpark ML 的许多部分，例如训练模型或运行推理，都在 Snowflake 仓库中运行代码。这些操作在您用于连接的会话指定的仓库中运行。例如，如果在 SnowSQL 配置文件 中通过指定连接创建会话，就可以在指定配置中使用 warehousename 参数指定仓库。

如果配置中还不存在仓库设置，可以在创建 Session 对象时添加该设置，如此处所示。

from snowflake.snowpark import Session
from snowflake.ml.utils import connection_params
# Get named connection from SnowQSL configuration file
params = connection_params.SnowflakeLoginOptions("myaccount")
# Add warehouse name for model method calls if it's not already present
if "warehouse" not in params:
    params["warehouse"] = "mlwarehouse"
sp_session = Session.builder.configs(params).create()

如果会话中没有指定仓库，或者想使用不同的仓库，请调用会话的 use_warehouse 方法。

sp_session.use_warehouse("mlwarehouse")