ML 的容器运行时的笔记本¶

导入更多包¶

除了预安装的包以便让您的笔记本启动和运行外，您还可以从已设置外部访问的公共源安装包。您还可以使用存储在暂存区或专用存储库中的包。您需要使用 ACCOUNTADMIN 角色或可以创建外部访问集成 (EAIs) 的角色来设置并授予您访问特定外部端点的权限。使用 ALTER NOTEBOOK 命令在您的笔记本上启用外部访问。授权后，您会在 Notebook settings 中看到 EAIs。在开始从外部通道安装之前，请切换 EAIs。有关说明，请参阅 创建外部访问集成 (EAI)。

以下示例在代码单元格中使用 pip install 安装外部包：

!pip install transformers scipy ftfy accelerate

更新笔记本设置¶

您可以随时在 Notebook settings 中更新设置，例如使用哪个计算池或仓库，可以通过右上角的 笔记本操作 菜单访问。

您可以在 Notebook settings 中更新的设置之一是空闲超时设置。空闲超时的默认值为 1 小时，您可以将其设置为最长 72 小时。要在 SQL 中设置此项，请使用 CREATE NOTEBOOK 或 ALTER NOTEBOOK 命令来设置笔记本的 IDLE_AUTO_SHUTDOWN_TIME_SECONDS 属性。

安装专用包¶

Pip 支持从具有 基本身份验证 (https://pip.pypa.io/en/stable/topics/authentication/#basic-http-authentication) 的私有源安装软件包，例如 JFrog Artifactory。配置笔记本以进行外部访问集成 (EAI)，以便它可以访问存储库。

1. 创建网络规则以指定您要访问的存储库。例如，此网络规则指定了一个 JFrog 存储库：

   CREATE OR REPLACE NETWORK RULE jfrog_network_rule
     MODE = EGRESS
     TYPE = HOST_PORT
     VALUE_LIST = ('<your-repo>.jfrog.io');
   

   Copy

2. 创建一个外部访问集成，以允许访问存储库：

   CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION jfrog_integration
     ALLOWED_NETWORK_RULES = (jfrog_network_rule)
     ENABLED = TRUE;
   
   GRANT USAGE ON INTEGRATION jfrog_integration TO ROLE data_scientist;
   

   Copy

3. 要访问外部访问配置，请选择笔记本右上角的 |vertical-ellipsis|（Notebook actions 菜单）。

4. 选择 Notebook settings，然后选择 External access 选项卡。

5. 选择 EAI 以连接到存储库。

   笔记本重新启动。

6. 笔记本重新启动后，您可以从存储库安装：

   !pip install hello-jfrog --index-url https://<user>:<token>@<your-repo>.jfrog.io/artifactory/api/pypi/test-pypi/simple
   

   Copy

使用专用连接安装专用包¶

如果您的专用包存储库需要专用连接，请按照以下步骤配置账户。如果您需要帮助，可以与您的账户管理员协调以设置网络规则。

1. 按照 使用专用连接的网络出口 中的步骤，使用专用连接设置网络出口。

2. 从第 1 步，使用网络规则创建一个 EAI。例如：

   CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION private_repo_integration
     ALLOWED_NETWORK_RULES = (PRIVATE_LINK_NETWORK_RULE)
     ENABLED = TRUE;
   
   GRANT USAGE ON INTEGRATION private_repo_integration TO ROLE data_scientist;
   

   Copy

3. 要访问外部访问配置，请选择笔记本右上角的 |vertical-ellipsis|（Notebook actions 菜单）。

4. 选择 Notebook settings，然后选择 External access 选项卡。

5. 选择 EAI 以连接到您的专用存储库。

   笔记本重新启动。

6. 在笔记本重新启动后，您可以提供存储库的 --index-url：

   !pip install my_package --index-url https://my-private-repo-url.com/simple
   

   Copy

使用新的容器优化库¶

ML 容器运行时集成了专门为容器环境中的 ML 开发量身定制的新 APIs。通过将处理分配到多个核心，这些 APIs 提供了优化的数据加载、模型训练和超参数优化。在 Snowflake ML 开发者指南的 容器运行时 部分了解更多有关这些 APIs 的信息。

使用 OSS ML 库¶

以下示例使用一个 OSS ML 库，xgboost，并且有一个活跃的 Snowpark 会话，以便直接将数据提取到内存中进行训练：

from snowflake.snowpark.context import get_active_session
import pandas as pd
import xgboost as xgb
from sklearn.model_selection import train_test_split

session = get_active_session()
df = session.table("my_dataset")
# Pull data into local memory
df_pd = df.to_pandas()
X = df_pd[['feature1', 'feature2']]
y = df_pd['label']
# Split data into test and train in memory
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.15, random_state=34)
# Train in memory
model = xgb.XGBClassifier()
model.fit(X_train, y_train)
# Predict
y_pred = model.predict(X_test)

使用 Snowflake ML 建模 APIs¶

当 Snowflake 的 ML 建模 APIs 用于 ML 容器运行时的时候，所有执行（包括训练和预测）都直接发生在容器运行时中，而不是在查询仓库中。容器运行时中的 Snowflake ML 可以更快地拉取数据，并且推荐用于大规模训练。在 GPU 运行时，Snowflake ML 默认将使用所有 GPUs 来加速训练。

以下代码块示例使用 XGBoost 进行建模：

from snowflake.snowpark.context import get_active_session
from snowflake.ml.modeling.xgboost import XGBClassifier
from snowflake.ml.modeling.metrics import accuracy_score

session = get_active_session()
df = session.table("my_dataset")
feature_cols=['FEATURE1', 'FEATURE2']
label_col = 'LABEL'
predicted_col = [PREDICTED_LABEL]
df = df[features_cols + [label_col]]
# Split is pushed down to associated warehouse
train_df, test_df = df.random_split(weights=[0.85, 0.15], seed=34)

model = XGBClassifier(
    input_cols=feature_cols,
    label_cols=label_col,
    output_cols=predicted_col,
    # This will enable leveraging all GPUs on the node
    tree_method="gpu_hist",
)
# Train
model.fit(train_df)
# Predict
result = model.predict(test_df)

accuracy = accuracy_score(
df=result,
y_true_col_names=label_cols,
y_pred_col_names=predicted_col)

以下是使用轻量梯度提升机 (LightGBM) 的示例：

from snowflake.snowpark.context import get_active_session
from snowflake.ml.modeling.lightgbm import LGBMClassifier
from snowflake.ml.modeling.metrics import accuracy_score

session = get_active_session()
df = session.table("my_dataset")
feature_cols=['FEATURE1', 'FEATURE2']
label_col = 'LABEL'
predicted_col = [PREDICTED_LABEL]

df = df[features_cols + [label_col]]
# Split is pushed down to associated warehouse
train_df, test_df = df.random_split(weights=[0.85, 0.15], seed=34)

model = LGBMClassifier(
    input_cols=feature_cols,
    label_cols=label_col,
    ouput_cols=predicted_col,
    # This will enable leveraging all GPUs on the node
    device_type="gpu",
)

# Train
model.fit(train_df)
# Predict
result = model.predict(test_df)

accuracy = accuracy_score(
df=result,
y_true_col_names=label_cols,
y_pred_col_names=predicted_col)

使用新的容器优化库¶

ML 容器运行时预安装了专门为容器环境中的 ML 训练量身定制的新 APIs。

限制¶

• 在 ML 容器运行时中，Snowflake ML 建模 API 仅支持 predict、predict_proba、predict_log_proba 推理方法。其他方法在查询仓库中运行。

• 在容器运行时中，Snowflake ML 建模 API 仅支持 sklearn 兼容的管道。

• 在 ML 容器运行时中，Snowflake ML 建模 API 不支持 preprocessing 或 metrics 类。这些在查询仓库中运行。

• fit、predict 和 score 方法在 ML 容器运行时中执行。其他 Snowflake ML 方法在查询仓库中运行。

• sample_weight_cols 不支持 XGBoost 或 LightGBM 模型。