ML 的容器运行时的笔记本¶

导入更多包¶

除了预安装的包以便让您的笔记本启动和运行外，您还可以从已设置外部访问的公共源安装包。您还可以使用存储在暂存区或专用存储库中的包。您需要使用 ACCOUNTADMIN 角色或可以创建外部访问集成 (EAIs) 的角色来设置并授予您访问特定外部端点的权限。使用 ALTER NOTEBOOK 命令在您的笔记本上启用外部访问。授权后，您会在 Notebook settings 中看到 EAIs。在开始从外部通道安装之前，请切换 EAIs。有关说明，请参阅 使用外部访问权限和密钥配置笔记本。

以下示例在代码单元格中使用 pip install 安装外部包：

!pip install transformers scipy ftfy accelerate

更新笔记本设置¶

您可以随时在 Notebook settings 中更新设置，例如使用哪个计算池或仓库，可以通过右上角的 笔记本操作 菜单访问。

您可以在 Notebook settings 中更新的设置之一是空闲超时设置。空闲超时的默认值为 1 小时，您可以将其设置为最长 72 小时。要在 SQL 中设置此项，请使用 CREATE NOTEBOOK 或 ALTER NOTEBOOK 命令来设置笔记本的 IDLE_AUTO_SHUTDOWN_TIME_SECONDS 属性。

安装专用包¶

Pip 支持从具有 基本身份验证 (https://pip.pypa.io/en/stable/topics/authentication/#basic-http-authentication) 的私有源安装软件包，例如 JFrog Artifactory。配置笔记本以进行外部访问集成 (EAI)，以便它可以访问存储库。

1. 创建网络规则以指定您要访问的存储库。例如，此网络规则指定了一个 JFrog 存储库：

   CREATE OR REPLACE NETWORK RULE jfrog_network_rule
     MODE = EGRESS
     TYPE = HOST_PORT
     VALUE_LIST = ('<your-repo>.jfrog.io');
   

   Copy

2. Create a secret that represents credentials required to authenticate with the external network location.

   CREATE OR REPLACE SECRET jfrog_token
     TYPE = GENERIC_STRING
     SECRET_STRING = '<your-jfrog-token>';
   

   Copy

3. 创建一个外部访问集成，以允许访问存储库：

   CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION jfrog_integration
     ALLOWED_NETWORK_RULES = (jfrog_network_rule)
     ALLOWED_AUTHENTICATION_SECRETS = (jfrog_token)
     ENABLED = TRUE;
   
   GRANT USAGE ON INTEGRATION jfrog_integration TO ROLE data_scientist;
   

   Copy

4. Associate the external access integration and secret with the notebook.

   ALTER NOTEBOOK my_notebook
     SET EXTERNAL_ACCESS_INTEGRATIONS = (jfrog_integration),
       SECRETS = ('jfrog_token' = jfrog_token);
   

   Copy

5. 要访问外部访问配置，请选择笔记本右上角的 |vertical-ellipsis|（Notebook actions 菜单）。

6. 选择 Notebook settings，然后选择 External access 选项卡。

7. 选择 EAI 以连接到存储库。

   笔记本重新启动。

8. 笔记本重新启动后，您可以从存储库安装：

   !pip install hello-jfrog --index-url https://<user>:<token>@<your-repo>.jfrog.io/artifactory/api/pypi/test-pypi/simple
   

   Copy

使用专用连接安装专用包¶

如果您的专用包存储库需要专用连接，请按照以下步骤配置账户。如果您需要帮助，可以与您的账户管理员协调以设置网络规则。

1. 按照 使用专用连接的网络出口 中的步骤，使用专用连接设置网络出口。

2. Create a secret that represents credentials required to authenticate with the external network location.

   CREATE OR REPLACE SECRET jfrog_token
     TYPE = GENERIC_STRING
     SECRET_STRING = '<your-jfrog-token>';
   

   Copy

3. 从第 1 步，使用网络规则创建一个 EAI。例如：

   CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION private_repo_integration
     ALLOWED_NETWORK_RULES = (PRIVATE_LINK_NETWORK_RULE)
     ALLOWED_AUTHENTICATION_SECRETS = (jfrog_token)
     ENABLED = TRUE;
   
   GRANT USAGE ON INTEGRATION private_repo_integration TO ROLE data_scientist;
   

   Copy

4. Associate the external access integration and secret with the notebook.

   ALTER NOTEBOOK my_notebook
     SET EXTERNAL_ACCESS_INTEGRATIONS = (jfrog_integration),
       SECRETS = ('jfrog_token' = jfrog_token);
   

   Copy

5. 要访问外部访问配置，请选择笔记本右上角的 |vertical-ellipsis|（Notebook actions 菜单）。

6. 选择 Notebook settings，然后选择 External access 选项卡。

7. 选择 EAI 以连接到您的专用存储库。

   笔记本重新启动。

8. 在笔记本重新启动后，您可以提供存储库的 --index-url：

   !pip install my_package --index-url https://my-private-repo-url.com/simple
   

   Copy

使用 OSS ML 库¶

以下示例使用一个 OSS ML 库，xgboost，并且有一个活跃的 Snowpark 会话，以便直接将数据提取到内存中进行训练：

from snowflake.snowpark.context import get_active_session
import pandas as pd
import xgboost as xgb
from sklearn.model_selection import train_test_split

session = get_active_session()
df = session.table("my_dataset")
# Pull data into local memory
df_pd = df.to_pandas()
X = df_pd[['feature1', 'feature2']]
y = df_pd['label']
# Split data into test and train in memory
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.15, random_state=34)
# Train in memory
model = xgb.XGBClassifier()
model.fit(X_train, y_train)
# Predict
y_pred = model.predict(X_test)

限制¶

容器运行时笔记本会话启动后，它可以运行长达 7 天而不会中断。若在七天后遇到预定的 ​​SPCS 服务维护事件，该服务可能会中断并关闭。笔记本空闲时间设置仍然适用。有关 SPCS 服务维护的详细信息，请参阅 计算池维护。