跨区域推理¶

推理是使用机器学习模型根据用户输入获得输出的过程。例如，当您调用 SNOWFLAKE.CORTEX.COMPLETE 函数时，您将请求从 LLM 中进行推理，并将提示符作为输入。在 Snowflake 中，您可以配置账户以允许使用 CORTEX_ENABLED_CROSS_REGION 参数进行跨区域推理处理。此参数允许在与默认区域不同的区域中处理推理请求。跨区域推理参数用于确定跨区域推理支持的任何 Snowflake 功能的推理行为，包括 Cortex LLM 函数。

启用后，如果默认区域不支持 LLM 或功能，则会发生跨区域推理。

默认情况下，该参数设置为 DISABLED。这允许仅在默认区域中处理请求。您可以使用 ALTER ACCOUNT 命令指定要允许跨区域推理的区域。

有关此参数的详细信息，请参阅 CORTEX_ENABLED_CROSS_REGION。

访问控制要求¶

此参数只能在账户级别设置，不能在用户或会话级别设置。只有 ACCOUNTADMIN 角色可以使用 ALTER ACCOUNT 命令设置此参数：

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'AWS_US';

Copy

此参数不能由 ORGADMIN 角色设置。

如何使用跨区域推理参数¶

默认情况下，此参数设置为 DISABLED，这意味着只能在默认区域中处理推理请求。以下示例显示如何为各种用例设置跨区域参数。

任何区域¶

要允许支持跨区域推理请求的任何 Snowflake 区域处理您的请求，请将此参数设置为 'ANY_REGION'。

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'ANY_REGION';

Copy

仅默认区域¶

若要仅在默认区域中处理推理请求，请将此参数设置为 'DISABLED'。

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'DISABLED';

Copy

指定区域¶

若要仅允许指定区域处理您的请求，请将此参数设置为以逗号分隔的区域。有关完整的区域列表，请参阅 CORTEX_ENABLED_CROSS_REGION。

以下示例指定 AWS_US 和 AWS_EU 区域以处理推理请求：

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'AWS_US,AWS_EU';

Copy

成本注意事项¶

您将因使用 Snowflake 服务使用量表`_中列出的 LLM 而产生 Credit。Credit 视为已在请求区域中使用。例如，如果您从 ``us-east-2` 区域调用 LLM 函数，并且请求在 us-west-2 区域中处理，则 Credit 视为已在 us-east-2 区域中使用。
使用跨区域推理不会产生数据出口费。

注意事项¶

区域之间的延迟取决于云提供商的基础设施和网络状态。Snowflake 建议您在启用跨区域推理的情况下测试特定用例。
:ref:` 美国SnowGov 区域 <label-us_gov_regions>` 不支持跨区域推理。这意味着您不能在 SnowGov 区域内外提出跨区域推理请求。
您可以在 GCP 或 Azure 区域中使用此设置，对这些区域中不支持的功能进行推理请求。
跨区域推理期间不会存储或缓存用户输入、服务生成的提示和输出。
推理请求所需的数据在各区域间的遍历过程如下：
- 如果源区域和目标区域都在 AWS，则数据将保留在 AWS 全球网络 (https://aws.amazon.com/about-aws/global-infrastructure/) 内。所有流经数据中心和区域互联的 AWS 全球网络的数据都在物理层自动加密。
- 如果这些区域位于不同的云提供商，那么数据将使用相互传输层安全 (mTLS) 遍历公共互联网。
Cortex Search 不支持跨区域推理。

后续步骤¶

有关跨区域推理参数的详细信息，请参阅 SQL 参数参考的 CORTEX_ENABLED_CROSS_REGION 部分。