预置吞吐量¶

概述¶

使用预置吞吐量为 Snowflake Cortex 上的托管推理预留吞吐量。您可以将吞吐量大小指定为预置吞吐量单位 (PTU)，然后 Cortex 将按一个月为周期分配所需容量。您可以在 REST API 调用中使用 PTUs，以获得一致的最终用户体验。该功能适用于 AWS 和 Azure 云中的以下模型：

• Mistral Large 2

• Llama 3.1-405B

• Llama 3.1-70B

• Llama 3.1-8B

• Snowflake-Llama3.3-70B

• Snowflake-Llama3.3-405B

访问控制要求¶

用户必须使用已获授予 SNOWFLAKE.CORTEX_USER 数据库角色，该角色必须具有 PT ID 的 USAGE 权限。有关此权限的更多信息，请参阅 权限。

GRANT CREATE PROVISIONED THROUGHPUT ON ACCOUNT TO ROLE <role>

GRANT USAGE ON PROVISIONED THROUGHPUT <pt_id> TO ROLE <role>

最低预置吞吐量单位要求¶

预置吞吐量受最低和增量 PTU 要求的约束。“最低 PTUs”列中的每个模型或功能都显示您必须请求的 PTUs 的最小数量。如果请求的 PTUs 数量低于最低要求，系统将拒绝该请求。

如果您需要的吞吐量超出模型的最低 PTUs 配置，则需要额外的 PTUs。“增量 PTUs”列显示超出您可以请求的“最低 PTUs”的 PTU 增量。请求必须指定 PTUs，使得超出最小值的数量是增量的整数倍；否则，请求将被拒绝。

下表列出了可用的模型、每种模型的最低 PTUs 要求以及超出最低限度的额外 PTUs 的增量要求。

确定 PTU 大小¶

应用程序所需的 PTUs 取决于工作负载配置文件。例如，在 Llama 3.1-8B 上，每分钟 500 个请求 (RPM)、每个请求输出 500 个词元的工作负载至少为 64 个 PTUs。它每分钟提供 96 万个词元的吞吐量。如果您需要更高的吞吐量，可以 32 为增量请求额外的 PTUs。

刚开始时，可以使用模型的最低 PTUs，并根据需要添加增量。

成本注意事项¶

在预置吞吐量期限内，您按照 `Snowflake Credit 消耗表<https://www.snowflake.com/legal-files/CreditConsumptionTable.pdf>`_ 中列出的费率每 PTU 每小时消耗 credit。无论您在期限内的实际使用量如何，您都需要为分配的 PTUs 付费。该期限在 PT 上午 8:00 开始和结束，以预置吞吐量创建中提供的日期为准。

预置吞吐量不会自动续订。要为下一个期限保留吞吐量，请参阅下一节。

预留吞吐量¶

本教程将指导您完成在 Cortex COMPLETE 函数的 REST API 调用中保留和使用预配置吞吐量的过程。

CREATE PROVISIONED THROUGHPUT my_pt CLOUD_PROVIDER='aws', MODEL='llama3.1-8B', PTUS=64, TERM_START='2025-04-15' TERM_END='2025-05-15'

DESCRIBE PROVISIONED THROUGHPUT my_pt

curl --location 'https://some-account-identifier.snowflakecomputing.cn/api/v2/cortex/inference:complete' \
--header 'X-Snowflake-Authorization-Token-Type: KEYPAIR_JWT' \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'Authorization: ••••••' \
--data '{
  "model": "snowflake-llama-3.1-8b",
  "messages": [
  {
      "content": "Write an essay on the benefits of provisioned throughput."
  }
  ],
  "provisioned_throughput_id": "f3a27d60-f61f-4247-8aa3-6272ea0d7a8d"
}'