大型语言模型 (LLM) 函数 (Snowflake Cortex)¶

所需权限¶

SNOWFLAKE 数据库中的 CORTEX_USER 数据库角色包含了允许用户调用 Snowflake Cortex LLM 函数的权限。默认情况下，CORTEX_USER 角色被授予给 PUBLIC 角色。PUBLIC 角色会自动授予给所有用户和角色，从而允许您账户中的所有用户使用 Snowflake Cortex LLM 函数。

如果您不希望所有用户都拥有此权限，则可以撤消对 PUBLIC 角色的访问权限，并授予对特定角色的访问权限。

要从 PUBLIC 角色中撤消 CORTEX_USER 数据库角色，请使用 ACCOUNTADMIN 角色运行以下命令：

REVOKE DATABASE ROLE SNOWFLAKE.CORTEX_USER
  FROM ROLE PUBLIC;

然后，您可以有选择地提供对特定角色的访问权限。不能直接向用户授予 SNOWFLAKE.CORTEX_USER 数据库角色。有关更多信息，请参阅 使用 SNOWFLAKE 数据库角色。具有 ACCOUNTADMIN 角色的用户可以将此角色授予自定义角色，以允许用户访问 Cortex LLM 函数。在以下示例中，使用 ACCOUNTADMIN 角色，并通过您为此目的创建的账户角色 cortex_user_role 向用户 some_user 授予 CORTEX_USER 数据库角色。

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_user_role;

GRANT ROLE cortex_user_role TO USER some_user;

您还可以通过特定用户组通常使用的现有角色，授予对 Snowflake Cortex LLM 函数的访问权限。（请参阅 用户角色。）例如，如果您创建了一个 analyst 角色（它被组织中的分析师用作默认角色），则可以使用一条 GRANT 语句，轻松地向这些用户授予对 Snowflake Cortex LLM 函数的访问权限。

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE analyst;

可用性¶

Snowflake Cortex LLM 函数目前在以下区域可用。

成本注意事项¶

Snowflake Cortex LLM 函数根据处理的词元数产生计算成本。请参阅 消耗表，以了解每个函数的每百万个词元消耗的 credit 成本。

词元是 Snowflake Cortex LLM 函数处理的最小文本单位，大约等于四个字符的文本。原始输入或输出文本与词元的等价性可能因模型而异。

• 对于在响应中生成新文本的函数（COMPLETE、SUMMARIZE 和 TRANSLATE），输入和输出词元都被计数。

• 对于 EMBED_TEXT_768 函数，仅输入词元被计数。

• 对于仅从输入中提取信息的函数（EXTRACT_ANSWER 和 SENTIMENT），仅输入词元被计数。

• 对于 EXTRACT_ANSWER，可计费词元的数量是 from_text 和 question 字段中的词元数量之和。

• SUMMARIZE、TRANSLATE、EXTRACT_ANSWER 和 SENTIMENT 会向输入文本添加提示，以生成响应。因此，输入词元计数略高于您提供的文本中的词元数。

Snowflake 建议在使用较小仓库（不大于 MEDIUM）的情况下执行调用 Snowflake Cortex LLM 函数的查询，因为较大的仓库不会提高性能。在执行调用 Snowflake Cortex LLM 函数的查询时，与保持仓库活动相关的成本将继续适用。有关计算成本的一般信息，请参阅 了解计算成本。

SELECT *
  FROM snowflake.account_usage.metering_daily_history
  WHERE SERVICE_TYPE='AI_SERVICES'

使用量配额¶

为确保所有 Snowflake 客户都可以访问 LLM 功能，Snowflake Cortex LLM 函数在高使用率期间可能会受到限流。使用量配额不会在账户级别应用。

受到限流的请求将收到一个 错误响应，并应稍后重试。

管理成本和限流¶

在调用 Snowflake Cortex LLM 函数时，Snowflake 建议使用不大于 MEDIUM 的仓库。使用不必要的较大仓库不会提高性能，但可能会导致不必要的成本和更高的限流风险。由于产品更新在即，此建议将来可能不适用。

模型限制¶

Snowflake Cortex 使用的模型具有大小限制，如下表所述。大小以词元数指定。词元通常对应于单词，但并非所有词元都是单词，因此限制对应的单词数略小于词元数。超过限制的输入将导致错误。

选择模型¶

Snowflake Cortex COMPLETE 函数支持多种不同功能、延迟和成本的模型。 这些模型经过精心挑选，符合常见的客户用例。要实现最佳的 每 credit 性能，请选择与任务的内容大小和复杂性正确匹配的模型。以下是可用模型的简要概述。

LLM 函数概览¶

错误条件¶

Snowflake Cortex LLM 函数可能会生成以下错误消息。

将 Snowflake Cortex LLM 函数与 Python 一起使用¶

Snowflake Cortex LLM 函数可用于 Snowpark ML 版本 1.1.2 及更高版本。请参阅 安装 Snowpark ML，以了解有关设置 Snowpark ML 的说明。

如果在 Snowflake 之外运行 Python 脚本，则必须创建 Snowpark 会话才能使用这些函数。有关说明，请参阅 连接到 Snowflake。

以下 Python 示例演示了如何对单个值调用 Snowflake Cortex LLM 函数：

from snowflake.cortex import Complete, ExtractAnswer, Sentiment, Summarize, Translate

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(Complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(ExtractAnswer(text, "When was snowflake founded?"))
print(Sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(Summarize(text))
print(Translate(text, "en", "fr"))

您也可以对表列调用 LLM 函数，如下所示。此示例需要一个会话对象（存储在 session 中）和一个包含文本列 abstract_text 的表 articles，并会创建一个新列 ``abstract_summary``（包含摘要的汇总）。

from snowflake.cortex import Summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    Summarize(col("abstract_text"))
)
article_df.collect()

法律声明¶

请参阅 Snowflake AI 功能。