Snowflake Cortex AISQL（包括 LLM 功能）¶

AISQL 函数¶

特定于任务的函数是专门构建和管理的函数，可以自动执行日常任务，如简单的摘要和快速翻译，不需要任何自定义。

• AI_COMPLETE：使用选定的 LLM 为给定的文本字符串或图像生成补全。将此函数用于大多数生成式 AI 任务。

  • 这是 COMPLETE (SNOWFLAKE.CORTEX) 的更新版本。

• AI_CLASSIFY：将文本或图像分类为用户定义的类别。

  • 这是 CLASSIFY_TEXT (SNOWFLAKE.CORTEX) 的更新版本，支持多标签和图像分类。

• AI_FILTER：对于给定的文本或图像输入，返回 True 或 False，允许您在 SELECT、WHERE 或 JOIN ... ON 子句中筛选结果。

• AI_AGG：聚合文本列，并根据用户定义的提示返回跨多行的洞察。此函数不受上下文窗口限制。

• AI_EMBED：为文本或图像输入生成嵌入向量，该向量可用于相似性搜索、聚类及分类任务。

  • 这是 EMBED_TEXT_1024 (SNOWFLAKE.CORTEX) 的更新版本。

• AI_SUMMARIZE_AGG：聚合文本列并返回跨多行的摘要。此函数不受上下文窗口限制。

• AI_SIMILARITY：计算两个输入之间的嵌入相似度。

• AI_TRANSCRIBE：转录存储在暂存区中的音频文件，提取文本、时间戳及说话者信息。

• PARSE_DOCUMENT (SNOWFLAKE.CORTEX)：从内部或外部暂存区的文档中提取文本（使用 OCR 模式）或带有布局信息的文本（使用 LAYOUT 模式）。

• TRANSLATE (SNOWFLAKE.CORTEX)：在支持的语言之间翻译文本。

• AI_SENTIMENT：从文本中提取情绪分数。

• EXTRACT_ANSWER (SNOWFLAKE.CORTEX)：从非结构化数据中提取问题的答案，前提是相关数据存在。

• SUMMARIZE (SNOWFLAKE.CORTEX)：返回您指定的文本摘要。

辅助函数¶

辅助函数是专门构建和管理的函数，用于减少运行其他 AISQL 函数时的故障情况，例如通过获取输入提示中的词元计数来确保调用不超过模型限制。

• COUNT_TOKENS (SNOWFLAKE.CORTEX)：在给定输入文本的情况下，根据指定的模型或 Cortex 函数返回词元计数。

• TRY_COMPLETE (SNOWFLAKE.CORTEX)：与 COMPLETE 函数类似，但在函数无法执行时返回 NULL，而不是返回错误代码。

Cortex Guard¶

Cortex Guard 是 COMPLETE 函数的一个选项，旨在筛选语言模型中可能存在的不安全和有害响应。Cortex Guard 目前采用 Meta 的 Llama Guard 3 构建。Cortex Guard 的工作原理是在将输出返回给应用程序之前，先评估语言模型的响应。激活 Cortex Guard 后，系统就会过滤可能与暴力犯罪、仇恨、性内容、自我伤害等相关的语言模型响应。有关语法和示例，请参阅 COMPLETE 实参。

账户级别的允许列表参数¶

您可以使用 CORTEX_MODELS_ALLOWLIST 参数控制整个账户的模型访问权限。支持的功能 将遵循此参数值，并阻止使用未在允许列表中的模型。

可以将 CORTEX_MODELS_ALLOWLIST 参数设置为 'All'、'None' 或以逗号分隔的型号名称列表。此参数只能在账户级别设置，不能在用户或会话级别设置。只有 ACCOUNTADMIN 角色可以使用 ALTER ACCOUNT 命令设置参数。

示例：

• 要允许访问所有模型，请执行以下操作：

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'All';
  

  Copy

• 要允许访问 mistral-large2 和 llama3.1-70b 模型，请执行以下操作：

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'mistral-large2,llama3.1-70b';
  

  Copy

• 要防止访问任何模型，请执行以下操作：

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'None';
  

  Copy

如下一节所述，使用 RBAC 为特定角色提供超出您在允许列表中指定的访问权限。

基于角色的访问控制 (RBAC)¶

尽管 Cortex 模型本身并非 Snowflake 对象，但 Snowflake 允许您在 SNOWFLAKE.MODELS 架构中创建代表 Cortex 模型的模型对象。通过对这些对象应用 RBAC，您可以像控制其他 Snowflake 对象一样管理模型访问权限。支持的功能 可在任何需要指定模型的场景中，接受 SNOWFLAKE.MODELS 架构内对象的标识符。

CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();

SHOW MODELS IN SNOWFLAKE.MODELS;

SHOW APPLICATION ROLES IN APPLICATION SNOWFLAKE;

-- set up access
USE SECONDARY ROLES NONE;
USE ROLE ACCOUNTADMIN;
ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'MISTRAL-LARGE2';
CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();
GRANT APPLICATION ROLE SNOWFLAKE."CORTEX-MODEL-ROLE-LLAMA3.1-70B" TO ROLE PUBLIC;

-- test access
USE ROLE PUBLIC;

-- this succeeds because mistral-large2 is in the allowlist
SELECT AI_COMPLETE('MISTRAL-LARGE2', 'Hello');

-- this succeeds because the role has access to the model object
SELECT AI_COMPLETE('SNOWFLAKE.MODELS."LLAMA3.1-70B"', 'Hello');

-- this fails because the first argument is
-- neither an identifier for an accessible model object
-- nor is it a model name in the allowlist
SELECT AI_COMPLETE('SNOWFLAKE-ARCTIC', 'Hello');

常见陷阱¶

• 访问模型（无论是通过允许列表还是 RBAC）并不总是意味着可以使用该模型。该模型可能仍受跨区域限制、版本弃用或其他可用性约束。这些限制可能导致与模型访问错误相似的信息提示。

• 模型访问控制仅管控模型的使用权限，不涉及功能本身的使用，功能可能设有独立的访问控制机制。例如，AI_COMPLETE 访问权限由 CORTEX_USER 数据库角色控制。有关更多信息，请参阅 所需权限。

• 并非所有功能都支持模型访问控制。请参阅 支持的功能 表，查看给定功能支持哪些访问控制方法。

• 次要角色可能造成权限模糊。例如，若用户将 ACCOUNTADMIN 设为次要角色，所有模型对象可能显示为可访问状态。验证权限时暂时禁用次要角色。

• 请注意：使用 RBAC 时必须采用模型对象标识符，且这些标识符需加引号，故区分大小写。有关更多信息，请参阅 QUOTED_IDENTIFIERS_IGNORE_CASE。

支持的功能¶

以下功能支持模型访问控制：

跟踪 AI 服务的成本¶

要跟踪账户中用于 AI 服务（包括 LLM 函数）的 credit，请使用 METERING_HISTORY 视图：

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_DAILY_HISTORY
  WHERE SERVICE_TYPE='AI_SERVICES';

跟踪 AISQL 函数的 credit 使用量¶

要查看每个 AISQL 函数调用的 credit 和词元使用量，请使用 CORTEX_FUNCTIONS_USAGE_HISTORY 视图：

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_USAGE_HISTORY;

您还可以在 Snowflake 账户中查看每次查询的 credit 和令牌使用量。查看每次查询的 credit 和令牌使用量可帮助您确定使用 credit 和令牌最多的查询。

以下示例查询使用 CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY 视图 以显示您账户中所有查询的 Credit 和词元使用量。

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY;

您还可以使用同一视图查看特定查询的 Credit和词元使用量。

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY
WHERE query_id='<query-id>';

查询使用历史记录按查询中使用的模型分组。例如，如果您运行了以下命令：

SELECT AI_COMPLETE('mistral-7b', 'Is a hot dog a sandwich'), AI_COMPLETE('mistral-large', 'Is a hot dog a sandwich');

查询使用历史记录将显示两行，一行是 mistral-7b，一行是 mistral-large。

大型模型¶

如果您不确定从哪里开始，请先尝试功能最强大的模型，以建立评估其他模型的基准。claude-3-7-sonnet、reka-core 和 mistral-large2 是 Snowflake Cortex 提供的最强大的模型，它们将让您很好地了解最先进的模型可以做什么。

• Claude 3-7 Sonnet 在一般推理和多模态能力方面处于领先地位。它在需要跨领域和模态推理的任务中表现优于其前几代。您可以利用其庞大的输出容量，从结构化或非结构化查询中获取更多信息。它的推理能力和大型上下文窗口使其非常适合代理工作流程。

• deepseek-r1 是一个基于大规模强化学习 (RL) 训练的基础模型，未经过监督微调 (SFT)。它在数学、代码和推理任务上均能实现高性能表现。要访问模型，请将 跨区域推理参数 设为 AWS_US。

• mistral-large2 是 Mistral AI 先进的大型语言模型，具有极强的推理能力。与 mistral-large 相比，它在代码生成、数学、推理方面的能力要强得多，并提供更强大的多语言支持，非常适合需要大量推理能力或高度专业化的复杂任务，例如合成文本生成、代码生成和多语言文本分析。

• llama3.1-405b 是来自 Meta 的 llama3.1 模型系列的开源模型，具有 128000 的大型上下文窗口。它在长文档处理、多语言支持、合成数据生成和模型提取方面表现出色。

• snowflake-llama3.1-405b 是基于开源 llama3.1 模型衍生的模型。它使用由 Snowflake AI 研究团队开发的 <SwiftKV optimizations https://www.snowflake.com/en/blog/up-to-75-lower-inference-cost-llama-meta-llm/>，能够将推理成本降低高达 75%。SwiftKV 以最小的精度损失实现更高的吞吐量性能。

中型模型¶

• llama3.1-70b 是一种开源模型，具有先进的性能，非常适合聊天应用程序、内容创建和企业应用程序。它是一种高性能、高性价比的模型，可通过 128000 的上下文窗口实现各种用例。llama3-70b 仍受支持，其上下文窗口为 8000。

• snowflake-llama3.3-70b 是基于开源 llama3.3 模型衍生的模型。它使用由 Snowflake AI 研究团队开发的 <SwiftKV optimizations https://www.snowflake.com/en/blog/up-to-75-lower-inference-cost-llama-meta-llm/>，能够将推理成本降低高达 75%。SwiftKV 以最小的精度损失实现更高的吞吐量性能。

• snowflake-arctic 是 Snowflake 侧重于企业的一流 LLM。Arctic 擅长执行企业任务，例如 SQL 生成、编码和指令遵循基准测试。

• mixtral-8x7b 非常适合文本生成、分类和问答用途。Mistral 模型针对低延迟和低内存要求进行了优化，从而能为企业用例带来更高吞吐量。

• jamba-Instruct 模型由 AI21 实验室构建，可有效满足企业需求。它经过优化，可提供一个 256000 的词元上下文窗口，具有低成本和低延迟特性，使其成为对冗长文档和广泛知识库进行总结、问答和实体提取等任务的理想选择。

• AI21 Jamba 1.5 系列模型是符合基础模型的先进混合型 SSM Transformer 指令。上下文长度为 256000 的 jamba-1.5-mini 和 jamba-1.5-large 支持结构化输出 (JSON) 和有根据的生成等用例。

小型模型¶

• llama3.2-1b 和 llama3.2-3b 模型支持上下文长度为 128000 的词元，并且在摘要、指令遵循和重写任务等用例方面是同类产品中的佼佼者。Llama 3.2 模型提供多语言功能，支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

• llama3.1-8b 非常适合需要中低等推理的任务。它是一个轻量级、超快速模型，具有 128000 的上下文窗口。llama3-8b 和 llama2-70b-chat 仍然是受支持的模型，可以提供较小的上下文窗口，以及相对较低的准确度。

• mistral-7b 非常适合需要快速完成的最简单的摘要、结构化和问答任务。它通过其 32000 上下文窗口为多页文本提供低延迟和高吞吐量处理。

• gemma-7b 适用于简单的代码和文本完成任务。它提供 8,000 个词元的上下文窗口，但在该限制内功能惊人强大，而且成本效益极高。

下表介绍了常见模型在各种基准测试中的表现，包括 Snowflake Cortex COMPLETE 提供的模型和其他一些常见模型。