类别：

字符串和二进制函数 (AI Functions)

COUNT_TOKENS (SNOWFLAKE.CORTEX)

返回实参中指定的大型语言模型或任务特定函数的提示符中的令牌数。此函数不支持微调模型。

备注

我们正在为 ai_classify 和 ai_filter 之类的函数进行更准确的令牌计数估算。

语法

SNOWFLAKE.CORTEX.COUNT_TOKENS( <model_name> , <input_text> )
Copy

实参

必填：

model_name

要作为令牌计数基础的模型的名称。指定以下值之一：

  • deepseek-r1

  • e5-base-v2

  • e5-large-v2

  • gemma-7b

  • jamba-1.5-large

  • jamba-1.5-mini

  • jamba-instruct

  • llama2-70b-chat

  • llama3-70b

  • llama3-8b

  • llama3.1-405b

  • llama3.1-70b

  • llama3.1-8b

  • llama3.2-1b

  • llama3.2-3b

  • llama3.3-70b

  • llama4-maverick

  • llama4-scout

  • mistral-7b

  • mistral-large

  • mistral-large2

  • mixtral-8x7b

  • nv-embed-qa-4

  • reka-core

  • reka-flash

  • snowflake-arctic-embed-l-v2.0

  • snowflake-arctic-embed-m-v1.5

  • snowflake-arctic-embed-m

  • snowflake-arctic

  • snowflake-llama-3.1-405b

  • snowflake-llama-3.3-70b

  • voyage-multilingual-2

input_text

输入文本，计算其中的令牌。

返回

根据指定的模型或函数，返回输入文本中的令牌数，即 INT、INTEGER、BIGINT、SMALLINT、TINYINT、BYTEINT 类型。

使用说明

  • 如果指定了函数名称，令牌数将基于函数使用的模型。

  • 在函数名称中使用小写字母。

备注

COUNT_TOKENS 不考虑使用 Cortex AISQL 函数 时自动添加到输入文本开头的托管系统提示。因此，COUNT_TOKENS 返回的值低于这些函数处理的实际词元数。

示例

以下示例使用 llama3.1-70b 模型返回指定提示的令牌数：

SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS( 'llama3.1-70b', 'what is a large language model?' );
Copy
+---+
| 6 |
+---+
语言: 中文