类别：

字符串和二进制函数 (AI Functions)

COUNT_TOKENS (SNOWFLAKE.CORTEX)

备注

AI_COUNT_TOKENS is the latest version of this function. Use AI_COUNT_TOKENS for the latest functionality. You can continue to use COUNT_TOKENS (SNOWFLAKE.CORTEX).

返回实参中指定的大型语言模型或任务特定函数的提示符中的令牌数。此函数不支持微调模型。

语法

SNOWFLAKE.CORTEX.COUNT_TOKENS( <model_name> , <input_text> )
Copy

实参

必填：

model_name

要作为令牌计数基础的模型的名称。指定以下值之一：

  • deepseek-r1

  • e5-base-v2

  • e5-large-v2

  • llama3-70b

  • llama3-8b

  • llama3.1-405b

  • llama3.1-70b

  • llama3.1-8b

  • llama3.3-70b

  • llama4-maverick

  • llama4-scout

  • mistral-7b

  • mistral-large

  • mistral-large2

  • mixtral-8x7b

  • nv-embed-qa-4

  • snowflake-arctic-embed-l-v2.0

  • snowflake-arctic-embed-m-v1.5

  • snowflake-arctic-embed-m

  • snowflake-arctic

  • snowflake-llama-3.1-405b

  • snowflake-llama-3.3-70b

  • voyage-multilingual-2

input_text

输入文本，计算其中的令牌。

返回

根据指定的模型或函数，返回输入文本中的令牌数，即 INT、INTEGER、BIGINT、SMALLINT、TINYINT、BYTEINT 类型。

使用说明

  • 如果指定了函数名称，令牌数将基于函数使用的模型。

  • 在函数名称中使用小写字母。

备注

COUNT_TOKENS 不考虑使用 Cortex AISQL 函数 时自动添加到输入文本开头的托管系统提示。因此，COUNT_TOKENS 返回的值低于这些函数处理的实际词元数。

示例

The following example returns the token count for the specified prompt using the llama3.1-70b model:

SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS( 'llama3.1-70b', 'what is a large language model?' );
Copy
+---+
| 6 |
+---+
语言: 中文