2026 年 1 月 27 日:通过 AI_COUNT_TOKENS 估算词元使用量(正式发布

AI_COUNT_TOKENS 是帮助用户估算词元使用量并了解提示上下文如何影响成本的 Cortex AI 辅助函数,现已正式发布。AI_COUNT_TOKENS 会考虑函数、LLM 模型(如果适用),以及影响词元数的任何其他输入,例如分类任务的类别/标签。

一般来说,随着提示变得更具描述性和复杂性,词元使用量会增加。包含有限上下文的精简提示会消耗更少词元,而更深层次的上下文、任务描述和示例会增加词元数。借助 AI_COUNT_TOKENS,用户在开发其 AI 工作负载时,可评估这些权衡会对词元使用量进而对成本产生何种影响。

此功能对于制定以下方面的最佳实践尤为实用:

  • 提示中应纳入的上下文体量

  • 何时通过更完善的提示切实提升准确率

  • 何时示例值得额外的词元成本

  • 如何更好地在各团队与工作负载间实现提示设计的标准化

支持的函数包括:

有关更多信息,请参阅 AI_COUNT_TOKENS

语言: 中文