Cortex LLM Playground¶

Cortex LLM Playground 可以比较 Cortex AI 中提供的多种大型语言模型的文本完成情况。您可以跨提示和模型设置测试语言模型响应，并对模型输出执行并排比较。此外，只需点击几下，就可以将模型连接到 Snowflake 表，直接在数据上进行实验。Cortex LLM Playground 专为帮助轻松测试不同语言模型对用例的性能而设计，便于您确定将哪个模型部署到生产中。

Cortex LLM Playground 支持您账户所在区域提供的 COMPLETE 函数的所有可用型号。有关型号的完整列表，请参阅型号可用性。

所需权限¶

Cortex LLM Playground 需要包含调用 Snowflake Cortex LLM 函数权限的 CORTEX_USER 数据库角色。有关更多信息，请参阅所需权限。

开始使用 Cortex LLM Playground¶

Cortex LLM Playground 可以从 Snowflake AI & ML Studio 访问。您可以从 Snowsight 访问 Studio，如下所示：

登录 Snowsight。
在导航菜单中，选择 AI & ML » Studio。Cortex LLM Playground 显示在其他 Studio 函数中。
要打开 Payground，请选择 Try。

使用语言模型测试提示¶

使用 Cortex LLM Playground 测试不同语言模型的提示。

选择仓库。此仓库用于运行调用 COMPLETE 函数的 SQL 命令。
从顶部下拉菜单中选择模型。下拉菜单仅包括正在使用的账户区域中可用的模型。
在提示框中输入提示并选择 Enter。
模型输出显示在提示框上方。您可以选择 View Code 来查看和复制用于处理提示的 SQL 命令。

要尝试其他提示或模型，请选择所需的模型并在提示框中输入新提示，然后选择 Enter。

比较模型输出¶

要比较两个不同模型或同一模型的两个不同设置之间的提示输出，请使用 Compare 函数。

比较两个模型¶

选择右上角的 Compare。
使用两侧的下拉菜单为两个面板选择不同的模型。
选择 Compare 旁的 Change settings 打开设置面板。
选择 Sync 切换，对两个模型使用相同的设置。
输入提示并选择 Enter。所选模型的输出将显示在两侧。

比较一个模型的设置¶

选择右上角的 Compare。
为两个面板选择相同的模型。
选择 Compare 旁的 Change settings 打开设置面板。
为每个选项卡选择不同的 temperature、top_p 或 max_tokens 设置，以比较语言模型在不同模型设置下的响应变化。有关这些参数的更多详细信息，请参阅 COMPLETE (SNOWFLAKE.CORTEX)。
您还可以检查实施保障措施的 Enable Cortex Guard，以过滤掉潜在的不合适或不安全的大型语言模型 (LLM) 响应。有关 Cortex Guard 的更多详细信息，请参阅 Cortex Guard。
输入提示并选择 Enter。每组设置的模型输出分别显示在两侧。

连接到 Snowflake 表¶

您可以将模型连接到 Snowflake 表，该表包含要通过文本完成测试的文本数据。

备注

只能选择一列。Cortex LLM Playground 最多返回 100 行。

在提示框中选择 + Connect your data 按钮。
从下拉菜单中选择 Snowflake 数据源。
选择要测试的文本数据的列。
选择要用作筛选器的列。您可以使用此列从数据源中选择记录。
选择 Done。
使用提示框中的 Select <filter column> 字段从数据源中选择记录。您可以通过滚动或在文本数据中搜索词语来选择记录。要搜索，请在搜索框中输入词语。以下示例显示了名为 ID 的筛选器列。在此示例中，您可以搜索特定的 ID 号码或输入字符串以匹配文本数据。
输入 System Prompt 并选择 Enter 以查看模型响应。系统提示为模型提供有关如何处理输入文本的说明。例如，您可能希望模型总结所选文本或从中提取关键字。