Cortex Search¶

概述¶

Cortex Search 支持对 Snowflake 数据进行低延迟、高质量的“模糊”搜索。Cortex Search 为 Snowflake 用户提供了广泛的搜索体验，包括利用大型语言模型 (LLMs) 的 检索增强生成 (RAG) (link removed) 应用程序。

使用 Cortex Search 只需几分钟即可在文本数据上运行混合（矢量和关键字）搜索引擎，而无需担心嵌入、基础设施维护、搜索质量参数调整或持续索引刷新等问题。这意味着可以将更少的时间用于基础设施和搜索质量调整，将更多的时间用于使用数据开发高质量的聊天和搜索体验。查看 Cortex Search 教程，了解使用 Cortex Search 为 AI 聊天和搜索应用程序提供支持的分步说明。

何时使用 Cortex Search¶

Cortex Search 的两个主要用例是检索增强生成 (RAG) 和企业搜索。

• 用于 LLM 聊天机器人的 RAG 引擎：通过利用语义搜索提供自定义的上下文响应，将 Cortex Search 用作文本数据聊天应用程序的 RAG 引擎。

• 企业搜索：使用 Cortex Search 作为后端，在应用程序中嵌入高质量的搜索栏。

用于 RAG 的 Cortex Search¶

检索增强生成 (RAG) 是一种从知识库中检索数据以增强大型语言模型的生成响应的技术。下面的架构图显示了如何将 Cortex Search 与 Cortex LLM 函数 结合起来，使用 Snowflake 数据作为知识库来创建采用 RAG 的企业聊天机器人。

Cortex Search 是一个检索引擎，可为大型语言模型提供所需的上下文，从而返回基于最新专有数据的答案。

示例¶

此示例将引导您完成创建 Cortex Search 服务并使用 REST API 对其进行查询的步骤。有关查询服务的更多详细信息，请参阅 查询 Cortex Search 服务 主题。

此示例使用一个示例客户支持文本记录数据集。

运行以下命令以设置示例数据库和架构。

CREATE DATABASE IF NOT EXISTS cortex_search_db;

CREATE OR REPLACE WAREHOUSE cortex_search_wh WITH
   WAREHOUSE_SIZE='X-SMALL';

CREATE OR REPLACE SCHEMA cortex_search_db.services;

运行以下 SQL 命令以创建数据集。

CREATE OR REPLACE TABLE support_transcripts (
    transcript_text VARCHAR,
    region VARCHAR,
    agent_id VARCHAR
);

INSERT INTO support_transcripts VALUES
    ('My internet has been down since yesterday, can you help?', 'North America', 'AG1001'),
    ('I was overcharged for my last bill, need an explanation.', 'Europe', 'AG1002'),
    ('How do I reset my password? The email link is not working.', 'Asia', 'AG1003'),
    ('I received a faulty router, can I get it replaced?', 'North America', 'AG1004');

构建 Cortex Search 服务需要变更跟踪。如果要使用没有此表所有权的角色来创建搜索服务，请运行以下语句以启用对表的变更跟踪：

ALTER TABLE support_transcripts SET
  CHANGE_TRACKING = TRUE;

有关启用变更跟踪的详细信息，请参阅 启用更改跟踪。

CREATE OR REPLACE CORTEX SEARCH SERVICE transcript_search_service
  ON transcript_text
  ATTRIBUTES region
  WAREHOUSE = cortex_search_wh
  TARGET_LAG = '1 day'
  AS (
    SELECT
        transcript_text,
        region,
        agent_id
    FROM support_transcripts
);

GRANT USAGE ON DATABASE cortex_search_db TO ROLE customer_support;
GRANT USAGE ON SCHEMA services TO ROLE customer_support;

GRANT USAGE ON CORTEX SEARCH SERVICE transcript_search_service TO ROLE customer_support;

SELECT PARSE_JSON(
  SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
      'cortex_search_db.services.transcript_search_service',
      '{
        "query": "internet issues",
        "columns":[
            "transcript_text",
            "region"
        ],
        "filter": {"@eq": {"region": "North America"} },
        "limit":1
      }'
  )
)['results'] as results;

[
  {
  "transcript_text" : "My internet has been down since yesterday, can you help?",
  "region" : "North America"
  }
]

from snowflake.core import Root
from snowflake.snowpark import Session

CONNECTION_PARAMETERS = {"..."}

session = Session.builder.configs(CONNECTION_PARAMETERS).create()
root = Root(session)

transcript_search_service = (root
  .databases["cortex_search_db"]
  .schemas["services"]
  .cortex_search_services["transcript_search_service"]
)

resp = transcript_search_service.search(
  query="internet issues",
  columns=["transcript_text", "region"],
  filter={"@eq": {"region": "North America"} },
  limit=1
)
print(resp.to_json())

{
  "results": [
    {
      "transcript_text": "My internet has been down since yesterday, can you help?",
      "region": "North America"
    }
  ],
  "request_id": "5d8eaa5a-800c-493c-a561-134c712945ba"
}

所需权限¶

• 要创建 Cortex Search 服务，您的角色必须具有 Cortex LLM 函数所需的 CORTEX_USER 数据库角色。有关授予和撤消此角色的信息，请参阅 Cortex LLM 函数所需的权限。

• 要查询 Cortex Search 服务，查询用户的角色必须对服务本身以及服务所在的数据库和架构具有 USAGE 权限。请参阅 Cortex Search 访问控制要求。

• 要使用 ALTER 命令暂停或恢复 Cortex Search 服务，查询用户的角色必须对该服务具有 OPERATE 权限。请参阅 ALTER CORTEX SEARCH SERVICE。

了解 Cortex Search 质量¶

Cortex Search 利用检索和排名模型的集合提供高水平的搜索质量，几乎无需调整。在后台，Cortex Search 采用“混合”方法来检索和排名文档。每个搜索查询都会使用：

• 向量搜索，用于检索语义相似的文档。

• 关键字搜索，用于检索词汇相似的文档。

• 语义重排，用于对结果集中最相关的文档进行重排。

这种混合检索方法与语义重排步骤相结合，可在各种数据集和查询中实现较高的搜索质量。

词元限制和文本拆分¶

为了使用 Cortex Search 获得最佳搜索结果，Snowflake 建议将搜索列中的文本拆分为不超过 512 个词元（约 385 个英语单词）的块。当搜索列中的条目包含的词元超过 512 个时，Cortex Search 会对整个文本主体执行基于关键字的检索，但仅使用前 512 个词元进行语义（即向量）检索。

词元是一个字符序列，是大型语言模型可以处理的最小单元。作为近似值，一个词元约等于一个英语单词的 3/4，或约 4 个字符。要计算字符串中词元的确切数量，可以使用 TOKEN_COUNT Cortex 函数 以及如下所示的 snowflake-arctic-embed-m 模型参数：

SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS('snowflake-arctic-embed-m', '<input_text>') as token_count

刷新¶

Cortex Search 服务中提供的内容基于特定查询的结果。当 Cortex Search 服务的基础数据发生变化时，服务会更新以反映这些变化。这些更新称为刷新。此过程是自动化的，并且涉及到分析表的基础查询。

Cortex Search 服务具有与动态表相同的刷新属性。请参阅 了解动态表刷新 主题以了解 Cortex Search 服务的刷新特性。

Cortex Search 服务的源查询必须是动态表增量刷新的候选项。有关这些要求的详细信息，请参阅 对增量刷新的支持。这一限制旨在防止与向量嵌入计算相关的任何不必要的失控成本。有关动态表增量刷新不支持的构造的详细信息，请参阅 不支持的结构、运算符和函数。

暂停索引和服务¶

与动态表类似，Cortex Search 服务在遇到与源查询相关的连续五次刷新失败时，将自动暂停其索引状态。如果您的服务遇到此故障，可以使用 DESCRIBE CORTEX SEARCH SERVICE 或 CORTEX_SEARCH_SERVICES 视图 查看具体的 SQL 错误。两者的输出都包括以下列：

• INDEXING_STATE 列的值为 SUSPENDED。

• INDEXING_ERROR 列将包含源查询中遇到的具体 SQL 错误。

在解决根本问题之后，可以使用 ALTER CORTEX SEARCH SERVICE <name> RESUME INDEXING 恢复服务。有关详细语法，请参阅 ALTER CORTEX SEARCH SERVICE。

成本注意事项¶

Cortex Search 服务会产生以下成本：

已知限制¶

Cortex Search 的使用受到以下限制：

• 支持的语言：该功能针对英文文档和查询进行了优化。

• 基表大小：搜索服务中的物化查询结果必须小于 5000 万行，以保持最佳的服务性能。如果查询的物化结果超过 5000 万行，则创建查询将出错。

  备注

  要将 Cortex Search 服务的行扩展限制提高到 5000 万以上，请联系 Snowflake 客户团队。

• 查询构造：Cortex Search 服务源查询必须遵守与动态表相同的查询限制。有关更多详细信息，请参阅 动态表的已知限制。

• 复制和克隆：Cortex Search 服务不支持 复制 和 克隆。对这些功能的支持将在未来的版本中提供。

• 跨区域推理：Cortex Search 不支持 跨区域推理。

区域可用性¶

以下 Snowflake 区域的账户支持此功能：

法律声明¶

输入和输出的 Data Classification 如下表所示。

有关更多信息，请参阅 Snowflake AI 和 ML。