自动捕获推理日志以进行实时推理¶

使用 Snowflake ML 中的自动捕获自动记录模型服务处理的每个请求和响应。自动捕获可立即查看请求成功、请求失败以及意外预测背后的输入。

您可以自动保留推理请求和响应数据，而不是将请求或响应数据通过管道传输到表或视图中。您可以使用自动捕获，而无需为数据引入和监控正确创建管道。

使用自动捕获，您可以执行以下操作：

• 快速调试：分析历史推理数据以诊断边缘情况并了解模型行为。

• 持续改进模型：使用真实世界的生产数据创建高质量数据集来训练新模型。

• 测试：使用从 A/B 测试和影子测试日志中收集的数据。

对于每个推理请求，自动捕获会记录以下内容：

• 请求有效负载

• 响应有效负载

• 模型版本标识符

• 服务标识符

• 网关路由元数据

• 请求/响应时间戳

• 响应代码（例如 200）。

此数据是只读数据，用户无法修改。

Snowflake 仅捕获成功请求的响应数据。如果请求失败，Snowflake 不会捕获任何数据。

先决条件和模型版本兼容性¶

以下部分介绍了自动捕获的先决条件和模型版本兼容性。

CREATE [ OR REPLACE ] MODEL [ IF NOT EXISTS ] <name> [ WITH VERSION <version_name> ]
FROM MODEL <source_model_name> [ VERSION <source_version_or_alias_name> ]

激活自动捕获¶

After you've created a new model or cloned an existing model, enable Auto Capture for the model service using the Python SDK. For more information about the model service, see 为实时推理部署模型 (REST API).

使用以下 Python 代码启用自动捕获：

mv.create_service(
    service_name="my_service",
    service_compute_pool="my_compute_pool",
    autocapture=True
)

mv 变量是模型版本对象。您在将模型记录到模型注册表时定义了该变量。

自动捕获的默认值为 False。确保为 2026 年 1 月 23 日之后创建并记录到模型注册表的模型启用自动捕获。否则，服务创建将失败，因为模型没有推理表。

查询推理数据¶

要访问日志，请使用 INFERENCE_TABLE 函数。此函数返回模型的推理日志，并支持按版本、服务和网关进行筛选。只有对网关和服务具有 USAGE 权限的模型所有者才能查看数据。

-- Fetch all inference logs for a specific model
SELECT * FROM TABLE(INFERENCE_TABLE('my_model'));

SELECT * FROM TABLE(
INFERENCE_TABLE(
'MY_MODEL',
VERSION => 'V1',
SERVICE => 'MY_PREDICTION_SERVICE',
GATEWAY => 'MY_GATEWAY'
)
);

WHERE RECORD_ATTRIBUTES:"snow.model_serving.function.name" = 'predict'

SELECT *
FROM TABLE(
  INFERENCE_TABLE('my_model')
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1'
  )
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1',
    SERVICE => 'my_service'
  )
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1',
    GATEWAY => 'my_gateway'
  )
);

数据架构和元数据¶

Snowflake 仅捕获成功请求的响应数据。如果请求失败，Snowflake 不会捕获任何数据。

以下是捕获的记录属性：

数据截断逻辑¶

为了保持系统性能，每个推理事件有个 1 MB 的限制。如果请求和响应达到限制，Snowflake 会应用多暂存区截断过程，以保留尽可能多的实用性。

下表显示了截断过程：

*如果内容缩减后，仅元数据仍然超过阈值，则进入第 3 阶段。

Limits¶

使用自动捕获时，请记住以下限制和注意事项：

• LLM 支持：大型语言模型 (LLMs) 不支持自动捕获。

• 吞吐量：自动捕获专为每个服务每秒大约 300-400 个请求（或 10MB/s）的系统吞吐量而设计。

• 复制：无法复制推理表。复制的模型在目标账户中没有推理表。

• 保留：即使服务或网关被删除，推理数据仍然存在。

• 警告：删除模型对象将永久删除所有关联的推理数据。

• 标准答案：要执行偏移分析，请维护一个单独的标准答案表，并使用通用请求 IDs 将其与 INFERENCE_TABLE 输出联接。

• 使用者账户：使用者账户无法为具有推理表的共享模型创建启用了自动捕获的服务。

• 性能：自动捕获旨在不增加推理请求的延迟。但是，在请求量极高的时期，它可能会删除一些捕获。

架构¶

作为此功能的一部分，以下值将添加到相应的列中。