Snowflake ML Python 版本说明¶

错误修复¶

模型注册表错误修复：

• 修复了 model_version.run 故障问题，该问题起因是，当用户角色仅有 USAGE 权限时，需要模型的 READ 权限（而非 USAGE 权限）。

特征商店错误修复：

• 修复了以下情况下出现的 register_feature_view 与 overwrite=True 故障问题：现有特征视图是外部特征视图，而新特征视图是托管的特征视图，反之亦然。

新功能¶

新的模型注册表功能：

• 模型签名现在可以通过 ParamSpec 包含推理参数，允许您定义要在推理时传递的常量参数，而无需将其包含在输入数据中。示例：

  CopyExpand

  import pandas as pd
  from snowflake.ml.model import custom_model, model_signature
  from snowflake.ml.registry import Registry
  
  # Define a custom model with inference parameters
  class MyModelWithParams(custom_model.CustomModel):
      @custom_model.inference_api
      def predict(
          self,
          input_df: pd.DataFrame,
          *,
          temperature: float = 1.0,  # keyword-only param with default
      ) -> pd.DataFrame:
          return pd.DataFrame({"output": input_df["feature"] * temperature})
  
  # Create sample data
  model = MyModelWithParams(custom_model.ModelContext())
  sample_input = pd.DataFrame({"feature": [1.0, 2.0, 3.0]})
  sample_output = model.predict(sample_input, temperature=1.0)
  
  # Define ParamSpec for the inference parameter
  params = [
      model_signature.ParamSpec(
          name="temperature",
          dtype=model_signature.DataType.FLOAT,
          default_value=1.0,
      ),
  ]
  
  # Infer signature with params
  sig = model_signature.infer_signature(
      input_data=sample_input,
      output_data=sample_output,
      params=params,
  )
  
  # Log model with the signature
  registry = Registry(session)
  mv = registry.log_model(
      model=model,
      model_name="my_model_with_params",
      version_name="v1",
      signatures={"predict": sig},
  )
  
  # Run inference with custom parameter value
  result = mv.run(sample_input, function_name="predict", params={"temperature": 2.0})
  

  Show lessSee more

  Scroll to top

新的特征商店功能：

• 新增 auto_prefix 参数和 with_name 方法，用于在数据集生成中联接多个特征视图时防止列名冲突。

• 动态 Iceberg 表现在可以用作特征视图的后备存储。使用 StorageConfig 与 StorageFormat.ICEBERG 在外部云存储上以 Apache Iceberg 格式存储数据。FeatureStore 中新增 default_iceberg_external_volume 参数，用于为 Iceberg 特征视图设置默认外部卷。

新功能¶

新的模型服务功能：

• create_service 方法接受了新的 autocapture 实参，用于指示是否应获取推理数据（请参阅 自动捕获推理日志以进行实时推理）。

• create_service 和 log_model_and_create_service 方法现已接受可选的 min_instances 实参，用于指定服务的最小实例数。该服务会根据流量和硬件利用率自动在指定的最小和最大实例数之间进行扩展。如果 min_instances 为 0，在一段时间内未检测到流量时，该服务会自动暂停。min_instances 的默认值为 0。

新功能¶

新的特征商店功能：

• 支持基于磁贴的聚合，使用全新的 Feature API，并通过预先计算的磁贴实现高效且时间点正确的时间序列特征计算。

新的模型注册表功能：

• SentenceTransformer 模型现在支持自动签名推理。记录 SentenceTransformer 模型时，sample_input_data 是可选的。未提供样本输入数据时，将自动根据模型的嵌入维度推断签名。支持 encode、encode_query、encode_document、encode_queries、encode_documents 方法。

  CopyExpand

  import sentence_transformers
  from snowflake.ml.registry import Registry
  
  # Create model
  model = sentence_transformers.SentenceTransformer("all-MiniLM-L6-v2")
  
  # Log model without sample_input_data - signature is auto-inferred
  registry = Registry(session)
  mv = registry.log_model(
      model=model,
      model_name="my_sentence_transformer",
      version_name="v1",
  )
  
  # Run inference with auto-inferred signature (input: "text", output: "output")
  import pandas as pd
  result = mv.run(pd.DataFrame({"text": ["Hello world"]}))
  

  Show lessSee more

  Scroll to top

新功能¶

新的 ML 作业功能：

• ML Jobs 现在支持 Python 3.11 和 Python 3.12。Jobs 会自动选择与客户端 Python 版本匹配的运行时环境。

错误修复¶

模型注册表错误修复：

• HuggingFace 的词元分类（命名实体识别）模型中的空输出不再导致失败。

模型服务错误修复：

• 容器状态现在可以正确报告，不应为空白。

新功能¶

新的模型注册表功能：

• 现在，您可以通过 Snowpark Container Services (SPCS) 作业远程记录转换器管道模型。

  CopyExpand

  # create reference to the model
  model = huggingface.TransformersPipeline(
      model="TinyLlama/TinyLlama-1.1B-Chat-v1.0",
      task="text-generation",
  )
  
  # Remotely log the model, a SPCS job will run async and log the model
  mv = registry.log_model(
      model=model,
      model_name="tinyllama_remote_log",
      target_platforms=["SNOWPARK_CONTAINER_SERVICES"],
      signatures=openai_signatures.OPENAI_CHAT_SIGNATURE,
  )
  

  Show lessSee more

  Scroll to top

行为变更¶

ML 作业行为变更：

• additional_payloads 参数的行为发生了变化。使用 imports 实参声明额外依赖项，例如 ZIP 文件和 Python 模块。本地目录和 Python 文件会自动压缩，其内部布局由指定的导入路径决定。导入路径仅适用于本地目录、Python 文件和暂存的 Python 文件；对其他导入类型无影响。在暂存区中引用文件时，仅支持单个文件，不支持目录。

实验跟踪行为变更：

• ExperimentTracking 现在为单例类。

错误修复¶

实验跟踪错误修复：

• 达到 log_metrics 或 log_params 的运行元数据大小限制时，将发出警告，而不是引发异常。

模型注册表错误修复：

• 如果模型为 SPCS 仅模型且未提供 service_name，ModelVersion.run 现在会引发 ValueError。

新的预览版功能¶

• create_service 方法现在接受布尔实参 autocapture，用于指示是否自动捕获推理数据。

新版本功能¶

新的模型注册表功能：

• 新的 snowflake.ml.model.models.huggingface.TransformersPipeline 类旨在替换 snowflake.ml.model.models.huggingface_pipeline.HuggingfacePipelineModel，但旧类尚未弃用。新类能识别常见任务的模型签名，因此无需手动指定。目前支持的任务包括：

  • fill-mask

  • question-answering

  • summarization

  • table-question-answering

  • text2text-generation

  • text-classification （别名：sentiment-analysis）

  • text-generation

  • token-classification （别名：ner）

  • translation

  • translation_xx_to_yy

  • zero-shot-classification （允许您在不将模型加载到内存的情况下记录模型）

• ``list_services``API 现在显示内部端点，可从另一个 SPCS 节点或笔记本调用，无需 Enterprise Application Integration。它还显示每项服务是否启用了自动捕获。

新 DataConnector 功能：

• 新 to_huggingface_dataset 方法将 Snowflake 数据转换为 HuggingFace 数据集。支持内存中 Dataset (streaming=False) 和流式 IterableDataset (streaming=True) 模式。

弃用声明¶

• snowflake.ml.model.models.huggingface_pipeline.HuggingfacePipelineModel 类已弃用，并将在未来版本中移除。