外部沿袭¶

配置 dbt 将沿袭数据发送到 Snowflake¶

以下步骤提供设置 dbt 环境所需的最小配置。请参阅 OpenLineage dbt 文档 (https://openlineage.io/apidocs/openapi/) 和 OpenLineage 规范 (https://openlineage.io/docs/integrations/dbt)，以配置您的 OpenLineage-dbt 集成。

1. 安装 OpenLineage-dbt 集成 (https://pypi.org/project/openlineage-dbt/)：

   pip3 install openlineage-dbt
   

   Copy

2. 设置传输变量以指定外部沿袭的 基础 URL、端点 和 安全令牌。

   例如，如果您的账户标识符是 MYORG-DEV_ACCOUNT，则在您的 YAML 配置文件中定义以下代码：

   transport:
      type: http
      url: https://MYORG-DEV_ACCOUNT.snowflakecomputing.cn
      endpoint: /api/v2/lineage/external-lineage
      auth:
         type: api_key
         apiKey: eyJ0eXAiOiJKV1QiLsecuritytoken...
      compression: gzip
   

   Copy

3. 替换 dbt 命令为 dbt-ol。例如，将 dbt run 命令更改为 dbt-ol run。

   这些 dbt-ol 命令是 OpenLineage-dbt 集成所必需的，并非 Snowflake 独有。

有关 OpenLineage-dbt 集成的更多信息，包括设置变量的其他方法，请参阅 OpenLineage dbt 文档 (https://openlineage.io/docs/integrations/dbt)。

配置 Airflow，将沿袭数据发送到 Snowflake¶

以下步骤提供了设置 Airflow 环境所需的最低配置，适用于 Airflow 版本 2.7+，这是 OpenLineage 推荐使用的版本。请参阅 OpenLineage Airflow 文档 (https://openlineage.io/apidocs/openapi/) 以及 OpenLineage 规范 (https://openlineage.io/docs/integrations/airflow)，以配置您的 OpenLineage-Airflow 集成。

1. 为版本 2.7+ 安装 OpenLineage Airflow 集成 (https://airflow.apache.org/docs/apache-airflow-providers-openlineage/stable/index.html#apache-airflow-providers-openlineage)：

   pip install apache-airflow-providers-openlineage
   

   Copy

   如果您使用的是旧版本 Airflow，请改为安装 openlineage-airflow。

2. 设置传输变量以指定外部沿袭的 基础 URL、端点 和 安全令牌。

   例如，如果您的账户标识符是 MYORG-DEV_ACCOUNT，则在您的 YAML 配置文件中定义以下代码：

   transport:
      type: http
      url: https://MYORG-DEV_ACCOUNT.snowflakecomputing.cn
      endpoint: /api/v2/lineage/external-lineage
      auth:
         type: api_key
         apiKey: eyJ0eXAiOiJKV1QiLsecuritytoken...
      compression: gzip
   

   Copy

有关 OpenLineage-Airflow 集成的更多信息，包括设置变量的其他方法，请参阅 OpenLineage Airflow 文档 (https://openlineage.io/docs/integrations/airflow)。

手动请求的身份验证和授权¶

发送到外部沿袭端点的手动请求的身份验证和授权与从数据工具发送的请求相同。

• 请求头必须包含来自 Snowflake REST 端点支持的 身份验证形式 的安全令牌。

• 与安全令牌关联的用户必须具有 适当的权限。

有效负载要求¶

当您在向外部沿袭端点发出手动请求时发送 JSON 有效负载，该有效负载必须满足以下要求：

• 必须符合 OpenLineage 规范 (https://openlineage.io/apidocs/openapi/)。

• 必须是 COMPLETE 事件。也就是说，eventType 属性必须为 COMPLETE。其他类型的事件将被忽略。

• inputs 属性和 outputs 属性必须是 Snowflake 与外部对象的混合。不能使用外部沿袭在两个外部对象之间或两个 Snowflake 对象之间建立沿袭。如果两个属性都指定相同类型的对象（Snowflake 或外部），请求将返回 404 HTTP 状态码。

• 必须包含以下属性：

  • inputs

  • outputs

  • eventType

  • eventTime

  • job

  您可以选择包含 run 属性，这对于识别作业很有用。有效负载可以包含其他属性，但 Snowflake 会忽略它们。

{
   "eventType": "COMPLETE",
   "eventTime": "2025-03-12T06:51:12.000Z",
   "job": {"namespace": "exampleNamespace", "name": "exampleJob"},
   "run": {"runId": "123e4567-e89b-12d3-a456-426614174000"},
   "producer": "https://github.com/OpenLineage/OpenLineage/blob/v1-0-0/client",
   "schemaURL": "https://openlineage.io/spec/0-0-1/OpenLineage.json",
   "inputs": [{"namespace": "snowflake://AXORG-AX_TEST_PP8", "name": "OL_TEST.OL_TEST_SCH.TEST_DEMO"}],
   "outputs": [{"namespace": "postgres://localhost:5432", "name": "PDB.SCH.OUTPUT"}]
}

"outputs": [
    {
        "namespace": "postgres://db.company.com:5432",
        "name": "db.schema.view",
        "facets": {"datasetType": {"datasetType": "VIEW"}},
    },
],

用于移除沿袭的访问控制¶

发送请求以移除对象之间沿袭的用户必须具有 DELETE LINEAGE 账户权限。