Snowflake 中的 DevOps¶

DCM Projects（推荐）¶

:doc:`DCM Projects </user-guide/dcm-projects/dcm-projects-overview>`（数据库变更管理项目）为管理 Snowflake 环境提供了一种声明式的“基础设施即代码”方法。您无需编写指定每个步骤的命令式脚本，只需定义对象期望的目标状态即可。Snowflake 会将这些定义与当前状态进行对比，并确定所需的变更。

DCM 项目包括：

• 清单文件 (manifest.yml)，用于指定每个环境的部署目标、所有者角色及模板配置。

• **定义文件**（sources/definitions/ 下的 SQL 文件）包含 Snowflake 对象的 DEFINE 语句、访问控制的 GRANT 语句以及数据质量预期的 ATTACH 语句。

以下示例展示了一个使用 Jinja2 模板为多个团队创建基础设施的定义文件：

{% for team in teams %}

  DEFINE DATABASE {{team.name}}_DB;

  DEFINE WAREHOUSE {{team.name}}_WH
    WITH
      warehouse_size = '{{team.wh_size}}'
      auto_suspend = 300;

  DEFINE ROLE {{team.name}}_ADMIN;

  GRANT OWNERSHIP ON DATABASE {{team.name}}_DB TO ROLE {{team.name}}_ADMIN;
  GRANT OWNERSHIP ON WAREHOUSE {{team.name}}_WH TO ROLE {{team.name}}_ADMIN;

{% endfor %}

有关 DCM Projects 的完整文档（包括如何设置项目文件、管理多环境及自动化部署），请参阅 Snowflake DCM Projects。

Snowflake 上的 dbt 项目¶

Snowflake 上的 dbt 项目 支持将 dbt Core (https://www.getdbt.com/) 项目作为原生 Snowflake 对象进行部署和运行。您可以在 dbt 模型中定义 SQL 转换，将其部署为带版本的 DBT PROJECT 对象，并使用 Snowflake SQL 或 Snowflake CLI 执行。您可以通过 Snowflake 任务安排计划运行，并将部署集成到 CI/CD 管道中。

有关更多信息，请参阅 Snowflake 上的 dbt 项目。

替代方案：使用带版本的脚本进行 CREATE OR ALTER¶

对于 DCM 项目之外的单个对象变更，可以使用 CREATE OR ALTER <对象> 命令，该命令可以创建对象或更改对象，使其与命令指定的定义相匹配。通过在远程存储库中的版本化文件中使用此命令，您可以将变更回滚到以前的版本：只需执行该文件的以前版本即可。

CREATE OR ALTER TABLE vacation_spots (
  city VARCHAR,
  airport VARCHAR,
  avg_temperature_air_f FLOAT,
  avg_relative_humidity_pct FLOAT,
  avg_cloud_cover_pct FLOAT,
  precipitation_probability_pct FLOAT
) data_retention_time_in_days = 1;

from snowflake.core import Root
from snowflake.core.table import PrimaryKey, Table, TableColumn

my_table = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"].fetch()
my_table.columns.append(TableColumn(name="city", datatype="varchar", nullable=False))
my_table.columns.append(TableColumn(name="airport", datatype="varchar", nullable=False))
my_table.columns.append(TableColumn(name="avg_temperature_air_f", datatype="float", nullable=False))
my_table.columns.append(TableColumn(name="avg_relative_humidity_pct", datatype="float", nullable=False))
my_table.columns.append(TableColumn(name="avg_cloud_cover_pct", datatype="float", nullable=False))
my_table.columns.append(TableColumn(name="precipitation_probability_pct", datatype="float", nullable=False))

my_table_res = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"]
my_table_res.create_or_alter(my_table)

使用 DCM Projects 进行计划¶

DCM Projects 采用先计划再部署模型。PLAN 命令会将定义文件与账户的当前状态进行对比，并生成一份建议变更列表，期间不会对环境做任何实际修改。

您可以使用 Snowflake CLI 运行计划：

snow dcm plan --target PROD

或使用 SQL：

EXECUTE DCM PROJECT my_db.my_schema.my_project
  PLAN
  USING CONFIGURATION PROD
FROM
  '@my_stage/my_project/';

在继续部署前，请检查输出结果，确认其中的创建、修改和删除操作符合预期。

GitHub Actions¶

您可以使用 GitHub Actions (https://docs.github.com/en/actions) 来自动执行构成 CI/CD 管道的作业。

为了安全地进行身份验证，Snowflake 建议配合 OpenID Connect (OIDC) 使用工作负载身份联合 (WIF)，而非密码或私钥等静态凭据。通过 WIF OIDC，GitHub Actions 会从 GitHub 的 OIDC 提供商请求一个短期令牌，由 Snowflake 直接进行验证。存储库中不会存储长期密钥。

要设置 WIF OIDC，请创建一个信任 GitHub 的 OIDC 提供商的 Snowflake 服务用户：

CREATE USER github_deployer
  TYPE = SERVICE
  DEFAULT_ROLE = deployer_role
  WORKLOAD_IDENTITY = (
    TYPE = OIDC
    ISSUER = 'https://token.actions.githubusercontent.com'
    SUBJECT = 'repo:<owner>/<repo>:environment:<environment_name>'
  );

有关配置主体声明及 WIF 的更多信息，请参阅 Workload identity federation。

以下示例展示了一个使用 WIF OIDC 和 DCM Projects 的工作流，在向 main 分支推送代码时规划并部署变更：

name: Deploy DCM project to production

on:
  push:
    branches:
      - main

permissions:
  id-token: write
  contents: read

jobs:
  deploy:
    runs-on: ubuntu-latest
    environment: production

    steps:
      - name: Checkout repository
        uses: actions/checkout@v4
        with:
          persist-credentials: false

      - name: Set up Snowflake CLI
        uses: snowflakedb/snowflake-cli-action@v2
        with:
          use-oidc: true
          cli-version: "3.11"

      - name: Plan DCM project
        env:
          SNOWFLAKE_ACCOUNT: ${{ secrets.SNOWFLAKE_ACCOUNT }}
        run: snow dcm plan --target PROD --save-output -x

      - name: Deploy DCM project
        env:
          SNOWFLAKE_ACCOUNT: ${{ secrets.SNOWFLAKE_ACCOUNT }}
        run: snow dcm deploy --target PROD -x

有关使用 Snowflake CLI 设置 CI/CD（包括其他身份验证方法）的更多信息，请参阅 将 CI/CD 集成到 Snowflake CLI 中。

用于定位环境的连接配置文件¶

借助 DCM Projects，您可以在 manifest.yml 文件中定义多个部署目标。每个目标分别映射到特定的 Snowflake 账户（或数据库）、项目对象、所有者角色以及模板配置。相同的定义文件可以通过配置文件应用特定环境的设置，从而部署到所有环境。

targets:
  DEV:
    account_identifier: MYORG-MYACCOUNT_DEV
    project_name: MY_DB.MY_SCHEMA.MY_PROJECT_DEV
    project_owner: DEV_DEPLOYER
    templating_config: DEV

  PROD:
    account_identifier: MYORG-MYACCOUNT_PROD
    project_name: MY_DB.MY_SCHEMA.MY_PROJECT_PROD
    project_owner: PROD_DEPLOYER
    templating_config: PROD

templating:
  configurations:
    DEV:
      wh_size: "X-SMALL"
    PROD:
      wh_size: "LARGE"

有关多项目设置和团队协作等企业级模式，请参阅 DCM Projects 的企业用例。

高级：用于自定义脚本的 Jinja 参数化¶

DCM Projects 在定义文件中原生支持 Jinja2 模板。您可以使用模板变量、循环、条件、宏和字典，使定义内容在不同环境下实现复用。变量值来自 manifest.yml 中的配置文件或运行时替换。

有关 DCM 模板化的详细信息，请参阅 DCM Projects 文件和模板。

您还可以通过 EXECUTE IMMEDIATE FROM 配合 Jinja2，对独立 SQL 脚本（DCM 项目之外）进行参数化。Snowflake CLI 同样允许您将环境变量传递给 Python 脚本。

例如，要更改部署目标，您可以将目标数据库的名称替换为 SQL 脚本中的 {{ environment }} 等 Jinja 变量，或 Python 脚本中的环境变量。下面的 SQL 和 Python 代码示例演示了这一技术：

CREATE OR ALTER TASK {{ environment }}.my_schema.my_task
  WAREHOUSE = my_warehouse
  SCHEDULE = '60 minute'
  AS select pi();

import os
from snowflake.core import Root, CreateMode
from datetime import timedelta
from snowflake.core.task import Task

my_task = Task(
    name="my_task",
    warehouse="my_warehouse",
    definition="select pi()",
    schedule=timedelta(minutes=60)
)
root = Root(Session.builder.getOrCreate())
tasks = root.databases[os.environ["environment"]].schemas["my_schema"].tasks
tasks.create(my_task, mode=CreateMode.or_replace)