Snowflake DevOps¶

通过将资产保存在与 Snowflake 连接的 Git 存储库中来简化工作流程。¶

通过在 Git 资源库中对数据资产、代码和配置进行集中管理和版本控制，并使用 Snowflake 中的存储库，您可以确保一致性，简化协作，并在需要时简化回滚。

您可以将您的 Snowflake 账户与您的 Git 存储库连接，以便 Snowflake 可以在从存储库克隆的文件中执行代码。得到的结果是一个 Git 存储库暂存区，代表您的存储库的完整克隆。在 Snowflake 中，您可以访问特定提交、分支或标签的版本控制文件。

通过存储库暂存区，您可以从版本控制文件创建 Snowpark 函数或过程，并通过 EXECUTE IMMEDIATE FROM 直接执行版本化 SQL 脚本，或使用 Snowflake CLI 执行 Python 脚本。通过这种方式，您可以使用 SQL 或 Python 声明性地定义数据库对象，然后使用强大且易于设置的 CI/CD 管道部署这些对象。

为开发、测试和生产维护独立的环境¶

通过为开发、测试和生产维护独立的环境，您的团队可以将开发活动与生产环境隔离开来，从而降低意外后果和数据损坏的可能性。

当您将工作流程分离到多个环境中时，每个环境都会获得自己的 Snowflake 数据库 – 通常是一个完全相同的副本。

CREATE OR ALTER TASK {{ environment }}.my_schema.my_task
  WAREHOUSE = my_warehouse
  SCHEDULE = '60 minute'
  AS select pi();

import os
from snowflake.core import Root, CreateMode
from datetime import timedelta
from snowflake.core.task import Task

my_task = Task(
    name="my_task",
    warehouse="my_warehouse",
    definition="select pi()",
    schedule=timedelta(minutes=60)
)
root = Root(Session.builder.getOrCreate())
tasks = root.databases[os.environ["environment"]].schemas["my_schema"].tasks
tasks.create(my_task, mode=CreateMode.or_replace)

snow git execute @my_git_repo/branches/main/path/to/my_scripts" \
    -D "environment='preprod'"

使用声明式代码和版本控制管理变更¶

通过 Git 存储库中可重复使用的配置文件，您可以更轻松地管理对数据库资源的更改。

您可以使用 CREATE OR ALTER <对象> 命令定义数据库对象，该命令可以创建对象或更改对象，使其与命令指定的定义相匹配。通过在存储库中的版本化文件中使用此命令，您可以更轻松地将更改回滚到以前的版本：只需执行该文件的以前版本即可。

CREATE OR ALTER TABLE vacation_spots (
  city VARCHAR,
  airport VARCHAR,
  avg_temperature_air_f FLOAT,
  avg_relative_humidity_pct FLOAT,
  avg_cloud_cover_pct FLOAT,
  precipitation_probability_pct FLOAT
) data_retention_time_in_days = 1;

from snowflake.core import Root
from snowflake.core.table import PrimaryKey, Table, TableColumn

my_table = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"].fetch()
my_table.columns.append(TableColumn(name="city", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="airport", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="avg_temperature_air_f", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_relative_humidity_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_cloud_cover_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="precipitation_probability_pct", datatype="float", nullable=False]))

my_table_res = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"]
my_table_res.create_or_alter(my_table)

通过 GitHub 操作自动执行 CI/CD 作业¶

您可以使用 GitHub 操作 (https://docs.github.com/en/actions) 来自动执行构成 CI/CD 管道的作业。通过 GitHub 操作或类似的 CI/CD 运行器，您可以定义自动执行构建、测试和部署任务的工作流程。

在这些工作流程中，您可以使用 Snowflake 和 GitHub 的其他功能将各个部分组合在一起。您可以执行以下任务：

• 将您的 Snowflake 凭据存储在一个 GitHub 密钥 (https://docs.github.com/en/actions/security-guides/using-secrets-in-github-actions) 中，以便 GitHub 操作可以连接到 Snowflake。

• 借助原生 Snowflake CLI GitHub 操作 (https://github.com/Snowflake-Labs/snowflake-cli-action)，轻松安装 Snowflake CLI 并连接到 Snowflake。

• 使用 Snowflake CLI 在 Snowflake 中执行命令。首先，将您的 Git 存储库中的最新更改提取到 Snowflake。接下来，执行您的声明式和参数化脚本，将更改部署到您选择的环境中。

以下示例中的 GitHub 操作工作流程摘录将部署一个管道。该工作流程通过从以前配置的密钥中检索所需值，与 Snowflake 进行身份验证。

为了部署管道，该工作流程执行以下 snow git 命令：

• snow git fetch 将 GitHub 存储库中的最新内容拉入 Snowflake 中的克隆 my_git_repo 存储库暂存区。

• snow git execute 从存储库的 main 分支运行 /scripts 目录中的 Python 和 SQL 脚本。

name: Deploy scripts to preprod

on:
  push:
    branches:
      - main

jobs:
  deploy:
    runs-on: ubuntu-latest

    env:
      SNOWFLAKE_CONNECTIONS_DEFAULT_ACCOUNT: ${{ secrets.SNOWFLAKE_ACCOUNT }}
      SNOWFLAKE_CONNECTIONS_DEFAULT_USER: ${{ secrets.SNOWFLAKE_USER }}
      SNOWFLAKE_CONNECTIONS_DEFAULT_PASSWORD: ${{ secrets.SNOWFLAKE_PASSWORD }}

    steps:
      - name: Checkout repository
        uses: actions/checkout@v4

      - name: Install snowflake-cli
        uses: Snowflake-Labs/snowflake-cli-action@v1.5
        with:
          cli-version: "latest"
          default-config-file-path: ".snowflake/config.toml"

      - name: Fetch repository changes
        run: snow git fetch my_git_repo

      - name: Deploy scripts to preprod environment
        run: snow git execute @my_git_repo/branches/main/scripts/* \
            -D "environment='preprod'"