Snowflake 上的 dbt 项目¶

dbt 项目对象的 CI/CD 工作流程¶

dbt 项目对象支持一些可用于从命令行创建和管理 dbt 项目的 Snowflake CLI 命令。这对于将 dbt 项目集成到您的数据工程工作流程和 CI/CD 管道中很有用。有关更多信息，请参阅 Snowflake CLI、将 CI/CD 集成到 Snowflake CLI 中 和 snow dbt 命令。

dbt 项目对象和文件的版本控制¶

Snowflake 维护 dbt 项目对象的版本及其相应的项目文件。您可以在整个数据开发和部署生命周期中使用此版本控制来跟踪和管理更改。Snowflake 通过以下示例所示的方式识别 dbt 项目暂存区中的 dbt 项目对象版本：

snow://dbt/my_db.my_schema.my_dbt_project_object/versions/version_id

version_id 可以是以下任一标识符：

• VERSION$<num> – 以 VERSION$<num> 的形式指定版本标识符，其中 <num> is a positive integer, for example, VERSION$1。

  当您创建 dbt 项目对象时，版本号从 1 开始，并随着 dbt 项目对象的每个新版本递增一。

  当您执行以下任务时，Snowflake 会递增版本标识符：

  • 从工作区中 :ui:`Redeploy dbt project`（运行 ALTER 命令）。

  • 通过使用 ALTER DBT PROJECT 命令更新项目。

  • 在不使用 --force 选项的情况下运行 Snow CLI snow dbt deploy 命令。

  当您运行以下命令时，Snowflake 会将版本标识符重置为 1 并移除所有版本别名：

  • 在 SQL 中，带 OR REPLACE 选项 CREATE DBT PROJECT 命令。

  • 在 Snowflake CLI 中，带 --force 选项的 snow dbt deploy 命令。

• LAST – 表示 dbt 项目对象的最新版本。

• FIRST – 表示 dbt 项目对象的最早版本。

• version_name_alias – 表示您已使用带 ADD VERSION 选项的 ALTER DBT PROJECT 命令为特定版本的 dbt 项目对象创建的自定义版本名称别名。版本名称别名始终映射到特定的版本标识符，例如 VERSION$3。

Project files stored in the dbt project stage are organized by version, with each version having its own subdirectory. For example, a dbt project object named my_dbt_project_object with a version identifier of VERSION$3 and a dbt project file named dbt_project.yml can be referenced as shown in the following example:

snow://dbt/my_db.my_schema/my_dbt_project_object/versions/VERSION$3/dbt_project.yml

dbt 项目¶

以下要求、注意事项和限制适用于 dbt Projects on Snowflake 支持的 dbt 项目配置：

• 仅支持 dbt Core 项目。不支持 dbt Cloud 项目。dbt Projects on Snowflake 运行 dbt-core 版本 1.9.4 和 dbt-snowflake 版本 1.9.2。当您将现有的 dbt 项目迁移到 Snowflake 时，您的 dbt 版本不必与 Snowflake 版本保持一致。

• Snowflake 工作区中的每个 dbt 项目文件夹都必须包含一个 profiles.yml 文件，该文件在 Snowflake 中为该项目指定目标 warehouse、database、schema 和 role。必须将 type 设置为 snowflake。dbt 需要一个 account 和:code:user，但这些可以留空或是任意字符串，因为 dbt 项目在 Snowflake 中的当前账户和用户上下文下运行。

• 工作区中的 dbt 项目的文件夹结构中不能包含超过 20,000 个文件。此限制包括 dbt 项目目录和子目录中的所有文件，包括 target/dbt_packages/logs 目录，当从工作区中运行 dbt 项目时，日志文件会保存在这些目录中。

存储过程¶

当您使用存储过程来调用 EXECUTE DBT PROJECT 时，使用调用方权限存储过程。有关更多信息，请参阅 CREATE PROCEDURE 和 创建存储过程。

dbt Projects on Snowflake 的工作区¶

以下要求、注意事项和限制适用于 dbt Projects on Snowflake 的工作区：

dbt 依赖关系¶

以下要求、注意事项和限制适用于 dbt Projects on Snowflake 中 dbt 项目的 dbt 依赖关系：

• 必须从 dbt Projects on Snowflake 的工作区中执行 dbt deps 命令，或者从 Snowflake CLI 中使用 snow dbt execute 命令来构建和填充 dbt_packages 项目文件夹。您无法使用 EXECUTE DBT PROJECT SQL 命令来执行 deps 命令。或者，您可以先在本地 dbt 项目上运行 deps，然后再作为 dbt 项目对象部署到 Snowflake。

• 不支持在 packages.yml 文件中指定 Git 包 (https://docs.getdbt.com/docs/build/packages#git-packages)。

• 要允许 Snowflake 访问依赖关系的存储库，需要网络规则和外部访问集成。有关更多信息，请参阅 在 Snowflake 中为 dbt 依赖关系创建外部访问集成。有关外部网络访问限制的更多信息，请参阅 外部网络访问限制。

遥测、日志记录和跟踪¶

以下要求、注意事项和限制适用于 Snowflake 上针对 dbt 的遥测、日志记录和跟踪：

• dbt Projects on Snowflake 的工作区不能动态流式传输标准输出，并且标准输出只能在命令完成时查看。

• 查看日志和跟踪需要在 dbt 项目对象上设置 LOG_LEVEL 和 TRACE_LEVEL。有关更多信息，请参阅 Snowflake 上 dbt 项目的访问控制 和 在 Snowflake 上监控 dbt 项目。

• 默认情况下，Snowflake 会在默认 SNOWFLAKE TELEMETRY.EVENTS 表中收集遥测数据。如果您有设置为账户事件表的自定义事件表，则会在那里收集遥测数据。如果您使用 Enterprise Edition 账户，则可以创建事件表来收集遥测数据，并将其与在其中部署 dbt 项目对象的数据库关联。有关更多信息，请参阅 事件表概述。