关于 Openflow - Snowflake Deployments

Openflow - Snowflake Deployment 运行于 Snowpark Container Services (SPCS) 之上，为跨互操作存储（如 Iceberg 和 Snowflake 原生存储）的数据集成与连接提供简化的集成解决方案。作为 Snowflake 中完全独立的服务，它易于部署和管理，为运行数据流提供了一个方便且经济高效的环境。一个关键优势在于其与 Snowflake 安全模型的原生集成，可实现无缝的身份验证、授权和网络安全，并简化了操作。

尽管客户可同时使用 BYOC 与 Snowflake 部署方案，以下场景尤其适合采用 Snowflake 部署：

  • 在 Bronze 层整合全精度数据：将多源原始数据直接导入 Snowflake，并通过 Openflow Snowflake 部署进行提取和加载。

  • 数据增强：运行管道以增强 Snowflake 内部现有数据表。

  • 一站式数据数据引入到洞察：在 Snowflake 生态系统内构建应用程序，使整个数据生命周期（引入、处理和服务）都在同一平台上进行。

  • AI 驱动的原始数据洞察转化：引入非结构化数据后，结合用户的其他结构化数据，运用 Snowflake Intelligence 等技术实现智能搜索与深度解析。

  • 使用反向 ETL：通过 APIs、消息传输基础设施等将洞察结果共享给外部运营系统，实现洞察生成的闭环。

理解运行时角色与外部访问集成

Openflow - Snowflake Deployments 必须能够与通常位于 Snowflake 之外的数据源和数据目标进行交互。 此外，这些部署还必须能够与 Snowflake 本身通信并访问 Snowflake。运行时角色和外部访问集成提供了这种支持。

什么是运行时角色？

运行时角色是一个传统的 Snowflake 角色，关联到特定的 Openflow 运行时，并用于以下任务：

  • 授予对外部访问集成 (EAIs) 的访问权限。这些 EAIs 指定规则，允许运行时从 Snowflake 内部访问数据源和数据目标。

  • 授予对 Snowflake 资源的访问权限。

  • 授予对特定连接器资源的访问权限

运行时角色与 Openflow 会话令牌关联，避免了客户为认证 Snowflake 而创建单独的服务用户和密钥对的需求。

什么是 Openflow 中的外部访问集成 (EAI)?

外部访问集成 (EAI) 是一个 Snowflake 对象，旨在为外部资源提供安全访问，例如 Openflow 连接器从中提取外部数据的源系统。Openflow Snowflake 部署将 EAIs 与网络规则结合使用，以定义 Openflow 连接器可以读取或写入的端点。

数据工程师会针对特定连接器及其底层运行时定义并配置 EAIs 和运行时角色。

典型的 Openflow - Snowflake Deployment 工作流程

以下各节介绍 Openflow - Snowflake Deployment 概念和工作流程。

用户角色

任务

Snowflake 管理员

  • 配置核心 Snowflake 和外部访问集成。

    请参阅 设置 Openflow - Snowflake 部署 - 任务概述。

  • 在 Snowflake 中创建一组部署。

    Openflow UI 用于管理部署以及运行时的创建和维护。Openflow UI 允许用户在所有部署中对运行时进行创建、调整大小、升级和删除。

数据工程师（管道构建者，负责数据引入）

  • 创建运行时角色、外部集成和其他可供运行时使用的对象。

  • 使用运行时画布构建全新数据流或配置已部署的连接器。可以创建全新数据流，也可以直接使用现有连接器，或以其为起点进行自定义。

连接器是一种针对特定集成用例的简便解决方案，技术水平较低的用户也可以在无需数据工程师协助的情况下部署它们。

数据工程师（管道操作员）

配置流参数并运行流程。

数据工程师（负责向 Silver 层和 Gold 层转换）

负责将数据从管道填充的 Bronze 层转换为用于分析的 Silver 层和 Gold 层。

企业用户

使用 Gold 层对象进行分析。

限制

  • Openflow - Snowflake Deployment is not supported in trial accounts.

  • Only a single Openflow - Snowflake Deployment is supported per account. However, an account can have many Openflow - Snowflake Deployment runtimes --- each having a separate role and network access --- which allows users to separate the workload.

  • Users with a default role of ACCOUNTADMIN can't login to Openflow - Snowflake Deployment runtimes and will get an error message when attempting to do so.

  • Customers requiring private connectivity will need to configure outbound PrivateLink. Private Link is available to Business Critical Edition only.

后续步骤

设置 Openflow - Snowflake 部署 - 任务概述

语言: 中文