设置 Openflow Connector for Google Ads¶
备注
使用该连接器需遵守 连接器条款。
本主题介绍设置 Openflow Connector for Google Ads 的步骤。
先决条件¶
确保您已 设置 Openflow。
获取凭据¶
作为 Google Ads 管理员,请执行以下步骤:
确保您可以访问 Google Cloud 项目或 创建一个新 Google Cloud 项目 (https://developers.google.com/workspace/guides/create-project)。
确保您的 Google Cloud 项目已启用 Google Ads API (https://cloud.google.com/endpoints/docs/openapi/enable-api)。需要 Google Ads API 访问权限才能引入数据。
为 Google Ads 配置 (https://developers.google.com/google-ads/api/docs/oauth/service-accounts) 服务账户身份验证。
按照 说明 (https://developers.google.com/google-ads/api/docs/get-started/dev-token) 为您的组织获取开发者令牌。
备注
开发者令牌的访问权限级别应为“Basic”或“Standard”。有关访问权限级别的更多信息,请参阅 文档 (https://developers.google.com/google-ads/api/docs/access-levels)。
设置 Snowflake 账户¶
作为 Snowflake 账户管理员,请执行以下任务:
创建新角色或使用现有角色并授予 数据库权限。
创建类型为 SERVICE 的新 Snowflake 服务用户。
向该 Snowflake 服务用户授予您在前面步骤中创建的角色。
为第 2 步中创建的 Snowflake SERVICE 用户配置 密钥对身份验证。
Snowflake 强烈建议执行此步骤。配置 Openflow 支持的密钥管理器(例如 AWS、Azure 和 Hashicorp),并将公钥和私钥存储在密钥存储库中。
备注
如果您出于任何原因不希望使用密钥管理器,则您有责任根据组织的安全策略保护用于密钥对身份验证的公钥和私钥文件。
配置密钥管理器后,确定如何对其进行身份验证。在 AWS 中,建议您使用与 Openflow 关联的 EC2 实例角色,因为这样就无需保留其他密钥。
在 Openflow 中,从右上角的汉堡菜单中配置与此密钥管理器关联的参数提供商。导航到 Controller Settings » Parameter Provider,然后提取您的参数值。
此时,可以使用关联的参数路径引用所有凭据,无需在 Openflow 中保留敏感值。
如果任何其他 Snowflake 用户需要访问连接器引入的原始文档和表(例如,在 Snowflake 中进行自定义处理),则授予这些用户在步骤 1 中创建的角色。
指定一个仓库供连接器使用。从最小的仓库规模开始,然后根据要复制的表数量和传输的数据量来测试规模。相较于扩大仓库规模,采用 多集群仓库 通常能更有效地应对海量表数量的扩展需求。
设置连接器¶
作为数据工程师,执行以下任务以安装和配置连接器:
安装连接器¶
#.在 Snowflake 中为连接器创建数据库和架构,以存储引入的数据。向第一步中创建的角色授予所需的 数据库权限。用实际值替换角色占位符,然后使用以下 sql 命令:
CREATE DATABASE GOOGLE_ADS_DESTINATION_DB; CREATE SCHEMA GOOGLE_ADS_DESTINATION_DB.GOOGLE_ADS_DESTINATION_SCHEMA; GRANT USAGE ON DATABASE GOOGLE_ADS_DESTINATION_DB TO ROLE <GOOGLE_ADS_CONNECTOR_ROLE>; GRANT USAGE ON SCHEMA GOOGLE_ADS_DESTINATION_DB.GOOGLE_ADS_DESTINATION_SCHEMA TO ROLE <GOOGLE_ADS_CONNECTOR_ROLE>; GRANT CREATE TABLE ON SCHEMA GOOGLE_ADS_DESTINATION_DB.GOOGLE_ADS_DESTINATION_SCHEMA TO ROLE <GOOGLE_ADS_CONNECTOR_ROLE>;
导航到 Openflow“Overview”页面。在 Featured connectors 部分中,选择 View more connectors。
在 Openflow 连接器页面上,找到连接器并选择 Add to runtime。
在 Select runtime 对话框中,从 Available runtimes 下拉列表中选择您的运行时。
选择 Add。
备注
在安装连接器之前,请确保在 Snowflake 中为连接器创建了数据库和架构,用于存储引入的数据。
使用您的 Snowflake 账户凭据对部署进行身份验证,并在系统提示时选择 Allow,以允许运行时应用程序访问您的 Snowflake 账户。连接器安装过程需要几分钟才能完成。
使用您的 Snowflake 账户凭据进行运行时身份验证。
此时将显示 Openflow 画布,其中添加了连接器进程组。
配置连接器¶
右键点击导入的进程组并选择 Parameters。
按照 流参数 中所述填充所需的参数值。
流参数¶
有三个参数上下文。Google Ads 目标参数
和 Google Ads 源参数
分别负责允许与 GoogleAds API 和 Snowflake 建立连接。Google Ads 提取参数
用于定义从 Google Ads 下载的数据的重新配置。Google Ads 参数
将所有这些参数汇总在一起。
Google Ads 引入参数¶
参数 |
描述 |
必填 |
---|---|---|
客户账户 ID |
应为其引入给定报告的 Google Ads 账户的 ID |
true |
Google Ads 资源名称 |
作为报告源的 Google Ads 中的资源名称 |
true |
报告属性 |
所选资源的属性 |
true |
报告指标 |
在给定资源的上下文中收集的指标 |
false |
报告细分 |
应在其中对指标进行分组的桶 |
false |
报告开始日期 |
引入的起始日期。日期格式为 YYYY-MM-DD。 |
false |
计划 |
获取 Google Ads 报告处理器计划 |
true |
备注
要正确组合 Report Attributes
、Report Metrics
和 Report Segments
,最简单的方法是使用 Google Ads Query Builder (https://developers.google.com/google-ads/api/fields/v19/overview_query_builder)。根据插入到参数 Google Ads Resource Name
中的资源选择资源并构造查询。然后将属性、指标和分段复制粘贴到相应的参数中。
Google Ads 源参数¶
参数 |
描述 |
必填 |
---|---|---|
Google 开发者令牌 |
查询 Google Ads API 所需的开发者令牌 |
true |
Google 服务账户 JSON |
Google Ads 身份验证所需的服务账户 JSON |
true |
Google Ads 目标参数¶
参数 |
描述 |
必填 |
---|---|---|
目标数据库 |
用于永久保存数据的数据库。它必须已经存在于 Snowflake 中。 |
true |
目标架构 |
用于永久保存数据的架构。它必须已经存在于 Snowflake 中。 |
true |
Snowflake 账户标识符 |
Snowflake 账户名称格式为 [organization-name]-[account-name],数据永久保存在其中 |
true |
Snowflake 身份验证策略 |
对 Snowflake 进行身份验证的策略。可能的值:当您在 SPCS 上运行流时为 |
true |
Snowflake 私钥 |
用于身份验证的 RSA 私钥。RSA 密钥必须按照 PKCS8 标准进行格式化,并具有标准的 PEM 头尾标记。请注意,必须定义 Snowflake 私钥文件或 Snowflake 私钥 |
false |
Snowflake 私钥文件 |
该文件包含用于对 Snowflake 进行身份验证的 RSA 私钥,该私钥根据 PKCS8 标准进行格式化,并具有标准的 PEM 头尾标记。头标记行以 |
false |
Snowflake 私钥密码 |
与 Snowflake 私钥文件关联的密码 |
false |
Snowflake 角色 |
查询执行期间使用的 Snowflake 角色 |
true |
Snowflake 用户名 |
用于连接到 Snowflake 实例的用户名 |
true |
Snowflake 仓库 |
用于运行查询的 Snowflake 仓库 |
true |
运行流¶
右键点击“飞机”图标并选择 Enable all Controller Services。
右键点击导入的进程组并选择 Start。连接器开始数据引入。
如何重置连接器¶
要将连接器完全重置为初始状态,请执行以下操作:
确保队列中没有其他 FlowFile。
停止所有处理器。
清除初始处理器的状态。
右键点击处理器
Get Google Ads Report
并选择 View State。选择选项 Clear State。这会重置处理器的状态。
将目标表拖放到 Snowflake 中。