使用 Openflow Connectors Dashboard 监控连接器¶
Openflow Connectors Dashboard 提供所有已安装连接器、运行状况快照和关键性能指标的高级视图,例如符合筛选条件的所有连接器的汇总平均吞吐量和引入的数据总量。
先决条件¶
要使用 Openflow Connectors Dashboard,必须满足以下先决条件:
您至少需要拥有事件表的只读权限。
您必须具有以下最低 Openflow 版本:
BYOC 部署:1.36.0
Snowflake 部署:1.26.0
运行时:2026.3.17.13
您必须具有以下最低连接器版本。这些版本仅适用于变更数据捕获 (CDC) 连接器。其他连接器类型没有仪表板支持的最低版本要求。
连接器
最低版本
MySQL
0.33.0
PostgreSQL
0.39.0
MongoDB
0.17.0
SQL Server
0.27.0
Oracle 嵌入式许可
0.25.0
Oracle 独立许可
0.24.0
有关更多信息,请参阅 Snowflake Openflow version history。
访问 Openflow Connectors Dashboard¶
登录 Snowsight。
在导航菜单中,选择 Ingestion » Openflow 并导航到 Connector Observability 选项卡。
Openflow Connectors Dashboard 将会显示。
Openflow Connectors Dashboard 概述¶
Openflow Connectors Dashboard 会显示以下信息:
- Status
显示具有以下状态的连接器数量:
Healthy:选择使用 时默认使用的角色和仓库。在所选时间段内未遇到任何错误。
Unhealthy:选择使用 时默认使用的角色和仓库。在所选时间段内,事件表中记录了错误,或者有一个或多个表处于 Failed 状态(仅适用于变更数据捕获 (CDC) 连接器)。
Upgrade required:选择使用 时默认使用的角色和仓库。Openflow 部署、运行时或连接器未运行显示运行状况和性能指标所需的最低版本。查看版本先决条件并根据需要进行升级。
- Average throughput
衡量所有连接器从源系统读取数据并将其发送到 Snowflake 的速率。
Average throughput » Ingested 指标衡量符合主筛选器(时间范围和事件表)的所有连接器向 Snowflake 发送数据的速度。
Average throughput » Read 指标衡量 Openflow 从源系统读取数据的速度,衡量范围涵盖所有符合主筛选器(时间范围和事件表)的连接器。
- Total data ingested
显示在选定时间段内,与时间范围和事件表的主筛选器匹配的所有连接器向 Snowflake 发送的数据量。通过此指标可快速识别特定时间段内的引入异常。
有关仪表板之外的自定义遥测查询,请参阅 使用遥测数据监控 Openflow。
备注
Total data ingested 和 Average throughput 指标包括原始有效负载和结构开销,例如 JSON 键、大括号和分隔符。由于这些指标跟踪传输的总量,因此这些数字可能高于 Snowpipe Streaming 报告的未压缩数据或目标表中的最终存储量。
如果连接器符合所选筛选条件,并且在所选时间范围内记录了遥测事件,则连接器将显示在列表中。
如果您检查更长的时间范围,列表可能会显示以前删除的连接器。
例如,您在六天前部署了一个连接器,然后在两天前删除了该连接器。如果将时间范围设置为 Last 7 days,该连接器会显示在列表中,因为它在过去 7 天内记录了遥测事件。
筛选连接器¶
Openflow Connectors Dashboard 支持以下筛选器:
- Event table
要监控的 Openflow Connector 事件表。此筛选器显示与至少一项 Openflow 部署关联的事件表,以及默认事件表和账户事件表。您一次只能选择一个事件表。还支持事件表视图。
事件表是在设置 Openflow 时设置的。
小技巧
要查看与某项 Openflow 部署关联的事件表,请使用 DESCRIBE OPENFLOW DATA PLANE INTEGRATION 命令。请参阅 设置 Openflow - Snowflake 部署 或:doc:
/user-guide/data-integration/openflow/setup-openflow-byoc,了解有关配置事件表的更多信息。- 时间范围
使用此筛选器可识别特定时间范围内的相关连接器。
小技巧
要获取有关连接器运行状况的最新结果,请选择 Last Hour 时间段。
- Status
支持筛选 Healthy、Unhealthy 或:ui:
All连接器。- Source
支持根据已知的已部署连接器按源系统进行筛选。筛选器仅显示连接器使用的源。
- Deployment
支持按 Snowflake Openflow 部署进行筛选。
此筛选器显示数据平面集成名称,这些名称由前缀
OPENFLOW_DATAPLANE_加部署 ID 组成。要查找部署 ID,请导航到 Openflow,选择 Deployments 选项卡,然后选择 View Details。- Runtime
支持按 Snowflake Openflow 运行时进行筛选。
此筛选器显示运行时键。要将运行时键与 UI 中的 Openflow 运行时名称进行匹配,请导航到 Openflow,选择 Runtimes 选项卡,然后选择 View Details,并找到相应的键。
- Type
支持按连接器类型进行筛选:数据库、SaaS、流式、非结构化、其他。
备注
主筛选器(事件表和时间范围)先于辅助筛选器(状态、源、部署、运行时或类型)应用。
辅助筛选器(状态、来源、部署、运行时、类型)不适用于吞吐量和数据引入情况可视化图表。
监控 Openflow 连接器¶
要监控连接器详细信息,请选择
» View Details。
变更数据捕获连接器¶
详细信息页面会显示属于变更数据捕获配置的每个表的以下信息:
- Table replication status
表可以处于 Active 或 Failed 复制状态。复制状态基于表可用的最新遥测事件。导致表复制失败的事件会立即导致仪表板中显示 Failed 复制状态。根据 Failure Reason 消息确定问题。
- Error distribution
帮助您了解连接器何时遇到问题,以便您可以确定源系统、连接器配置或 Snowflake 目标的任何潜在问题。
- Table name
显示配置为由连接器复制的所有表的模式和表名称。该列表匹配连接器的 Included Table Names 或 Included Table Regex 配置参数。
- Replication status
显示每个表是否处于 Active 或 Failed 复制状态。
- Replication phase
显示当前表复制阶段。在连接器中进行配置后,表将进入 New 复制阶段,进展到 Snapshot Load 阶段,执行初始加载,最终在处理单个变更数据捕获事件时进入 Incremental Replication 阶段。
- Last Ingested
显示在选定时间范围内,最后一次将记录插入目标表时的时间戳。查看此指标时,请考虑引入记录与记录事件且可供查询之间的短暂延迟。
您可以使用 Replication status、Replication phase 和时间范围筛选器缩小表列表范围。
所有连接器¶
- Connector status
显示连接器运行状况:如果在选定的时间范围内没有遇到错误消息,则为 Healthy;如果遇到了错误消息,则为 Unhealthy。
- Error distribution
显示此连接器在选定时间段内遇到的错误数量。
- Average throughput
衡量所选连接器从源系统读取数据并将其引入 Snowflake 的速率。
Average throughput » Ingested 指标衡量所选连接器将数据引入 Snowflake 的速度。
Average throughput » Read 指标衡量所选连接器从源系统读取数据的速度。
- Total data ingested
显示所选连接器在所选时间段内引入 Snowflake 的数据量。通过此指标可快速识别特定时间段内的引入异常。
自定义流¶
也可以在仪表板上监控在 Openflow 画布上构建的自定义流,但前提是使用 Openflow Git 集成在客户 Git 存储库中主动对这些流进行版本控制。不受版本控制的流不会显示在仪表板中。
有关更多信息,请参阅 自定义流程的版本控制。
调试 Openflow 连接器¶
Openflow Connectors Dashboard 可充当调试连接器特有问题的切入点,并使用户可以轻松访问所有连接器日志。
查看连接器错误¶
要查看连接器在选定时间范围内遇到的所有错误,请先导航到连接器详细信息页面,方法是选择
» View Details,然后选择 Issues 选项卡。
错误标题会说明连接器遇到的错误类型,内容提供错误的整个堆栈跟踪。
查看连接器日志¶
您可能还需要查看其他连接器日志,以了解错误消息的上下文。要查看所选连接器的所有日志,请选择
» View logs。
打开日志资源管理器后,还可以更改筛选器,以查看不同连接器或整个运行时或部署的日志。日志资源管理器支持 Openflow 特有的筛选器,如数据平面 ID、运行时键和进程组 ID。
访问 Openflow 画布¶
如果您发现连接器问题,可能需要导航到 Openflow 画布来修复;例如,调整某些配置参数或升级到更新的连接器版本。
优化性能¶
选择更大的虚拟仓库¶
使用屏幕右上角的虚拟仓库选择器,选择不同的虚拟仓库来运行查询。
备注
虽然较大的虚拟仓库运行查询的速度更快,但它们需要更长时间才能恢复,这可能会增加初始页面加载时间。
在 Openflow 事件表上设置聚簇¶
通过使用聚簇键,您可以避免在查询过程中对微分区进行不必要的扫描,从而显著加快引用这些列的查询的性能。有关更多信息,请参阅 什么是数据聚类?。
运行以下查询,将占位符替换为您的 Openflow 事件表:
备注
自动聚簇使用无服务器计算资源消耗 Snowflake Credit。要了解每个计算小时消耗了多少 Credit,请参阅 Snowflake 服务使用表 中的《无服务器功能 Credit 表》。
在事件表上启用聚簇后,后台进程将启动,这需要一些时间才能完成。该过程完成后,在使用仪表板时您应该会发现性能有所提升。
缩短查询的时间范围¶
在筛选器中选择更短的时间范围会减少扫描的数据,并提高查询速度性能。使用 Last Hour 筛选最佳性能表现,以及连接器运行状况和性能的最新视图。
限制¶
Openflow Connectors Dashboard 根据事件表中存储的数据,提供有关 Openflow 连接器的洞察信息。根据所选的时间段和事件表,仪表板上提供的信息可能无法反映连接器的当前状态。
详细的运行状况监控目前仅适用于 Database CDC 连接器。
Deployment 和 Runtime 筛选器使用的内部名称与 Openflow UI 中的显示名称不同。有关匹配这些名称的详细信息,请参阅 筛选连接器。
已知问题¶
将部署、运行时和连接器升级到先决条件中提到的版本后,错误计数指标仅适用于升级后遇到的错误。