FetchDatabaseMetadata 2025.10.2.19

捆绑包

com.snowflake.openflow.runtime | runtime-horizon-catalog-processors-nar

描述

提取所有表的完整数据库元数据并将其输出到 FlowFile。输出是一个 JSON 数组,其中包含所有表的数据库信息和架构详细信息,包括列名、数据类型和元数据。架构提取支持 PostgreSQL、MySQL、和 SQL Server。对于 SQL Server,该处理器在连接适当的权限后,可以从 ALL 可访问的数据库中检索元数据。对于 PostgreSQL 和 MySQL,它从连接的数据库中检索元数据。输出格式(数据库对象数组):[ { "source": "<database_type>", "database_name": "<database_name>", "schemas": [ { "name": "<schema_name>", "entities": [ { "name": "<table_name>", "type": "table", "comment": "<table_comment>", "total_rows": <number_of_rows>, "columns": [ { "name": "<column_name>", "comment": "<column_comment>", "data_type": "<data_type>" } ], "created_on": <epoch_millis>, "updated_on": <epoch_millis> } ] } ] } ] 注意:对于 SQL Server 连接,如果连接可以访问多个数据库,则该阵列将包含多个数据库对象。对于 PostgreSQL 和 MySQL,该数组将包含一个数据库对象。当通过数据库元数据提供时,表和列注释、created_on、updated_on 时间戳和 total_rows 将包括在内,但如果数据库系统不支持,则可能会省略。时间戳以纪元毫秒表示,如果不可用,则为 -1。总行数代表来自数据库统计信息的近似值/估计值(并非精确数量),如果由于权限或其他数据库特定限制而无法确定,则设置为 -1。

标签

database、metadata、schema、table

输入要求

REQUIRED

支持敏感的动态属性

false

属性

属性

描述

连接池

用于获取架构信息的连接池

关系

名称

描述

failure

当无法获取架构信息时,FlowFiles 将路由到此关系

no tables found

当在任何可访问的数据库中找不到表时,FlowFiles 将路由到此关系

retryable failure

获取架构信息失败时,FlowFiles 将路由到此关系,但重试操作时可能会成功

success

成功提取架构信息后,FlowFiles 将路由到此关系

写入属性

名称

描述

mime.type

application/json

dbms.type

数据库管理系统的类型 (DBMS)。例如 POSTGRESQL

database.count

找到并处理的数据库数量

schema.count

在所有数据库中找到的架构总数

table.count

在所有数据库和架构中找到的表总数

语言: 中文