FetchDatabaseMetadata 2025.10.2.19¶
捆绑包¶
com.snowflake.openflow.runtime | runtime-horizon-catalog-processors-nar
描述¶
提取所有表的完整数据库元数据并将其输出到 FlowFile。输出是一个 JSON 数组,其中包含所有表的数据库信息和架构详细信息,包括列名、数据类型和元数据。架构提取支持 PostgreSQL、MySQL、和 SQL Server。对于 SQL Server,该处理器在连接适当的权限后,可以从 ALL 可访问的数据库中检索元数据。对于 PostgreSQL 和 MySQL,它从连接的数据库中检索元数据。输出格式(数据库对象数组):[ { "source": "<database_type>", "database_name": "<database_name>", "schemas": [ { "name": "<schema_name>", "entities": [ { "name": "<table_name>", "type": "table", "comment": "<table_comment>", "total_rows": <number_of_rows>, "columns": [ { "name": "<column_name>", "comment": "<column_comment>", "data_type": "<data_type>" } ], "created_on": <epoch_millis>, "updated_on": <epoch_millis> } ] } ] } ] 注意:对于 SQL Server 连接,如果连接可以访问多个数据库,则该阵列将包含多个数据库对象。对于 PostgreSQL 和 MySQL,该数组将包含一个数据库对象。当通过数据库元数据提供时,表和列注释、created_on、updated_on 时间戳和 total_rows 将包括在内,但如果数据库系统不支持,则可能会省略。时间戳以纪元毫秒表示,如果不可用,则为 -1。总行数代表来自数据库统计信息的近似值/估计值(并非精确数量),如果由于权限或其他数据库特定限制而无法确定,则设置为 -1。
输入要求¶
REQUIRED
支持敏感的动态属性¶
false
属性¶
属性 |
描述 |
|---|---|
连接池 |
用于获取架构信息的连接池 |
关系¶
名称 |
描述 |
|---|---|
failure |
当无法获取架构信息时,FlowFiles 将路由到此关系 |
no tables found |
当在任何可访问的数据库中找不到表时,FlowFiles 将路由到此关系 |
retryable failure |
获取架构信息失败时,FlowFiles 将路由到此关系,但重试操作时可能会成功 |
success |
成功提取架构信息后,FlowFiles 将路由到此关系 |
写入属性¶
名称 |
描述 |
|---|---|
mime.type |
application/json |
dbms.type |
数据库管理系统的类型 (DBMS)。例如 |
database.count |
找到并处理的数据库数量 |
schema.count |
在所有数据库中找到的架构总数 |
table.count |
在所有数据库和架构中找到的表总数 |