引入管理¶

要求¶

本部分要求在本机应用程序安装期间至少执行以下 SQL 文件：

• ingestion/ingestion_management.sql

• ingestion/ingestion_definitions_view.sql

• ingestion/ingestion_process.sql

• ingestion/ingestion_run.sql

• ingestion/resource_ingestion_definition.sql

资源引入定义¶

资源引入定义是一个通用实体，包含源系统中源数据的定义。为尽可能保持通用性，系统特定的选项将像作为基础 STATE.RESOURCE_INGESTION_DEFINITION 表中的 variants 持久保存。但是，存储库 ResourceIngestionDefinitionRepository 的 Java 定义是一个通用界面，可以更好地控制类型。

由于大多数资源引入定义可以在实现过程中进行自定义，因此开发者可以决定如何使用通用字段，然后在引入过程中使用它们。

资源引入定义的最重要的可自定义属性是：

• parent_id

此可选参数允许将资源定义相互链接，例如，继承配置的一部分。

• resource_id

此 variant 应该允许标识源系统中的资源，它应该是唯一的。

• ingestion_configurations

此属性是引入的实际配置，每个定义可以有多个配置，例如，如果出于某种原因，同一资源应在两个不同的计划中引入或保存到多个接收器表中。此属性内部有一些必填字段，但是在定义自定义配置和数据目标时仍然允许一些灵活性。

• resource_metadata

此属性应包含所需的任何其他信息，但不适合上述字段。

引入进程¶

引入进程是一个实体，表示引入已定义的资源的启用进程。它是在添加或启用资源后创建，并且应该在删除或禁用资源后完成。在某种程度上，它有点像操作系统中的后台进程，可以是活跃的，但不一定在特定时刻做任何工作。每当引入实际运行时，它都可以转换到 IN_PROGRESS 状态，否则它可以保持 SCHEDULED 状态。当调度工作时，scheduler 会检索所有 SCHEDULED 进程并为它们运行引入。

引入进程还可以用于定义不同类型的引入，例如，假设连接器每天加载一些数据，但由于某种原因，一些旧数据损坏，需要重新加载。如果是这种情况，那么可以引入一个新的进程 type，例如 RELOAD。然后，scheduler 可以拥有自定义逻辑，为不同类型的进程执行不同的操作。

引入运行¶

引入运行是另一个实体，用于存储关于过去的和正在进行的引入的信息。但是，此类数据比 ingestion_process 本身更精细。首先，引入运行应视为日志数据。其次，ingestion_run 是一个条目，仅描述长时间运行的进程期间的单次调用。因此，如果一天引入一次资源，那么每天都应该有新的引入运行条目。所有这些条目都将与单个进程相关联。

引入管理操作¶