自动目录表元数据刷新

您可以使用以下事件通知服务自动刷目录表的元数据:

  • Amazon S3:Amazon SQS (Simple Queue Service) (https://aws.amazon.com/sqs/)

  • Google Cloud Storage:Google Cloud Pub/Sub (https://cloud.google.com/storage/docs/reporting-changes)

  • Microsoft Azure:Microsoft Azure 事件网格 (https://azure.microsoft.com/en-us/services/event-grid/)

刷新操作将元数据与存储中的最新关联文件集同步,并响应以下类型的更改:

  • 路径中的新文件将添加到表元数据中。

  • 路径中的文件将在表元数据中更新。

  • 路径中不再存在的文件将从表元数据中移除。

要设置自动刷新,请参阅文件所在云存储服务的主题:

跨云支持

Snowflake 支持跨云、跨区域自动目录表刷新。

下表显示了 Snowflake 基于托管 Snowflake 账户的 云平台 支持自动目录表刷新的跨云选项。

Amazon S3

Google Cloud Storage

Microsoft Azure Blob 存储

Microsoft Data Lake Storage Gen2

Microsoft Azure General-purpose v2

AWS 上托管的账户

GCP 上托管的账户

Azure 上托管的账户

注意事项

  • 自动刷新基于事件,为大型或快速增长的暂存区提供比手动刷新更高的性能。

  • Snowflake 不支持在内部暂存区刷新目录表元数据。对于内部暂存区,必须手动刷新目录表元数据。有关信息,请参阅 手动刷新

后续主题:

语言: 中文