自动目录表元数据刷新¶
您可以使用以下事件通知服务自动刷目录表的元数据:
Amazon S3:Amazon SQS (Simple Queue Service) (https://aws.amazon.com/sqs/)
Google Cloud Storage:Google Cloud Pub/Sub (https://cloud.google.com/storage/docs/reporting-changes)
Microsoft Azure:Microsoft Azure 事件网格 (https://azure.microsoft.com/en-us/services/event-grid/)
刷新操作将元数据与存储中的最新关联文件集同步,并响应以下类型的更改:
路径中的新文件将添加到表元数据中。
路径中的文件将在表元数据中更新。
路径中不再存在的文件将从表元数据中移除。
要设置自动刷新,请参阅文件所在云存储服务的主题:
跨云支持¶
Snowflake 支持跨云、跨区域自动目录表刷新。
下表显示了 Snowflake 基于托管 Snowflake 账户的 云平台 支持自动目录表刷新的跨云选项。
Amazon S3 |
Google Cloud Storage |
Microsoft Azure Blob 存储 |
Microsoft Data Lake Storage Gen2 |
Microsoft Azure General-purpose v2 |
|
---|---|---|---|---|---|
AWS 上托管的账户 |
✔ |
✔ |
✔ |
✔ |
✔ |
GCP 上托管的账户 |
✔ |
✔ |
✔ |
✔ |
✔ |
Azure 上托管的账户 |
✔ |
✔ |
✔ |
✔ |
✔ |
注意事项¶
自动刷新基于事件,为大型或快速增长的暂存区提供比手动刷新更高的性能。
Snowflake 不支持在内部暂存区刷新目录表元数据。对于内部暂存区,必须手动刷新目录表元数据。有关信息,请参阅 手动刷新。
后续主题: