使用 Egress Cost Optimizer 优化数据传输成本

Egress Cost Optimizer (ECO) 是一种自动履行功能,可在与多个区域共享数据或应用程序时最大限度地降低出口成本,帮助 Snowflake 上的提供商(公开和私密列表)降低共享成本和服务成本,从而最大限度地提高投资回报率 (ROI)。

备注

  • 默认情况下,使用 Virtual Private Snowflake (VPS)、使用 Business Critical Edition 或在 政府云 上的客户无法使用 Egress Cost Optimizer。如果您是 BCE、VPS 或 Gov 客户,可以联系的 Snowflake 客户经理,了解有关 ECO 启用的更多信息。

  • 提供商可以在任何商业区域的主账户中启用 ECO,并创建针对任何其他地区的列表,包括 VPS、BCE 和 Gov。

Egress Cost Optimizer 的工作原理

Egress Cost Optimizer 根据列表可用的区域和云提供商的数量来分析您的列表配置,并为数据库复制提供极具成本效益的自动履行。例如,如果您要将数据复制到多个云区域,并在同一个数据集上产生重复的出口成本,它会智能地通过 Snowflake 管理的 ECO 缓存路由数据。这样,客户最终无需支付额外的出口费用即可扩展到新区域,从而降低了数据传输成本。

再举一个例子,如果您仅复制到同一云提供商内的 1-2 个区域,则 ECO 不使用 ECO 缓存,因为数据传输成本已经得到优化。因此,通过启用 ECO,您可以在任何数据共享场景下确保低数据传输成本。有关 ECO 成本、收益和限制的更多信息,请参阅 出口成本优化的好处和成本ECO 的限制

还有一个需要考虑的例子是,您是否在复制表,而不是整个数据库。ECO 仅在总体成本在数据库级别得到优化时才使用云缓存。因此,如果您的数据库中有一个表,并且该表被复制到 10 个区域,而数据库本身只被复制到一个区域,那么复制将不会使用缓存。

不使用 Egress Cost Optimizer:随着数据在 30 多个区域共享,出口成本不断增加

不使用 Egress Cost Optimizer:随着数据在 30 多个区域共享,出口成本不断增加。

使用 Egress Cost Optimizer:出口成本最小化为将数据移入云缓存一次的费用

使用 Egress Cost Optimizer:将出口成本减少至将数据移入 ECO 缓存一次的费用。

ECO 不会影响列表的现有安全性、功能和性能承诺,例如支持通过 Snowflake Tri-Secret Secure (TSS) 进行动态和静态数据加密,或现有的跨云自动履行功能(例如对象级复制、列表刷新 cron 计划和列表刷新历史记录)。

您可以访问我们的 子处理器 网站,详细了解与 Cloud Cache 相关的支持 Snowflake 的第三方子处理器。

使用 ECO 时,除了向使用者提供数据的区域外,数据还将托管在以下区域:

北美和南美

本地区域

本地云

本地区域 ID

Snowflake 管理的 ECO 缓存区域

加拿大(中部)

AWS

ca-central-1

北美东部

南美(圣保罗)

AWS

sa-east-1

北美东部

US 西部(俄勒冈州)

AWS

us-west-2

北美西部

US 东部(俄亥俄州)

AWS

us-east-2

北美东部

US 东部(弗吉尼亚北部)

AWS

us-east-1

北美东部

US 中部 1(爱荷华州)

GCP

us-central1

北美东部

US 东部 4(弗吉尼亚州北部)

GCP

us-east4

北美东部

加拿大中部(多伦多)

Azure

canadacentral

北美东部

US 中部(爱荷华州)

Azure

centralus

北美东部

US 东部 2(弗吉尼亚州)

Azure

eastus2

北美东部

US 中南部(得克萨斯州)

Azure

southcentralus

北美东部

US 西部 2(华盛顿)

Azure

westus2

北美西部

欧洲和中东

本地区域

本地云

本地区域 ID

Snowflake 管理的 ECO 缓存区域

EU(法兰克福)

AWS

eu-central-1

欧盟

EU(苏黎世)

AWS

eu-central-2

欧盟

EU(斯德哥尔摩)

AWS

eu-north-1

欧盟

EU(爱尔兰)

AWS

eu-west-1

欧盟

欧洲(伦敦)

AWS

eu-west-2

欧盟

EU(巴黎)

AWS

eu-west-3

欧盟

中东中部 2(达曼)

GCP

me-central2

欧盟

欧洲西部 2(伦敦)

GCP

europe-west-2

欧盟

欧洲西部 3(法兰克福)

GCP

europe-west-3

欧盟

欧洲西部 4(荷兰)

GCP

europe-west-4

欧盟

欧洲北部(爱尔兰)

Azure

northeurope

欧盟

瑞士北部(苏黎世)

Azure

switzerlandnorth

欧盟

欧洲西部(荷兰)

Azure

westeurope

欧盟

UAE 北部(迪拜)

Azure

uaenorth

欧盟

UK 南部(伦敦)

Azure

uksouth

欧盟

亚太地区和中国

本地区域

本地云

本地区域 ID

Snowflake 管理的 ECO 缓存区域

亚太地区(东京)

AWS

ap-northeast-1

亚太地区

亚太地区(首尔)

AWS

ap-northeast-2

亚太地区

亚太地区(大阪)

AWS

ap-northeast-3

亚太地区

亚太地区(孟买)

AWS

ap-south-1

亚太地区

亚太地区(新加坡)

AWS

ap-southeast-1

亚太地区

亚太地区(悉尼)

AWS

ap-southeast-2

亚太地区

亚太地区(雅加达)

AWS

ap-southeast-3

亚太地区

澳大利亚东部(新南威尔士州)

Azure

australiaeast

大洋洲

印度中部(浦那)

Azure

centralindia

亚太地区

日本东部(东京)

Azure

japaneast

亚太地区

东南亚(新加坡)

Azure

southeastasia

亚太地区

ECO 确保在任何情况下,您只需支付一次跨云出口费用。因此,您复制到的云区域越多,潜在节省的出口成本就越多。

备注

此功能仅适用于 Cross-Cloud Auto-Fulfillment,不适用于手动复制。

出口成本优化的好处和成本

出口成本优化可用于降低和控制列表自动履行成本。

初始成本:

首次使用 Egress Cost Optimizer 自动履行数据时,数据将缓存在 Snowflake 管理的 S3 兼容存储器中,出口成本为零,您需要为每个列表中所有初次出口到该存储位置的数据付费。此后,仅对数据更新收取出口费用。

增量数据加载与完整数据重新加载:

如果您定期替换表,或者截断并重新加载表,请注意,这些新数据将被视为新表。使用这些过程会导致这些表重新缓存,与使用资源密集程度较低的方法修改数据相比,会产生更高的成本。

使用多个区域或云,节省更多费用:

在更多区域共享数据可以节省更多总出口成本。共享数据的区域越多,Egress Cost Optimizer 可节省的费用就越多。

数据库级,而非列表级:

如果在账户级别(而不是列表级别)设置自动履行计划,则将在所有遵循账户计划的列表上启用 Egress Cost Optimizer。在数据库上启用 Cost Optimizer 后,所有涉及该数据库的后续自动执行都将使用 Cost Optimizer。

有关源区域或云和目标区域或云之间出口定价的更多信息,请参阅 Snowflake 定价指南

ECO 的限制

  • Egress Cost Optimizer 需要增量数据摄取才能充分利用云缓存。

  • Egress Cost Optimizer 仅将云缓存用于通过自动履行进行的刷新。

  • Egress Cost Optimizer 仅在同一数据库中所有列表的整体出口成本得到优化时,才会使用云缓存。优化器算法在数据库级别(而非表级别)衡量列表的大小。

语言: 中文