Snowflake Horizon 目录¶
Snowflake Horizon 目录提供一整套内置的合规性、安全性、隐私、发现和协作功能,让组织可以发现和治理数据、应用程序和模型。这是一款统一解决方案,旨在解决企业挑战,同时满足处理组织内容的用户的多样化需求。
谁能从 Snowflake Horizon 目录中获益?¶
Snowflake Horizon 目录提供了一个解决方案,适用于所有需要治理、发现组织内容或对组织内容采取措施的人员。这些利益相关者包括:
- 数据管理员:
数据管理员希望提供对数据、应用程序和模型的访问权限,同时确保正确的人有权访问这些内容。他们需要识别敏感数据并适当地进行保护。他们的工作是确定谁在使用什么数据,并了解数据的质量。
Horizon 目录让数据管理员可以利用内置解决方案,有效地治理组织内容。他们可以精细地保护内容,安全地将其提供给更广泛的受众;使用监控安全性、数据质量和敏感数据流动的工具;并持续审计谁访问了数据以及该访问是否安全。
- 数据团队:
分析师、数据科学家和数据工程师组成的数据团队常常在寻找适合其任务的数据、应用程序或模型时遇到困难。发现对象后,他们很难判断数据是否最新且可信,列的含义是什么,以及谁是所有者。即使已经确定这是正确的数据,获取访问权限也可能需要几天或几周的时间。
Horizon 目录可帮助数据团队更快地找到相关内容并展开协作。 Horizon 目录可帮助这些团队从内容中提取更多价值,让他们可以更轻松地找到正确的数据,理解数据,从而信任数据符合要求,并对数据采取行动。数据团队可以通过利用组织列表来发现和包含同事共享的最新相关数据产品,并通过内部 Marketplace 自动履行,从而增强协作和数据驱动决策。
组织内容的范围¶
Horizon 目录不仅可以治理 Snowflake 表和视图等内,还使其在账户内部存储中可被发现。它涵盖一系列内容,包括:
您整个组织的账户中的数据、应用程序和模型,包括使用组织列表和 内部 Marketplace 共享的数据。
来自 Apache Iceberg™ 表 和 External Tables 的数据。
Data shared through private listings by trusted partners.
Publicly available data and every Snowflake Native App from the Snowflake Marketplace.
通过 连接器 将来自第三方应用程序和数据系统的数据导入 Snowflake。
治理内容¶
Horizon 目录提供数据管理员治理组织数据、应用程序和模型所需的工具。
- 合规:
Horizon 目录可用于执行以下操作:
使用内置和自定义 数据指标函数 监控数据质量,从而进行故障排除和可视化。您可以根据集中式表配置警报,以启用近实时数据质量通知。
在 Snowsight 中查看 数据沿袭,以了解从源表到目标表的表和列沿袭,并在出现在下游或上游表中的列上设置标签。
使用用户界面查看对象洞察:sup:
[1],无需编写 SQL 即可了解有关表和视图的信息。您可以确定谁在访问数据,访问数据最频繁的查询,是否有人在修改数据的治理情况,是否存在数据下游或上游依赖,以及数据是否属于敏感数据。通过监控标签跟踪数据,这些标签可以是使用 对象标记 或分类标签(系统定义 或 自定义)实施的用户定义标签,并已根据列的内容自动分配给列。
[1] 目前为非公开预览版。
- 安全:
Horizon 目录可用于执行以下操作:
- 隐私:
Horizon 目录可用于执行以下操作:
定义并分配 聚合策略 和 投影策略,以控制可以对共享数据运行的查询类型。聚合策略要求分析师运行汇总数据的查询,而不是检索单独的行。投影策略控制分析师是否可以使用 SELECT 语句来投影特定列。
向分析师开放高度敏感的数据,同时保护个人身份。差分隐私 使用严格的数学方法来保护数据免遭复杂的隐私攻击。
促进协作,同时使用 Snowflake Data Clean Room 来保护隐私。
通过合成生成能够直接处理的具有相似特征的数据,扩展可以从敏感数据中获得见解的人群范围。
发现内容并采取行动¶
数据团队依赖于组织的数据、应用程序和模型来完成工作。Horizon 目录为这些团队提供了所需的工具,帮助他们发现与任务相关的内容,评估这些内容以确保其相关性和可信度,并对这些内容采取行动。
- 发现:
Horizon 目录可用于执行以下操作:
使用 内部 Marketplace 来发现组织内的数据并采取行动。内部 Marketplace 是一个公司专属的网站,可以发现组织列表。类似维基的列表页面,配有数据字典和经过验证的 SQL 示例,简化了内部团队制作的数据产品的识别。无需额外设置,只需复制列表名称,数据即可立即使用。
使用 Universal Search 搜索数据、应用程序和模型,这是一个用户界面,可以使用自然语言在组织内部和外部查找内容。
通过阅读 AI 生成的描述,快速理解表及其列的内容。对象所有者可以在 Snowsight 中点击单个按钮,以便 生成这些描述,这增加了对象和列具有实用注释的可能性。这些实用的注释通过 Universal Search 提高了对象的可发现性。
Browse publicly available data on the Snowflake Marketplace.
通过使用 Snowsight [3] 中的对象洞察来评估数据相关性,了解内容的受欢迎程度、访问量、质量和依赖关系。
[3] 目前为非公开预览版。
- Collaboration:
Horizon 目录可用于执行以下操作:
Share data within your organization in the Internal Marketplace and privately with external business partners using private listings.
Buy and sell data products on the Snowflake Marketplace.
通过用户界面管理列表,或 使用 SQL 命令 以编程方式管理列表。
用例:查看 Horizon 目录的实际应用¶
假设 BazFin,一家大型金融服务公司,需要确保其内容的合规性、数据质量和可用性,这些内容有 10 PB 的数据。BazFin 使用 Horizon 目录来治理和发现内容。
- 治理内容
BazFin 首席数据官 (CDO) 需要向公司利益相关者保证,商业决策以高质量的数据的为基础。CDO 要求数据管理员利用 系统定义和自定义数据指标函数 定期持续监控数据质量。CDO 可以在任何指定日期,查看基于事件表构建的仪表板,以报告数据质量。
数据管理员回到日常工作,打开 Trust Center,检查最近为新部门创建的 Snowflake 账户的整体安全态势。通过内置界面,她发现有人忘记定义网络策略来保护账户免受未知网络流量的影响。
- 发现内容并采取行动
BazFin 分析师想要构建新仪表板,以展示表现出色的产品。分析师前往内部 Marketplace,找到财务团队发布的有绩效数据的适当组织列表。分析师浏览数据字典以预览数据,然后立即使用列表的 Unified Listing Locator 开始查询数据。
分析师还希望用第三方数据丰富 BazFin 数据。转向 Universal Search,分析师使用自然语言搜索词语
income bands for zipcodes,此操作将返回来自 Snowflake Marketplace 的数据产品,随后可以将其与 BazFin 产品性能数据进行连接。