自动对敏感数据进行分类¶

开始使用¶

自动对敏感数据进行分类的基本工作流程包括以下内容：

1. Create a classification profile that controls how often sensitive data in a database is automatically classified, including whether system tags should be automatically applied after classification.

2. （可选）使用分类配置文件将用户定义的标签映射到系统标签，以便包含敏感数据的列可以根据其分类与用户定义的标签关联。

3. （可选）在分类配置文件中添加 自定义分类器，以便使用用户定义的语义和隐私类别对敏感数据进行自动分类。

4. Set the classification profile on a database so that tables in the database get automatically classified.

有关该工作流程的端到端示例，请参阅 示例。

关于分类配置文件¶

A data engineer creates a classification profile by creating an instance of the CLASSIFICATION_PROFILE class to define the criteria that are used to automatically classify tables in a database. This criteria includes:

• 表在自动分类前应存在多长时间。

• 之前已分类的表应在多长时间内重新分类。

• 分类后，是否在列上自动设置系统和自定义标签。您可以决定是让 Snowflake 自动应用推荐的标签，还是选择先查看系统建议的标签分配，然后再由您自行应用。

• 在系统分类标签和用户定义的对象标签之间 映射，以便自动应用用户定义的标签。

When the data engineer assigns the classification profile to a database, sensitive data in the tables that belong to the database is automatically classified on the schedule defined by the profile. A data engineer can assign the same classification profile to multiple databases, or create multiple classification profiles if there is a need to set different classification criteria for different databases.

数据自动分类过程需要访问表中的原始数据。原始数据包括为列指定了掩码策略的表。不过，Snowflake 通过使用内部角色对数据进行自动分类，保留了规范受保护数据访问的意图。内部角色可以访问受掩码策略保护的数据，但用户无法访问该角色。

有关使用 CREATE CLASSIFICATION_PROFILE 命令创建分类配置文件的示例，请参阅 示例。

Excluding objects from automatic sensitive data classification¶

默认情况下，Snowflake 会自动对设置了分类配置文件的数据库中的所有敏感数据进行分类。您可以将 Snowflake 配置为从自动分类中排除架构、表或列，以便在分类过程中跳过它们。

For more information, see 从自动敏感数据分类中排除数据.

关于标签映射¶

您可以使用分类配置文件将 SEMANTIC_CATEGORY 系统标记 映射到一个或多个 对象标签。这种标签映射允许根据敏感数据的分类自动为列分配用户定义的标签。标签图可以在创建分类配置文件时添加，也可以稍后通过调用 <classification_profile_name>!SET_TAG_MAP 方法添加。

由于用户自定义的对象标签可以关联掩码策略，您可以借助标签映射来启用自动的 基于标签的掩码。如果您选择在数据分类之后自动应用标签，就可以实现整个数据保护流程的自动化，系统会根据数据的分类结果，自动为相关列分配掩码策略。随着新数据不断添加到架构中，这些基于标签的掩码策略也会自动应用到包含敏感信息的列上。

Regardless of whether you are defining the tag map while creating the classification profile or after, the contents of the map are specified as a JSON object. This JSON object contains the 'column_tag_map' key, which is an array of objects that specify a user-defined tag, the string value of that tag, and the semantic categories to which the tag is being mapped. After the tag map is associated with a classification profile and you automatically classify tables in a database, the tag is assigned to the columns that correspond to the semantic categories.

以下是标签映射示例：

'tag_map': {
  'column_tag_map': [
    {
      'tag_name':'tag_db.sch.pii',
      'tag_value':'Highly Confidential',
      'semantic_categories':[
        'NAME',
        'NATIONAL_IDENTIFIER'
      ]
    },
    {
      'tag_name': 'tag_db.sch.pii',
      'tag_value':'Confidential',
      'semantic_categories': [
        'EMAIL'
      ]
    }
  ]
}

根据此映射，如果您有一列电子邮件地址，且分类过程确定该列包含这些地址，则会在包含电子邮件地址的列上设置 tag_db.sch.pii = 'Confidential' 标签。

如果您的标签映射包括多个映射标签、标签值和类别值的 JSON 对象，则 JSON 对象的顺序将决定在发生冲突时在列上设置哪个标签和值。按所需的赋值顺序从左到右指定 JSON 对象，如果是格式化 JSON，则从上到下。

如果手动分配的标签与自动分类应用的标签发生冲突，则会出现错误。有关跟踪这些错误的信息，请参阅 故障排除。

实施自定义分类¶

借助 Snowflake，您可以定义 自定义分类器，进而使用自定义逻辑对敏感数据进行识别和分类。例如，您可以使用正则表达式识别 ICD-10 代码创建一个自定义分类器，并将其归入语义类别 ICD_10_CODES。

创建自定义分类器后，您可以将其添加到分类配置文件中，以便 Snowflake 根据其逻辑对数据进行自动分类。您可以在创建分类配置文件时或通过调用 <classification_profile_name>!SET_CUSTOM_CLASSIFIERS 方法添加自定义分类器。

Adding both custom classifiers and a tag map in your classification profile provides a powerful governance solution. It allows you to automatically classify data based on your knowledge of what is sensitive and apply a user-defined tag that you can track. If you use this user-defined tag to implement tag-based masking, your domain-specific sensitive data is automatically protected by a masking policy as data is added to a database.

Set a classification profile on a database¶

You implement automatic sensitive data classification by setting a classification profile on a database. After you set the classification profile on the database, all tables and views within that database are automatically monitored by sensitive data classification.

You can also set a classification on a schema. If you set a classification profile on a schema that exists within a database that is also associated with a classification profile, the profile set on the schema overrides the profile set on the database.

To set a classification profile, use an ALTER DATABASE or ALTER SCHEMA command to set the CLASSIFICATION_PROFILE parameter. For example, to set a classification profile my_profile so all tables and views in the my_db database are monitored by automatic sensitive data classification, run the following command:

ALTER DATABASE my_db
  SET CLASSIFICATION_PROFILE = 'governance_db.classify_sch.my_profile';

对视图进行分类¶

默认情况下，敏感数据分类不会对视图中的数据进行分类。如果不更改默认值，则仅对表进行分类。

对视图进行分类的成本可能比对表进行分类的成本更高。额外成本因创建视图的查询的复杂程度而异。物化视图不会像其他视图一样产生额外费用。

分类配置文件的配置对象中的 classify_views 键决定是否对视图进行分类。以下分类配置文件会更改默认值，以便对视图进行分类：

CREATE OR REPLACE SNOWFLAKE.DATA_PRIVACY.CLASSIFICATION_PROFILE
  my_classification_profile(
    {
      'minimum_object_age_for_classification_days': 0,
      'maximum_classification_validity_days': 30,
      'classify_views': true
    });

You can also enable or disable the classification of views using the SET_CLASSIFY_VIEWS method.

通过自动分类确定哪些对象受到监控¶

通过列出与分类配置文件关联的数据库和架构，您可以确定通过自动敏感数据分类来监控哪些数据。如果数据库或架构与分类配置文件相关联，则该实体中的所有表和视图将根据配置文件中定义的标准自动进行分类。

使用 SYSTEM$SHOW_SENSITIVE_DATA_MONITORED_ENTITIES 函数列出与分类配置文件关联的数据库和架构。您可以只列出数据库，只列出架构，也可以列出所有数据库和架构。例如，要列出与分类配置文件关联的所有数据库和架构，请运行以下命令：

SELECT SYSTEM$SHOW_SENSITIVE_DATA_MONITORED_ENTITIES();

输出列出了数据库或架构的名称、其类型和分类配置文件。以下是输出的示例：

[
{"name":"HR_DB","type":"DATABASE","profile_name":"GOV_DB.CLASSIFY_SCH.MY_CLASSIFICATION_PROFILE"},
{"name":"SALES_DB.SCH1","type":"SCHEMA","profile_name":"GOV_DB.CLASSIFY_SCH.TEST_PROFILE"}
]

查看自动分类结果¶

您可以通过以下方式查看自动分类的结果：

• 调用 SYSTEM$GET_CLASSIFICATION_RESULT 存储过程。例如：

  CALL SYSTEM$GET_CLASSIFICATION_RESULT('mydb.sch.t1');
  

  Copy

  You cannot return results until the classification process completes. The automatic classification process does not start until one hour after setting the classification profile on the database.

• 使用被授予 SNOWFLAKE.GOVERNANCE_VIEWER 数据库角色的角色查询 DATA_CLASSIFICATION_LATEST 视图。例如：

  SELECT * FROM snowflake.account_usage.data_classification_latest;
  

  Copy

  分类完成三小时后，结果可能才会出现。

限制¶

• 不能在阅读者账户上设置分类配置文件。

• Only one classification profile can be set on a database or schema.

• A classification profile cannot be set on more than 1,000 databases.

• A classification profile cannot be directly set on more than 10,000 schemas.

• 一个架构中最多可分类 1 亿个表。

• 如果表具有以下任意一项特征，则无法对其进行自动分类：

  • More than 10,000 columns.

  • A column with a name that has more than 255 characters.

  • A column with a name that includes the $ character.

  • 来自共享。

访问控制¶

本不分介绍可让您使用分类配置文件和启用敏感数据自动分类的权限和角色。

有关向数据工程师角色授予这些权限和数据库角色的示例，请参阅 Basic example: Automatically classifying tables in a database。

自动分类敏感数据的成本¶

Automatic sensitive data classification consumes credits as it uses serverless compute resources to classify tables in the database. For more information about pricing for this consumption, see Table 5 in the Snowflake Service Consumption Table.

您可以查询 ACCOUNT_USAGE 和 ORGANIZATION_USAGE 架构中的视图，以确定用于自动分类敏感数据的费用。要监控 credit 使用，请查询以下视图：

METERING_HISTORY 视图 (ACCOUNT_USAGE)

通过关注 SERVICE_TYPE 列中的 SENSITIVE_DATA_CLASSIFICATION，您可以检索自动分类的每小时成本。例如：

SELECT
  service_type,
  start_time,
  end_time,
  entity_id,
  name,
  credits_used_compute,
  credits_used_cloud_services,
  credits_used,
  budget_id
  FROM snowflake.account_usage.metering_history
  WHERE service_type = 'SENSITIVE_DATA_CLASSIFICATION';

Copy

METERING_DAILY_HISTORY 视图（ACCOUNT_USAGE 和 ORGANIZATION_USAGE）

通过关注 SERVICE_TYPE 列中的 SENSITIVE_DATA_CLASSIFICATION，您可以检索自动分类的每日成本。例如：

SELECT
  service_type,
  usage_date,
  credits_used_compute,
  credits_used_cloud_services,
  credits_used
  FROM snowflake.account_usage.metering_daily_history
  WHERE service_type = 'SENSITIVE_DATA_CLASSIFICATION';

Copy

USAGE_IN_CURRENCY_DAILY (ORGANIZATION_USAGE)

通过关注 SERVICE_TYPE 列中的 SENSITIVE_DATA_CLASSIFICATION，您可以检索自动分类的每日成本。使用此视图可以确定货币成本，而不是 Credit。

示例¶

• Basic example: Automatically classifying tables in a database

• 示例：使用标签图和自定义分类器

• 示例：在启用自动分类前测试分类配置文件

故障排除¶

The simplest way to start troubleshooting a table that wasn't classified is to query the table directly (for example, SELECT * FROM my_table). If a table can't be queried, it can't be automatically classified.

If an object can't be automatically classified, Snowflake logs an event to an event table. By default, the event is logged to the account-level event table. If you have an event table defined for the failed object's database, then the event is logged there instead.

In general, there is a delay before Snowflake tries to classify the object again. Every additional failed attempt is logged to the event table. This delay and retry process continues until the object is fixed or removed from automatic classification.

If you want prevent classification events from being logged, set the ENABLE_AUTOMATIC_SENSITIVE_DATA_CLASSIFICATION_LOG account parameter to FALSE.

SELECT
  record_type,
  record:severity_text::string log_level,
  parse_json(value) error_message
  FROM <event_db>.<event_schema>.<event_table>
  WHERE record_type='LOG' and scope:name ='snow.automatic_sensitive_data_classification'
  ORDER BY log_level;

SELECT
  RECORD_ATTRIBUTES:"object_name"::string AS object_name,
  parse_json(value):"error_message" error_message,
  PARSE_JSON(VALUE):"profile_name" classification_profile_name,
  timestamp,
  FROM <event_db>.<event_schema>.<event_table>
  WHERE record_type='LOG'
    AND scope:name ='snow.automatic_sensitive_data_classification'
    AND RECORD_ATTRIBUTES:"event_type" = 'CLASSIFICATION_ERROR'
  ORDER BY TIMESTAMP DESC;

"failure_reason":"NO_TAGGING_PRIVILEGE"

"failure_reason":"MANUALLY_APPLIED_VALUE_PRESENT"

"failure_reason":"TAG_NOT_ACCESSIBLE_OR_AUTHORIZED"