在 Snowflake 中使用合成数据¶

概述¶

Snowflake 可以从源表生成 合成数据，生成一个与源表具有相同列数但包含统计类似的人工数据的表。您可以使用合成数据来共享或测试过于敏感、机密或以其他方式限制与他人共享的数据。合成数据集具有与源数据集相同的特征，例如列的名称、编号和数据类型，以及相同或更少的行数。您可以使用合成数据来测试和验证 Snowflake 中的工作负载，特别是当原始数据为敏感数据且不应受到未经授权的用户访问时。

生成合成数据¶

调用 GENERATE_SYNTHETIC_DATA，从一个或多个表生成合成数据。Snowflake 创建合成数据表，并将所有权授予调用存储过程的角色。输出表的列数与输入表相同，列名和数据类型也相同。输出通常具有相同的行数，除非您启用 隐私筛选器 或输入表具有 NULL 值，在这种情况下，输出表可能具有更少的行。

'datasets':[
  {
    'input_table': 'd.s.orders',
    'output_table': 'd.s.orders_synth',
    'columns': {'cust_id': {'join_key': True, 'replace': 'uuid'}, ...}
  },
  {
    'input_table': 'd.s.customers',
    'output_table': 'd.s.customers_synth',
    'columns' : {'cust_id': {'join_key': True, 'replace':'uuid'}, ...}

  }
]

CALL SNOWFLAKE.DATA_PRIVACY.GENERATE_SYNTHETIC_DATA({
  'datasets':[
      {
        'input_table': 'CLINICAL_DB.PUBLIC.PATIENTS1',
        'output_table': 'MY_DB.PUBLIC.PATIENTS1',
        'columns': { 'patient_id': {'join_key': TRUE}, 'age':{'join_key': TRUE}}
      },
      {
        'input_table': 'CLINICAL_DB.PUBLIC.PATIENTS2',
        'output_table': 'MY_DB.PUBLIC.PATIENTS2',
        'columns': { 'patient_id': {'join_key': TRUE}, 'age':{'join_key': TRUE}}
      }
    ],
    'replace_output_tables': TRUE
});

-- Generate consistent join keys across multiple runs by
-- providing a symmetric key secret.
CREATE OR REPLACE SECRET my_db.public.my_consistency_secret
  TYPE=SYMMETRIC_KEY
  ALGORITHM=GENERIC;

CALL SNOWFLAKE.DATA_PRIVACY.GENERATE_SYNTHETIC_DATA({
  'datasets':[
      {
        'input_table': 'CLINICAL_DB.PUBLIC.BASE_TABLE',
        'output_table': 'MY_DB.PUBLIC.PATIENTS1',
        'columns': { 'patient_id': {'join_key': TRUE}}
      }
    ],
    'consistency_secret': SYSTEM$REFERENCE('SECRET', 'MY_CONSISTENCY_SECRET', 'SESSION', 'READ')::STRING,
    'replace_output_tables': TRUE
});

CALL SNOWFLAKE.DATA_PRIVACY.GENERATE_SYNTHETIC_DATA({
  'datasets':[
      {
        'input_table': 'CLINICAL_DB.PUBLIC.SECOND_TABLE',
        'output_table': 'MY_DB.PUBLIC.PATIENTS2',
        'columns': { 'patient_id': {'join_key': TRUE}}
      }
    ],
    'consistency_secret': SYSTEM$REFERENCE('SECRET', 'MY_CONSISTENCY_SECRET', 'SESSION', 'READ')::STRING,
    'replace_output_tables': TRUE
});

要求¶

建议¶

• 使用中型 Snowpark 优化型仓库。

• GENERATE_SYNTHETIC_DATA 运行时，请勿在该仓库中运行其他查询。

示例：来自多个表的合成数据¶

此示例使用 Snowflake 示例数据数据库 SNOWFLAKE_SAMPLE_DATA。如果在账户中看不到该数据库，可以使用以下命令复制：

USE ROLE ACCOUNTADMIN;
CREATE or REPLACE DATABASE SNOWFLAKE_SAMPLE_DATA from share SFC_SAMPLES.SAMPLE_DATA;

按照以下步骤从多个输入表生成合成数据：

1. 为 data_engineer 角色创建并配置访问控制，以允许他们创建所有必要的对象：

   USE ROLE ACCOUNTADMIN;
   CREATE OR REPLACE ROLE data_engineer;
   CREATE OR REPLACE DATABASE syndata_db;
   CREATE OR REPLACE WAREHOUSE syndata_wh;
   
   GRANT OWNERSHIP ON DATABASE syndata_db TO ROLE data_engineer;
   GRANT USAGE ON WAREHOUSE syndata_wh TO ROLE data_engineer;
   GRANT ROLE data_engineer TO USER jsmith; -- Or whoever you want to run this example. Or skip this line to run it yourself.
   

   Copy

2. 从 Snowflake 示例数据数据库创建两个视图：

   - Sign in as user with data_engineer role. Then...
   CREATE SCHEMA syndata_db.sch;
   CREATE OR REPLACE VIEW syndata_db.sch.TPC_ORDERS_5K as (
       SELECT * from SNOWFLAKE_SAMPLE_DATA.TPCH_SF1.ORDERS
       LIMIT 5000
   );
   CREATE OR REPLACE VIEW syndata_db.sch.TPC_CUSTOMERS_5K as (
       SELECT * from SNOWFLAKE_SAMPLE_DATA.TPCH_SF1.CUSTOMER
       LIMIT 5000
   );
   

   Copy

3. 查询输入表以查看数据，并确认每个表是否都有 5,000 行：

   USE WAREHOUSE syndata_wh;
   SELECT TOP 20 * FROM syndata_db.sch.TPC_ORDERS_5K;
   SELECT COUNT(*) FROM syndata_db.sch.TPC_ORDERS_5K;
   select count(distinct o_clerk), count(*) from syndata_db.sch.TPC_ORDERS_5K;
   
   SELECT TOP 20 * FROM syndata_db.sch.TPC_CUSTOMERS_5K;
   SELECT COUNT(*) FROM syndata_db.sch.TPC_CUSTOMERS_5K;
   

   Copy

4. 调用 GENERATE_SYNTHETIC_DATA 存储过程，将合成数据生成到两个输出表中。指定联接键，因为您稍后将使用这些键进行联接。

   CALL SNOWFLAKE.DATA_PRIVACY.GENERATE_SYNTHETIC_DATA({
       'datasets':[
           {
             'input_table': 'syndata_db.sch.TPC_ORDERS_5K',
             'output_table': 'syndata_db.sch.TPC_ORDERS_5K_SYNTHETIC',
             'columns': {'O_CUSTKEY': {'join_key': True}}
           },
           {
             'input_table': 'syndata_db.sch.TPC_CUSTOMERS_5K',
             'output_table': 'syndata_db.sch.TPC_CUSTOMERS_5K_SYNTHETIC',
             'columns' : {'C_CUSTKEY': {'join_key': True}}
   
           }
         ],
         'replace_output_tables':True
     });
   

   Copy

5. 查询输出表以查看合成数据：

   SELECT TOP 20 * FROM syndata_db.sch.TPC_ORDERS_5K_SYNTHETIC;
   SELECT COUNT(*) FROM syndata_db.sch.TPC_ORDERS_5K_SYNTHETIC;
   
   SELECT TOP 20 * FROM syndata_db.sch.TPC_CUSTOMERS_5K_SYNTHETIC;
   SELECT COUNT(*) FROM syndata_db.sch.TPC_CUSTOMERS_5K_SYNTHETIC;
   

   Copy

6. 清理所有对象

   USE ROLE ACCOUNTADMIN;
   DROP DATABASE syndata_db;
   DROP ROLE data_engineer;
   DROP WAREHOUSE syndata_wh;
   

   Copy