准备数据文件¶

文件大小调整最佳实践¶

为了获得最佳加载性能并避免 大小限制，请考虑以下数据文件大小调整准则。请注意，这些建议适用于使用 Snowpipe 进行批量数据加载和连续加载。

数据库对象的大小限制¶

当您使用任何可用方法 将数据加载到 Snowflake 中时，可以存储大小不超过以下限制的对象：

VARCHAR 列的默认大小为 16 MB（二进制为 8 MB）。要创建列大小超过 16 MB 的表，请显式指定大小。例如：

CREATE OR REPLACE TABLE my_table (
  c1 VARCHAR(134217728),
  c2 BINARY(67108864));

要为 VARCHAR 列使用新限制，可以更改表以更改列大小。例如：

ALTER TABLE my_table ALTER COLUMN col1 SET DATA TYPE VARCHAR(134217728);

要将新大小应用于这些表中的 BINARY 类型的列，请重新创建表。您无法更改现有表中 BINARY 列的长度。

对于类型为 ARRAY、GEOGRAPHY、GEOMETRY、OBJECT 和 VARIANT 的列，默认可在现有表和新表中存储大于 16 MB 的对象，而无需指定长度。例如：

CREATE OR REPLACE TABLE my_table (c1 VARIANT);

如果您的过程和函数是过去创建的，并且使用 VARIANT、VARCHAR、或 BINARY 值作为输入，则可能需要重新创建它们（未指定长度），以支持大于 16 MB 的对象。例如：

CREATE OR REPLACE FUNCTION udf_varchar(g1 VARCHAR)
  RETURNS VARCHAR
  AS $$
    'Hello' || g1
  $$;

对于外部托管 Iceberg 表，VARCHAR 和 BINARY 列的默认长度为 128 MB。此默认长度适用于新创建的表或刷新的表。如果您有过去创建的表，那么这些表可能适用较小的限制。您可以刷新这些表，使其支持更大的大小限制。

对于托管 Iceberg 表，VARCHAR 和 BINARY 列的默认长度为 128 MB。在启用新大小限制之前创建的表仍具有以前的默认长度。要将新大小应用于这些表中的 VARCHAR 类型的列，请重新创建表或更改列。以下示例更改列以使用新的大小限制：

ALTER ICEBERG TABLE my_iceberg_table ALTER COLUMN col1 SET DATA TYPE VARCHAR(134217728);

要将新大小应用于这些表中的 BINARY 类型的列，请重新创建表。您无法更改现有表中 BINARY 列的长度。

100067 (54000): The data length in result column <column_name> is not supported by this version of the client.
Actual length <actual_size> exceeds supported length of 16777216.

连续数据加载 – 即 Snowpipe – 和文件大小调整¶

Snowpipe 会在发送文件通知后的一分钟内加载新数据。但是，对于非常大的文件，或者在需要异常数量的计算资源来解压缩、解密和转换新数据的情况下，加载可能需要更长的时间。

除了资源消耗之外，管理内部加载队列中的文件的开销也包含在 Snowpipe 的使用成本中。此开销会随着排队加载的文件数而增加。此开销会在账单中显示为 Snowpipe 费用，因为自动外部表刷新的事件通知会使用 Snowpipe。

为了使用 Snowpipe 获得更高效和更具成本效益的加载体验，建议遵循 :ref:`label-data_load_file_sizing_best_practices`（本主题内容）中的文件大小建议。加载约为 100-250 MB 或更大的数据文件，可以显著降低相对于加载的总数据量的开销，以至于这部分额外成本变得几乎可以忽略不计。

如果在源应用程序中累积 MBs 数据所需的时间超过一分钟，可考虑每分钟创建一个新的（可能更小的）数据文件。这种方法通常可以在成本（即用于 Snowpipe 队列管理和实际负载的资源）和性能（即负载延迟）之间实现良好的平衡。

创建较小的数据文件并将其暂存到云存储中的频率超过每分钟一次，具有以下缺点：

• 无法保证减少暂存和加载数据之间的延迟。

• 管理内部加载队列中文件的开销包含在 Snowpipe 的使用成本中。此开销会随着排队加载的文件数而增加。

各种工具可以聚合和批处理数据文件。一个方便的选择是 Amazon Data Firehose。Firehose 允许定义所需的文件大小（称为 缓冲区大小）和发送新文件（在本例中为云存储）之后的等待间隔（称为 缓冲区间隔）。有关更多信息，请参阅 Amazon Data Firehose 文档 (https://docs.aws.amazon.com/firehose/latest/dev/create-configure.html)。如果源应用程序通常会在一分钟内积累足够的数据来填充大于建议的最大值的文件，以实现最佳并行处理，则可以减小缓冲区大小以触发较小文件的传递。将缓冲间隔设置保持在 60 秒（最小值）有助于避免创建过多文件或增加延迟。

准备带分隔符的文本文件¶

在准备要加载的带分隔符的文本 (CSV) 文件时，请考虑以下准则：

• UTF-8 是默认字符集，但支持其他编码。使用 ENCODING 文件格式选项指定数据文件的字符集。有关更多信息，请参阅 CREATE FILE FORMAT。

• 包含分隔符的字段放在引号（单引号或双引号）内。如果数据包含单引号或双引号，则必须对这些引号进行转义。

• 回车符通常在 Windows 系统上与换行符一起引入，以标记行尾 (\r \n)。包含回车符的字段也应放在引号（单引号或双引号）内。

• 每行中的列数应保持一致。

半结构化数据文件和子列化¶

将半结构化数据插入 VARIANT 列中时，Snowflake 会使用某些规则将尽可能多的数据提取为列形式。其余数据作为单个列存储在解析的半结构化结构中。

默认情况下，Snowflake 每个分区、每个表最多提取 200 个元素。要提高此限制，请联系 Snowflake 支持部门。

数值数据准则¶

• 避免使用嵌入字符，例如逗号（例如，123,456）。

• 如果一个数字包含小数部分，则应使用小数点将其与整数部分分隔开（例如，123456.789）。

• 仅限 Oracle。Oracle NUMBER 或 NUMERIC 类型允许任意小数位数，这意味着即使在定义数据类型时没有指定精度或小数位数，它们也接受带有小数部分的值。而在 Snowflake 中，为具有小数部分的值设计的列必须使用小数位数定义以保留小数部分。

日期和时间戳数据准则¶

• 有关日期、时间和时间戳数据支持的格式的信息，请参见 日期和时间输入和输出格式。

• 仅限 Oracle。Oracle DATE 数据类型可以包含日期 或 时间戳信息。如果您的 Oracle 数据库包含还存储时间相关信息的 DATE 列，请将这些列映射到 Snowflake 中的 TIMESTAMP 数据类型，而不是 DATE。