数据集成¶
通常称为 ETL,数据集成包含以下三个主要操作:
- 提取:
从指定数据源导出数据。
- 转换:
使用规则、合并、查找表或其他转换方法修改源数据(根据需要)以匹配目标。
- 加载:
将转换后的数据导入目标数据库。
最近使用的术语是 ELT,强调变换操作不一定需要在加载前执行,特别是在像 Snowflake 这样支持加载期间或加载后变换的系统中。
此外,数据集成的范围已扩大到包括更广泛的操作,包括:
数据准备。
数据迁移、移动和管理。
数据仓库自动化。
已知以下数据集成工具和技术可提供与 Snowflake 的本机连接:
解决方案 |
版本 / 安装 要求 |
备注 |
|
---|---|---|---|
(https://www.abinitio.com/) |
Ab Initio: 无要求 – 联系 Ab Initio 了解更多详细信息 Snowflake: ODBC 驱动程序 – 从 ODBC Download (https://developers.snowflake.com/odbc/) 页面下载 |
||
(https://www.agiledataengine.com/) |
Agile Data Engine: 无要求 Snowflake: 无要求 |
||
(https://airbyte.com/) |
Airbyte: 无要求 Snowflake: 无要求 |
|
|
(https://www.alteryx.com) |
Alteryx Designer Cloud: 无要求 Snowflake: 无要求 |
||
(https://aws.amazon.com/kinesis/data-firehose/) |
Amazon Data Firehose: 无要求 Snowflake: 无要求 |
其他资源:
|
|
(https://www.artie.so/) |
Artie: 无要求 Snowflake: 无要求 |
|
|
(https://www.ascend.io/) |
Ascend.io: 无要求 Snowflake: 无要求 |
|
|
(https://azure.microsoft.com/en-us/services/data-factory/) |
** Azure 数据工厂:** 无要求 Snowflake: 无要求 |
|
|
(https://boomi.com/) |
Boomi: DCP 4.2(或更高版本)或集成 2020 年 7 月版(或更高版本) Snowflake: 无要求 |
||
(https://coalesce.io/) |
Coalesce: 无要求 Snowflake: 无要求 |
|
|
(https://www.cdata.com/) |
CData Software: 始终建议使用驱动程序/连接器/应用程序的 最新版本 (https://www.cdata.com/drivers/snowflake/download),但如果获得许可,旧版本将继续工作。 请注意,自驱动程序发布以来对 Snowflake 的任何更改可能在驱动程序中不可用,具体取决于更改的实施方式。 Snowflake: 无要求 |
|
|
(https://www.getcensus.com/) |
Census: 无要求 Snowflake: 无要求 |
|
|
(https://www.datameer.com/) |
Datameer: v7 Snowflake: 无要求 |
|
|
(https://datavirtuality.com/) |
DataVirtuality: 无要求 Snowflake: 无要求 |
|
|
(https://www.getdbt.com/) |
dbt: v0.13(或更高版本) Snowflake: 无要求 |
|
|
(http://www.denodo.com/) |
Denodo: Denodo Platform 6.0(或更高版本) Snowflake: 无要求 |
|
|
(https://www.devart.com/odbc/snowflake/) |
适用于 Snowflake 的 Devart ODBC 驱动程序: 无要求 Snowflake: 无要求 |
|
|
(https://www.devart.com/ssis/snowflake/) |
适用于 Snowflake 的 Devart SSIS 数据流组件: 无要求 Snowflake: 无要求 |
|
|
(https://support.diyotta.com/) |
Diyotta: 无要求 Snowflake: 无要求 |
|
|
(https://etleap.com/) |
Etleap: 无要求 Snowflake: 无要求 |
|
|
(http://etlworks.com) |
Etlworks: 无要求 Snowflake: 无要求 |
|
|
(https://www.fivetran.com) |
Fivetran: 无要求 Snowflake: 无要求 |
|
|
(https://cloud.google.com/data-fusion) |
** Google Cloud Data Fusion:** Snowflake 插件 Snowflake: 无要求 |
|
|
(https://cloud.google.com/dataflow) |
** Google Cloud Dataflow:** Apache Beam Snowflake: 无要求 |
|
|
(https://heap.io/) |
Heap: 连接 Snowflake: 无要求 |
|
|
(https://hevodata.com/) |
Hevo Data CDC for ETL: 无要求 Snowflake: 无要求 |
|
|
(https://hightouch.com/) |
Hightouch: 无要求 Snowflake: 无要求 |
|
|
(https://www.hvr-software.com/) |
HVR: 无要求 Snowflake: ODBC 驱动程序 – 从 ODBC Download (https://developers.snowflake.com/odbc/) 页面下载 |
|
|
(https://www.ibm.com/us-en/marketplace/datastage/) |
DataStage: InfoSphere Information Server 11.7 Snowflake: JDBC 驱动程序 – 从以下位置下载:Maven Central Repository 中的 JDBC Driver 页面 (https://central.sonatype.com/search?q=g%3Anet.snowflake%20snowflake-jdbc) |
|
|
(https://www.informatica.com) |
Informatica Cloud:
Snowflake:
|
|
|
(https://www.informatica.com) |
Informatica Data Loader: 无要求 Snowflake: 无要求 |
|
|
(https://www.informatica.com) |
Informatica PowerCenter:
Snowflake:
|
|
|
(https://kafka.apache.org/) |
** Apache Kafka:** 无要求 Kafka Connect: API 2.0.0 至 2.2.0(不支持所有其他版本) Snowflake: Snowflake Connector for Kafka – 下载自 Maven (https://mvnrepository.com/artifact/com.snowflake) |
|
|
(http://www.keboola.com/) |
Keboola: 无要求 Snowflake: 无要求 |
|
|
(https://knoema.com/) |
Knoema: 无要求 Snowflake: 无要求 |
|
|
(https://www.matillion.com/products/etl-software/) |
Matillion Data Loader: 无要求 Snowflake: 无要求 |
|
|
(https://www.matillion.com/products/etl-software/) |
Matillion ETL: 无要求 Snowflake: 无要求 |
|
|
(https://www.nexla.com/) |
Nexla: 无要求 Snowflake: 无要求(ODBC、JDBC 和 API 选项) |
|
|
(http://www.pentaho.com) |
Pentaho 数据集成 (PDI):
Snowflake:
|
|
|
(https://precog.com/) |
Precog: 无要求 Snowflake: 无要求 |
|
|
(http://www.qlik.com/) |
Qlik Replicate: 无要求 Snowflake: ODBC 驱动程序 – 从 ODBC Download (https://developers.snowflake.com/odbc/) 页面下载 |
|
|
(https://rivery.io/) |
Rivery: 无要求 Snowflake: 无要求 |
|
|
(https://www.sap.com/products/data-services.html) |
SAP Data Services: 4.2 SP12 (或更高版本) Snowflake: ODBC 驱动程序 – 从 ODBC Download (https://developers.snowflake.com/odbc/) 页面下载 |
|
|
(http://segment.com/) |
Segment: 无要求 Snowflake: 无要求 |
|
|
(https://skyvia.com/) |
Skyvia: 无要求 Snowflake: 无要求 |
|
|
(https://solace.com/) |
Solace: 无要求 Snowflake: 无要求 |
|
|
(https://www.snaplogic.com/) |
Snaplogic: 4.7.0(或更高版本),具有 Snowflake Snap Pack Snowflake: JDBC 驱动程序 – 从以下位置下载:Maven Central Repository 中的 JDBC Driver 页面 (https://central.sonatype.com/search?q=g%3Anet.snowflake%20snowflake-jdbc) |
|
|
(https://snowplowanalytics.com/) |
Snowplow: Snowflake Loader – 下载自 GitHub (https://github.com/snowplow-incubator/snowplow-snowflake-loader) Snowflake: 无要求 |
|
|
(https://www.stitchdata.com/) |
Stitch: 无要求 Snowflake: 无要求 |
|
|
(https://streamsets.com/) |
StreamSets: 无要求 Snowflake: 无要求 |
|
|
(https://www.striim.com/) |
Striim: 无要求 Snowflake: 无要求 |
|
|
(https://supermetrics.com/) |
Supermetrics: 无要求 Snowflake: 无要求 |
|
|
(https://www.tableau.com/products/prep) |
Tableau: Prep 2018.3(或更高版本) Snowflake: ODBC 驱动程序 – 从 ODBC Download (https://developers.snowflake.com/odbc/) 页面下载 |
|
|
(https://www.talend.com) |
Talend:
Snowflake: 无要求 |
|
|
(https://www.tibco.com/) |
TIBCO ActiveMatrix BusinessWorks:
Snowflake: JDBC 驱动程序 – 从以下位置下载:Maven Central Repository 中的 JDBC Driver 页面 (https://central.sonatype.com/search?q=g%3Anet.snowflake%20snowflake-jdbc) |
|
|
(http://www.tmmdata.com/) |
TMMData: 无要求 Snowflake: 无要求 |
||
(https://www.trifacta.com) |
Trifacta: 无要求 Snowflake: 无要求 |
|
|
(http://www.wherescape.com/) |
Wherescape: 无要求 Snowflake: 无要求 |
|
|
(https://www.workato.com/) |
Workato: 无要求 Snowflake: 无要求 |
|