数据挖掘etl（数据挖掘的四种基本方法）

什么是ETL?

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。

ETL一般都是和商业智能打包销售的，换句话说，有ETL需求的有可能都会用到BI。

Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。

深入解析：ETL是什么？ETL，全称是Extract-Transform-Load，是现代企业数据管理的关键步骤，它如同数据的桥梁，将分散的、多样化的数据源整合并转化为对企业决策至关重要的分析资产。通过这个过程，数据从源头被提取、精心转换，然后精准加载到数据仓库中。

ETL是指获取原始大数据流，然后对其进行解析，并产生可用输出数据集的过程。从数据源中提取（E）数据，然后经过各种聚合、函数、组合等转换（T），使其变为可用数据。最终，数据会被加载（L）到对它进行具体分析的环境中，这就是ETL流程。全写是 Extract-Transform-Load。

什么是BI工具,ETL工具或OLAP产品?

1、BI工具是指可以被视为收集、管理和分析商业信息的过程，目的是让企业的各级决策者获得知识或洞察力，促使他们作出对企业更为有利的决策，一般由数据仓库，在线分析处理，数据挖掘，数据备份与恢复等部分组成，主要涉及软件、硬件、咨询服务和应用等方面。

2、商业智能（Business Intelligence， BI），又称商业智能或商务智能，指用数据仓库技术、在线分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。商业智能通常可以将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。

3、BI工具是由ETL、DW、OLAP、DM等多个环节组成的复杂技术集合。

4、因此，从技术层面上讲，商业智慧不是什么新技术，它只是资料仓库、OLAP和资料探勘等技术的综合运用。 什么叫BI战略 BI定义为一套可以将原始的、无序的资料转换成可操作资讯的流程与技术。 当然，BI也有自己“成长的烦恼”。如同分析师所述，“十数年过去了，大部分企业依然觉得BI最佳实践可望而不可及。

5、BI有6个意思。1，商业智能（Business Intelligence）BI（Business Intelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。

6、Bi分析系统其实也就是自动化的一种数据管理系统，能够让大家随时随地的了解到公司运营情况的相关数据，也可以分析各种不一样的问题，进行全面的了解。BI系统在大多数企业都是部署在展现层和应用层。

大数据etl工具有哪些

Kettle Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

ETL工具介绍 Datastage IBM公司的商业软件，最专业的ETL工具，但同时价格不菲，适合大规模的ETL应用。使用难度：★★★ Informatica 商业软件，相当专业的ETL工具。价格上比Datastage便宜一点，也适合大规模的ETL应用。

目前用到的ETL工具常见的有Datastage，informatica，kettle三种，前两者是收费的，并且占据了大多数国内市场，而kettle是来源免费的！但是在大数据量下Informatica 与Datastage的处理速度是比较快的，比较稳定。【回答】Kettle的处理速度相比之下稍慢。所以很多公司尤其是金融机构选Informatica 与Datastage。

ETL工具的翘楚：Kettle/这款开源的Java工具，Kettle以其直观的图形化界面吸引着用户。Spoon、Pan和CHEF等组件，分别负责数据抽取、转换的设计与调度，是数据处理的得力助手。阿里巴巴的高效之选：DataX/DataX作为阿里云开源的明星，专为大数据迁移而生。

ETL工具的典型代表有：Informatica、Datastage、OWB、微软DTS、Beeload、Kettle、久其ETL……开源的工具有eclipse的etl插件：cloveretl数据集成：快速实现ETLETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性。

离线搜集工具：ETL 在数据仓库的语境下，ETL基本上便是数据搜集的代表，包括数据的提取（Extract）、转换（Transform）和加载（Load）。在转换的过程中，需求针对具体的事务场景对数据进行治理，例如进行不合法数据监测与过滤、格式转换与数据规范化、数据替换、确保数据完整性等。