数据挖掘用途（数据挖掘的用处）

大数据有什么用途?

1、大数据技术也开始用于监测早产儿和患病婴儿的身体状况。通过记录和分析每个婴儿的每一次心跳和呼吸模式，提前24小时预测出身体感染的症状，从而及早干预，拯救那些脆弱的随时可能生命危险的婴儿。

2、大数据在各个行业领域，都是有应用的。比如物联网、智慧城市、增强现实（AR）与虚拟现实（VR）、区块链、语音识别等。物联网。物联网是互联网基础上的延伸和扩展的网络，实现在任何时间、任何地点，人、机、物的互联互通。智慧城市。

3、提供个性服务。很多人觉得大数据好像离我们很远，其实我们在日常所使用的智能设备，就需要大数据的帮助。比如说我们运动时候戴的运动手表或者是运动手环，就可以在我们平时运动的时候，帮助我们采集运动数据及热量消耗情况。进入睡眠时，还可以帮助监控我们的睡眠，从而对这些数据进行分析，对未来阶段进行规划。

大数据的概念

1、大数据的概念：通常是指一个专门用于分析、处理和存储大量经常来自不同来源的数据集合的领域。大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。所谓大数据，即海量数据，具有信息量大、信息主体多元、更新速度快和价值密度低等特点。

2、简述大数据的概念如下：大数据（bigdata），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

3、概念：大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。作用：大数据的处理分析正成为新一代信息技术融合应用的结点。

数据挖掘DM与联机分析处理OLAP的区别

1、显然，从对数据分析的深度的角度来看，OLAP位于较浅的层次，而DM所处的位置则较深。如果按数据分析模型来区分这两者，那么应该说OLAP实现了解释模型和思考模型，而DM则实现了更深的第四层—公式模型。所处分析模型层次的不同决定了这两者的分析能力和所能回答的问题种类也不相同。

2、二者的实施和项目结果输出都不同。OLAP一般是当前事务型项目的辅助和补充（经常一个项目中需要用到报表工具就是OLAP），而DM一般是一个独立的，较为大型的IT项目，独立于当前的事务型应用。

3、数据挖掘与OLAP不同的地方是，数据挖掘不是用于验证某个假定的模式（模型）的正确性，而是在数据库中自己寻找模型。他在本质上是一个归纳的过程。比如，一个用数据挖掘工具的分析师想找到引起贷款拖欠的风险因素。

4、数据挖掘DM是从数据中发现知识KDD；而联机分析OLAP是利用人已知的知识来有意识地组织和使用数据。（4）基本方法不同 数据挖掘的基础是数学模型和算法；而OLAP不需要数学模型和算法支持，只与数据仓库和OLAP自身知识相关。

5、OLAP和数据挖掘的区别：OLAP与数据挖掘都是数据库或数据仓库的分析工具，是相辅相成，都是决策分析不可缺少的工具。但他们又有不同，OLAP是验证型的分析工具，而数据挖掘是预测型的工具。

Python适合做什么?

1、做日常任务，比如下载视频、MP自动化操作excel、自动发邮件。做网站开发、web应用开发，很多著名的网站像知乎、YouTube就是Python写的。许多大型网站就是用Python开发的，例如YouTube、Instagram，还有国内的豆瓣。很多大公司，包括Google、Yahoo等，甚至NASA（美国航空航天局）都大量地使用Python。

2、Web开发 Python拥有很多免费数据函数库、免费web网页模板系统、以及与web服务器进行交互的库，可以实现web开发，搭建web框架。

3、网络接口：能方便进行系统维护和管理，Linux下标志性语言之一，是很多系统管理员理想的编程工具。图形处理：有PIL、Tkinter等图形库支持，能方便进行图形处理。数学处理：NumPy扩展提供大量与许多标准数学库的接口。

数据挖掘不同领域中的采样方法有哪些?

非随机采样的方法中最常用的是分层采样。例如，在密度差别很大的数据集中，根据密度的不同，采样的样本数量可以不同，在密度较高的区域采样的次数少一些，而在密度稀疏的区域，采样的次数多一些。扩充（Scaling-Up）的数据挖掘算法的采样 扩充是指利用已有的数据挖掘算法能够高敛地处理大数据集。

在实际应用中，数据下采样通常通过随机抽样或聚类的方法来实现。其中，随机抽样是指从原始数据中随机抽取部分数据样本；而聚类则是将原始数据集分成不同的簇，然后从每个簇中选取样本。通过这些方法，可以在不影响数据质量的情况下，有效地减少训练集的大小，提高机器学习算法的效率和准确性。

采集一般是采样方式，即隔一定时间（称采样周期）对同一点数据重复采集。采集的数据大多是瞬时值，也可是某段时间内的一个特征值。准确的数据量测是数据采集的基础。数据量测方法有接触式和非接触式，检测元件多种多样。不论哪种方法和元件，均以不影响被测对象状态和测量环境为前提，以保证数据的正确性。

随机抽样方法是为了寻找一组能够准确反映总体分布特征的样本而采用的方法，因此代表性和可信度是评估随机采样数据集是否合理的重要指标。从代表性角度来看，在进行随机抽样时，选择的样本需要能够代表总体分布中具有典型意义的部分。

大数据分析一般用什么工具分析?

1、大数据分析工具有很多，主要包括以下几种： Hadoop Hadoop是一个允许在廉价硬件上运行大规模数据集的开源软件框架。它提供了分布式文件系统（HDFS），能够存储大量数据并允许在集群上进行并行处理。此外，Hadoop还提供了MapReduce编程模型，用于处理大规模数据集。

2、大数据分析工具有：R-编程 R 编程是对所有人免费的最好的大数据分析工具之一。它是一种领先的统计编程语言，可用于统计分析、科学计算、数据可视化等。R 编程语言还可以扩展自身以执行各种大数据分析操作。

3、作为另一款大数据处理必要工具，Rapidminer属于一套开源数据科学平台，且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建，且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目，且已经成为众多知名数据科学家心目中的可靠工具。