数据挖掘异常分析（数据挖掘常见问题）

数据挖掘的方法有哪些?

遗传算法 遗传算法是一种依据微生物自然选择学说与基因遗传原理的恣意优化算法，是一种仿生技能全局性提升办法。遗传算法具有的暗含并行性、便于和其他实体模型交融等特性促使它在数据发掘中被多方面运用。

分类分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。

数据挖掘的的方法主要有以下几点：　分类挖掘方法。分类挖掘方法主要利用决策树进行分类，是一种高效且在数据挖掘方法中占有重要地位的挖掘方法。

方法Analytic Visualizations（可视化分析）无论是日志数据分析专家还是普通用户，数据可视化都是数据分析工具的最基本要求。可视化可以直观地显示数据，让数据自己说话，让听众看到结果。方法Data Mining Algorithms（数据挖掘算法）如果说可视化用于人们观看，那么数据挖掘就是给机器看的。

从大量数据集中找出异常数据一般用什么数据挖掘算法

选择与评估在实际应用中，选择异常检测算法时需谨慎，如PCA和MCD在简单数据上的表现相似，但Isolation Forest在高维数据和大数据集中的效率更胜一筹。评估常用指标有ROC曲线和Precision@Rank n，Isolation Forest和KNN通常展示出稳定的表现。然而，KNN的性能受异常特征影响显著，需要根据具体情况调整参数。

决策树算法是数据挖掘中常用的预测模型之一。它通过构建树状结构模型，将数据集分类或回归预测。决策树算法包括IDC5和CART等，它们通过递归地将数据集分割成不同的子集，以形成决策树的各个节点和分支。这种算法易于理解和解释，并且在许多领域得到了广泛应用。聚类算法是数据挖掘中一种无监督学习方法。

聚类分析是数据挖掘中一种非常重要的方法。它是指将大量的数据划分为若干个类别或簇，使得同一类别中的数据相似度较高，不同类别中的数据差异较大。聚类分析的方法包括K均值聚类、层次聚类等。这些方法可以帮助我们找出数据中的模式和结构，对于市场细分、客户分析等场景非常有用。

为了对数据进行较为准确的测试并据此分类，我们采用决策树算法，而决策树中比较典型的几种方法为：ID3算法，此方法具有较强的实用性，适用于大规模数据处理；KNN算法，此方法算量较大，适用于分别类别的数据处理。.聚类分析挖掘方法。

18、如何识别数据中的异常值

最后，异常值可以表示与问题相关的数据实例的示例，例如欺诈检测和计算机安全性中的异常。异常值是极端值，远远超出其他观察值。例如，在正态分布中，异常值可以是分布尾部的值。识别异常值的过程在数据挖掘和机器学习中有许多名称，例如异常值挖掘，异常值建模和新颖性检测以及异常检测。

可能是试验条件和方法的偶然偏离，不属同一总体。判断异常值的统计学原则：（1）上侧情形：异常值为高端值。（2）下侧情形：异常值为低端值。（3）双侧情形：异常值在两端可能出现极端值。判断异常值的规则：（1）标准差已知--奈尔（Nair）检验法。

数据收集：检查数据的收集方法是否科学。例如，样本是否足够大，是否随机选择，是否有偏见等。如果数据收集方法有问题，那么结果可能会受到影响。 数据处理：检查数据的处理过程是否正确。例如，是否存在数据清洗、缺失值处理、异常值处理等问题。如果数据处理过程有问题，那么结果可能会受到影响。