Search Results

AOSP-SM（即“应用为导向的敏捷挖掘标准流程”的缩写）是结合专家团队长期的商业实践经验并基于 IBM 的跨行业数据挖掘过程标准（CRISP-DM）和SAS 的数据挖掘方法(SEMMA)总结而来的一种面向应用的用于指导大数据挖掘工作的方法。 作为一种方法，它包含项目中各个典型阶段的说明、每个阶段所包含的任务以及这些任务之间的关系的说明。作为一种流程化建模方法论，AOSP -SM 概述了数据挖掘的整个过程。 整个流程由五个阶段组成，阶段之间并不一定要严格遵守顺序。实际上，大多数项目都会根据需要在这些阶段之间反复中优...

确定业务目标 这是我们开始数据挖掘的第一步。在我们确定是否要启动数据挖掘项目时，首先要对相应的业务进行梳理。通过对业务进行了解，可以明确业务中存在问题，以及是否可以通过数据挖掘的手段解决相应的问题。 确定业务目标通常有两种办法：一是业务调研，二是理解数据。通过业务调研对业务用户进行访谈以掌握其业务中的痛点，同时也可以为今后实施方案的设计提供思路。但并不能仅作业务调研，之后还必须对相应的数据进行探察，以了 解数据资源情况以及数据质量，为项目启动的可行性提供决策参考。通过详细说明业务问题、数据情况和业务资源，可以更快的...

选择数据 企业数据来自各种不同的数据源，例如： **企业内部数据。**这包括大量不同的数据，例如用户信息、交易数据、调查数据、Web 日志、网页内容等。要考虑现有数据是否足以满足需要。 **外部行业数据。**如人口统计数据、GDP 数据、天气数据、合作单位数据？ **互联网数据。**为了更好地提升分析效果，还可以考虑通过网络爬虫等技术采集互联网数据。 基于已经梳理的数据资源，我们为了提高数据的效率，降低分析大数量的难度，我们首先应该想尽办法降低数据量，尽快排除与数据挖掘目标不相关的数据。通常，分以下几步选择数据： ...

建模概述 数据准备主要是面向模型而准备，当您制定了项目实施方案时，基本已确定分析思路和计划使用的算法。那么完成数据准备后，水到渠成的开始建模。 建模时通常会执行多次迭代。通常，数据挖掘人员会使用默认参数运行多个模型，然后再对这些参数进行微调或回到数据准备阶段以便执行所选模型所需的操作。仅使用一个模型且仅执行一次就能圆满地解答组织的数据挖掘问题，这样的情况几乎不存在。这就是数据挖掘如此有趣的原因，可以使用多种方法来考虑某个已知的问题。 选择建模技术 尽管可能已经知道哪种类型的建模方式可以尝试，但现在还无法确定使用哪个...

评估概述 现在，数据挖掘项目已经完成了一大半。而且，根据之前定义的数据挖掘成 功标准，还确定在建模阶段构建的模型从技术上说是正确而且有效的。但是，前面的模型还不能直接运用到商业中去。在建模阶段的模型评估主要基于技术角度， 一个有着很强拟合能力的模型不一定有着同样好的预测能力。众所周知，数据分析中常常会遇到“过拟合”的问题，我们做数据挖掘的目的不仅是在总结过去的特征或者规律，更主要是为了用于预测未来，那么我们通过挖掘技术从历史信息中挖掘出的规律应该是既适用于过去，又适用于现在，还同样适用于未来。如果我们对历史信息“过...

概述 数据挖掘可以生成两种类型的成果：在前期阶段中选定的最终模型；从模型本身以及数据挖掘过程中得出的任意结论或推论，包括派生的一些重要的 KPI指标、数据质量或业务流程优化方案、未来规划等。 成果部署的方式有两种：一是撰写研究报告；二是开发 WEB 应用系统，通过 PC、IPAD 或移动端进行分享。第一种较为简单，一般是针对一个具体的阶段 性问题进行研究，最终形成分析报告就行了。第二种稍微复杂，但是一般重要的项目最终都会开发成智能的系统，这样的系统有诸多好处： 一是，方便用户浏览数据挖掘成果，还可以开发计划任务，自...

本模块案例数据都是事先安装在云版服务其中的数据，通过数据库节点导入工作流，配置如下：

专家诊病模型 专家系统是典型的大数据和人工智能结合的计算机程序系统，其内部含有大量的某个领域专家水平的知识与经验，能够利用人类专家的知识和解决问题的方法来处理该领域问题。也就是说，专家系统是一个具有大量的专门知识与经验的程序系统，它应用人工智能技术和计算机技术，根据某领域一个或多个专家提供的知识和经验，进行推理和判断，模拟人类专家的决策过程，以便解决那些需要人类专家处理的复杂问题，简而言之，专家系统是一种模拟人类专家解决领域问题的计算机程序系统。 专家系统的发展已经历了 3 个阶段，正向第四代过渡和发展。第一代专家...

购物篮分析 购物篮指的是超级市场内供顾客购物时使用的装商品的篮子，当顾客付款时这些购物篮内的商品被营业人员通过收款机一一登记结算并记录。所谓的购物篮分析(Market Basket Analysis)就是通过这些购物篮子所显示的信息来研究顾客的购买行为。主要的目的在于找出什么样的东西应该放在一起。藉由顾客的购买行为来了解是什么样的顾客以及这些顾客为什么买这些产品，找出相关规则，企业藉由这些规则的挖掘获得利益与建立竞争优势。举例来说，零售店可藉由此分析改变置物架上的商品排列或是设计吸引客户的商业套餐等等。 购物篮分析...

市场细分 聚类与分类的不同在于，聚类所要求划分的类是未知的。 聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。 从统计学的观点看，聚类分析是通过数据建模简化数据的一种方法。传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。 从机器学习的角度讲，簇相当于隐藏模式。聚类是搜索簇的无监督学习过程。与分类不同，无监督学习不依赖预先定义的类或带类标记的训练实例，需要由聚类学习算法自动确定标记，而分类学习的...

时间序列预测法是一种历史数据的延伸预测，也称历史引伸预测法。是以时间数列所能反映的社会经济现象的发展过程和规律，进行引伸外推，预测其发展趋势的方法。如下图（用时间序列预测 2017 年 12 月销量）： 时间序列预测 下面我们结合时间序列数据演示基于历史数据挖掘规律并进行预测的流程。在数据云中，工作流程如下： 引入数据 数据准备 建模分析 该案例所用的数据是销售数据。这是一个包含销售日期、销量和利润（万元）三个指标的数据，具体内容在软件中打开显示如图 9.5 所示： 引入数据 建立数据库节点，导入要分析的历史数据（...

数据清洗和处理，包括缺失值填充、异常值分析、筛选所需时间区间、按周期汇总数据、日期变量的派生等。 此案例，数据表中存在 2 个问题： 日期字段是字符型，需要将此字段转换成日期型数据。 个别数据时间过早，对预测的数据指导意义不大，需要对数据筛选。 下面就根据案例介绍数据准备常用的节点和方法。转换日期数据的字段类型（如下图）： 数据准备节点中选择类型转换，并拖拽至工作流中，连接输入输出箭头 右键配置，选择字符串到期 同样的方法，建立时间选择节点，选择 85 年-95 年数据。 数据清洗的工作基...

使用时间区间节点指定预测模型的时间间隔。 时间区间节点可以为时间序列建模节点或自相关图节点的时间序列数据指定时间间隔并生成标签，作为未来估计或预测的基础。目前支持的时间间隔包括年、季度、月、日和时、分、秒。 时间时区节点适用于以下两种情况： 数据表中不含时间字段： 数据表虽然并不包含时间字段，但该序列的数据已按照时间顺序按照等间隔排列，则可通过时间区间节点为数据自动添加日期标签。如果某个时点的数据存在缺失，建议增加空行表示此次度量或提前使用缺失值替代的方法进行填充。这种情况下选择“从第一个记录开始附加标签”。 ...

文本挖掘 文本数据挖掘(Text Mining)是指从文本数据中抽取有价值的信息和知识的计算机处理技术。顾名思义，文本数据挖掘是从文本中进行数据挖掘(Data Mining)。从这个意义上讲，文本数据挖掘是数据挖掘的一个分支。 它在商业智能、信息检索、生物信息处理等方面都有广泛的应用，例如，客户关系管理，自动邮件回复，垃圾邮件过滤，自动简历评审，搜索引擎等等。 文本挖掘有三个独特的关键步骤： 分词，通过分词可以将非结构化数据转化为结构化数据 情感分析，定义情感强度，从文本中挖掘作者的情绪或者从评论中挖掘用...