数据挖掘与知识发现第一章.ppt

医学、科学与工程 例二：分子生物学研究者希望利用当前收集的大量基因组数据，更好的理解基因的结构和功能。数据的噪音和高维性需要新的数据分析方法。 数据挖掘也可以用来处理生物学的其他难题，如蛋白质结构预测，多序列校准，生物化学路径建模和种系发生学。第5页,共23页，星期六，2024年，5月1、什么是数据挖掘？第6页,共23页，星期六，2024年，5月到底什么是数据挖掘呢？数据挖掘是在大型数据存储库中，自动地发现有用的信息的过程。1、发现先前未知的有用模式2、预测未来的观测结果1、数据库中查找个别记录2、搜索引擎查找特定页面第7页,共23页，星期六，2024年，5月那么，什么又是知识发现呢？数据挖掘是数据库中知识发现不可缺少的一部分，而知识发现是将未加工的数据转换为有用信息的整个过程。输入数据数据预处理数据挖掘后处理信息特征选择维归约规范化选择数据子集模式过滤可视化模式表示第8页,共23页，星期六，2024年，5月2、数据挖掘要解决的问题第9页,共23页，星期六，2024年，5月 面临新的数据集带来的问题时，传统的数据分析技术常常遇到实际的困难。可伸缩需要有能力处理海量数据问题高维性 需要很好的处理维灾难问题异种数据和复杂数据 需要考虑数据对象的复杂性和多样性数据的所有权与分布需要考虑数据安全性、加快计算速度、汇总计算结果非传统的分析非单一假设-检验模式VS第10页,共23页，星期六，2024年，5月3、数据挖掘的起源第11页,共23页，星期六，2024年，5月人工智能、机器学习、和模式识别 数据挖掘的方法来自机器学习或AI，模式识别，统计学与数据库系统统计学数据挖掘数据库技术、并行计算、分布式计算第12页,共23页，星期六，2024年，5月3、数据挖掘的任务第13页,共23页，星期六，2024年，5月大类区分数据挖掘任务预测任务 根据其他属性的值，预测特定属性的值 被预测变量通常被称为目标变量描述任务 导出概括数据中潜在联系的模式 包括相关、趋势、聚类、轨迹、异常第14页,共23页，星期六，2024年，5月数据聚类分析关联分析预测建模异常检测第15页,共23页，星期六，2024年，5月预测建模预测建模的任务可以分为两类:分类回归目标变量离散连续举例是否买书股票价格共同点训练模型,减小误差预测建模的任务举例:确定顾客对产品促销活动的反应预测地球生态系统的扰动根据检查结果判断病人是否患有疾病第16页,共23页，星期六，2024年，5月。预测建模例子: 预测鸢尾花(IRIS)的类型,Setosa,Veriscolour,Virginica。该数据集包含4个属性和1个目标变量。属性为萼片宽度，萼片长度，花瓣长度，花瓣宽度，目标变量为花的种类。我们可以根据区间宽度把花瓣宽度和长度分为低中高三类。然后可推出如下规则：花瓣宽度和花瓣长度为低蕴涵Setosa花瓣宽度和花瓣长度为中蕴涵Versicolour花瓣宽度和花瓣长度为高蕴涵Virginica第17页,共23页，星期六，2024年，5月关联分析 用来发现描述数据中强关联特征的模式。关联分析的任务举例:找出具有相关功能的基因组识别用户一起访问的Web页面理解地球气候系统不同元素之间的联系所发现的模式通常用蕴含规则或特征子集的形式表示搜索空间通常是指数规模的，因此关联分析的目标是以有效的方式提取有趣的结果第18页,共23页，星期六，2024年，5月关联分析 例子：下面是一杂货店收银台收集的销售数据事务ID商品12345678910{面包，黄油，尿布，牛奶}{咖啡，糖，小甜饼，鲑鱼}{面包，黄油，咖啡，尿布，牛奶，鸡蛋}{面包，黄油，鲑鱼，鸡}{鸡蛋，面包，黄油}{鲑鱼，尿布，牛奶}{面包，茶，糖，鸡蛋}{咖啡，糖，鸡，鸡蛋}{面包，尿布，牛奶，盐}{茶，鸡蛋，小甜饼，尿布，牛奶}顾客经常一起购买的商品是什么？第19页,共23页，星期六，2024年，5月关联分析事务ID商品12345678910{面包，黄油，尿布，牛奶}{咖啡，糖，小甜饼，鲑鱼}{面包，黄油，咖啡，尿布，牛奶，鸡蛋}{面包，黄油，鲑鱼，鸡}{鸡蛋，面包，黄油}{鲑鱼，尿布，牛奶}{面包，茶，糖，鸡蛋}{咖啡，糖，鸡，鸡蛋}{面包，尿布，牛奶，盐}{茶，鸡蛋，小甜饼，尿布，牛奶} 例子：下面是一杂货店收银台收集的销售数据顾客经常一起购买的商品是什么？第20页,