数据挖掘现状及未来发展趋势.pptx

数据挖掘现状及发展方向制作人：丁鹏指导教师：黄振华数据挖掘的含义及功能1主要内容数据挖掘问题及应用现状2Main Contents数据挖掘技术的三大支柱3数据挖掘研究热点4数据挖掘的未来发展方向5含义含义数据挖掘就是从海量的数据（包括结构化和非结构化）中挖掘出隐含在其中的、事先不为人知的、潜在的、有用信息和知识的技术。这些信息是可能有潜在价值的，是用户感兴趣的、可理解、可运用的，支持决策，可以为企业带来利益，或者为科学研究寻找突破口。数据挖掘所能发现的知识：偏离型预测型广义型特征型差异型关联型功能功能分类聚类ABC按照分析对象的属性、特征，建立不同的组类来描述事物。。识别出分析对内在的规则，按照这些规则把对象分成若干类。。功能关联是某种事物发生时其他事物会发生的这样一种联系。预测：把握分析对象发展的规律，对未来的趋势做出预见。偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。关联规则和序列模式的发现：预测及偏差检测AAA存在的问题存在的问题同时数据挖掘技术也面临着许多的问题，这也为数据挖掘未来的发展提供了更大的空间。数据挖掘的基本问题就在于数据的数量和维数，数据结构也因此显的非常复杂，如何进行探索，选择分析变量，也就成为首先要解决的问题。01面对如此大的数据，现有的统计方法等都遇到了问题，我们直接的想法就是对数据进行抽样，那么怎么抽样，抽取多大的样本，又怎样评价抽样的效果，这些都是值得研究的难题。02既然数据是海量的，那么数据中就会隐含一定的变化趋势，在数据挖掘中也要对这个趋势做应有的考虑和评价。03存在的问题各种不同的模型如何应用，其效果如何评价。不同的人对同样的数据进行挖掘，可能产生不同的结果，甚至差异很大，这就涉及到可靠性的问题。04当前互联网的发展迅速，如何进行互联网的数据挖掘，还有文本等非标准数据的挖掘，都引起了极大的兴趣。05数据挖掘涉及到数据也就碰到了数据的私有性和安全性。数据挖掘的结果是不确定的，要和专业知识相结合才能对其做出判断。0607应用现状应用现状数据挖掘的应用非常广泛，只要该产业有分析价值与需求的数据库，皆可利用数据挖掘工具进行有目的的发掘分析。常见的应用案例多发生在零售业、制造业、财务金融保险、通讯及医疗服务：01商场从顾客购买商品中发现一定的关联规则，提供打折、购物券等促销手段，提高销售额；02保险公司通过数据挖掘建立预测模型，辨别出可能的欺诈行为，避免道德风险，减少成本，提高利润；03在制造业中，半导体的生产和测试中都产生大量的数据，就必须对这些数据进行分析，找出存在的问题，提高质量；04电子商务的作用越来越大，可以用数据挖掘对网站进行分析，识别用户的行为模式，保留客户，提供个性化服务，优化网站设计；成功典例其运用了SAS软件进行数据挖掘，每天对数据进行分析，找出用户的访问模式，对产品的喜欢程度进行判断，并设特定服务，取得了成功。AutoTReuteres用SPSS的数据挖掘工具SPSS/Clementine，建立数据挖掘模型，极大地提高了错误的检测，保证了信息的正确和权威性。在海外80多个市场从事交易，每个星期传送23000份定单，这就需要了解每个客户的习惯，如品牌的喜好等，Bass Export用IBM的Intelligent Miner很好的解决了上述问题。ReuteresBass Export三大支柱三大支柱数据库技术人工智能技术概率与数理统计123三大支柱随着DMKD研究逐步走向深入，人们越来越清楚地认识到，DMKD的研究主要有3个技术支柱，即数据库、人工智能和数理统计。数据库因此，在需求的驱动下，很多数据库学者转向对数据仓库和数据挖掘的研究，从对演绎数据库的研究转向对归纳数据库的研究。人工智能人们正视现实生活中大量的、不完全的、有噪声的、模糊的、随机的大数据样本，从而与数据仓库技术相结合，转向数据挖掘技术。建立语义关联，促进有效连接概率统计一旦人们有了从数据查询到知识发现、从数据演绎到数据归纳的要求，概率论和数理统计就获得了新的生命力。研究热点研究热点网站的数据挖掘生物信息或基因的数据挖掘　在对网站进行数据挖掘时，所需要的数据主要来自于两个方面：一方面是客户的背景信息，此部分信息主要来自于客户的登记表；而另外一部分数据主要来自浏览者的点击流（Click-stream），此部分数据主要用于考察客户的行为表现。但有的时候，客户对自己的背景信息十分珍重，不肯把这部分信息填写在登记表上，这就会给数据分析和挖掘带来不便。在这种情况之下，就不得不从浏览者的表现数据中来推测客户的背景信息，进而再加以利用。对于生物信息或基因的数据挖掘和通常的数据挖掘相比，无论在数据的复杂程度、数据量还有分析和建立模型的算法而言，都要复杂得多。从分析算法上讲，更需要一些新的和好的算法。现在很多厂商正在