基于数据流的数据分析的研究-计算机软件与理论专业论文.docx

摘要：随着计算机相关技术在各行业的普及应用，数据采集变得越来越方便。在这 摘要： 随着计算机相关技术在各行业的普及应用，数据采集变得越来越方便。在这 些应用环境中，所要分析的数据不是有限的静止的数据集，而更像数据流一样源 源不断地产生。传统的统计分析、数据挖掘算法已经无法在这种快速变化着的数 据流上进行分析。在数据流上设计相应的数据挖掘算法显得日益重要。本文在归 纳、总结了数据流研究的现状的基础上提出了一个在数据流上的快速有效的密度 估计算法和一个在多数据流之间发现聚类关系的层次聚类算法。 具体地说，本文的贡献有以下几点： 1．提出了一个快速有效的数据流上的密度估计算法，该算法以传统的核密度估 计算法为基础，利用核合并技术，以损失一定精度的代价大幅度减少算法的 时间复杂度和空间复杂度。并对两种核函数的核合并过程进行了分析，计算 出了核合并的误差上界。使得算法在能够有效的处理大规模的数据流的同 时，得到相对准确的密度估计结果。最后通过大量的实验验证了算法的准确 性和有效性。 2．对层次聚类算法作了详细地分析，在数据流研究的环境中，提出了对多个数 据流进行聚类分析的问题，以此发现数据流之间的相关性。这在证券分析、 网络检测的环境中有着一定的实用意义。 3．提出了动态聚类树的数据结构与相应的旋转调整算法，当数据流发生变化的 时候不需要重新构造聚类树，而只需要对相关的节点进行局部的旋转调整就 可以得到更新的聚类结果。并在此基础上提出了一种解决多数据流上聚类问 题的的算法。 关键词：数据流，密度估计，聚类，数据挖掘 V Abstract：data Abstract： data gathering grows easier as the computer and related techniques are used in more and more fields．In these fields，data to be analyzed are generated continuously like data stream rather than iiIlite static data set． Traditional statistical and data mining algorithms cain not work on such rapidly- changing data streams．It becomes more important to design corresponding algo— rithms over data streams．This thesis presents a rapid and efficient density estima- tion algorithm over data streams and presents a hierarchy clustering algorithm to discover clusters among multiple data streams based on the conclusion and summary of current research of data 8tream． The contribution of the thesis iS as follows： 1．Presents a rapid and efficient density estimation algorithm over data streams， which is based on traditional kernel density estimation algorithm and our algorithm distinctly decrease the time complexity and space complexity by making use of kernel mel7百ng techniques to compromise some precisions．The error’s upper bound of kernel merging is given by analysis on tvco different type kernel functions．The experiments proves the effectiveness and exactness of 011Ialgorithm． 2．Raise the problem of clustering analysis over mukiple data streams，which has lots practical applications in stock analysis，net