第四章聚类讲课.ppt

第四章 聚类分析 表4.1 数据矩阵 每个样品可看成p维空间的一个点，n个样品组成p维空间的n个点。我们自然用各点之间的距离来衡量样品之间的相似程度（或靠近程度）。 　 　 　 （2）聚类图(sin最短距离法) （2）聚类图(com最长距离法) （2）聚类图(ave类平均法) （2）聚类图(cen重心法) （2）聚类图(ward离差平方和法) 聚类方法不同，聚类结果也不尽相同。 二、系统聚类法的统计量 聚类分析中，分多少类合适，是我们关心的问题。一个较好的聚类应该是类内各样品尽可能相似，类间差异较大。下面介绍几种有助于分类的统计量。 Sk越小，说明Gk中各样品越相似。记 设在某水平上分为G个类，类Gk中样品的类内离差平方和为 1. R2统计量 类内离差平方和为 1. R2统计量 总离差平方和为 则R2统计量为 R2=1-PG/T 显然 0?R2?1 则R2统计量为 R2=1-PG/T 显然 0?R2?1 当n个样品各自为一类时，R2=1；当n个样品合并成一类时，R2=0。 R2的值随分类个数的减少而减小，当R2由平缓减小到“突变”减小时的G，G即为分类个数的参考值。 设类Gp，Gq的离差平方和分别为 2. 半偏相关统计量 设类Gp，Gq的离差平方和分别为 2. 半偏相关统计量 将Gp，Gq合并成Gr后的离差平方和为 合并后离差平方和的增加量为 Wpq=Sr-Sp-Sq 由类Gp,Gq合并成Gr时半偏相关统计量SPRSQ为 SPRSQ=Wpq/T 当SPRSQ值越大时，说明上一次合并效果越好。 伪F统计量PSF是 3. 伪F统计量 PSF值越大，表示这些样品可显著地分为G类。 伪 t2 统计量PST2是 PST2值越大，表示上一次聚类效果越好。 4. 伪 t2 统计量 * 聚类分析(cluster analysis)是研究分类问题的多元数据分析方法。聚类分析有极其广泛的分类背景。在经济学中，为了了解不同地区城镇居民的收入及消费情况，往往需要划分不同的类型去研究；在产品质量管理中，要根据各产品的某些重要指标而将其分为一等品、二等品等；在生物学中，要根据各生物体的综合特征进行分类；又如在考古学中，要对某些古生物化石进行科学的分类，等等． 　随着人类社会的发展与科学技术的进步，对分类学的要求也越来越高。只凭经验或专业知识对研究对象进行分类，往往很不够，有时不能进行确切的分类。于是数学被引进分类学中，形成了数值分类学。随着多元数据分析方法研究的深入，在数值分类学中形成了聚类分析这一分支。聚类分析是多元数据分析的重要组成部分。 §4.1 聚类的目的 多元数据形成数据矩阵，见表4.1。共有n个样品， p个指标x1,x2, …xp。聚类分析有2两种类型：对样品聚类或对变量(指标)聚类。 x11 x12 … x1j … x1p x21 x22 … x1j … x2p ………………………………. xi1 xi2 … xij … xip ……………………………… xk1 xk2 … xkj … xnp 1 2 … i … n x1 x2 … xj … xp 指标 样品 注意：变量(指标)的选取，取决于聚类的目的。 数据的类型有间隔尺度、有序尺度和名义尺度，主要讨论间隔尺度。 聚类分析的基本思想是在样品之间定义距离，在变量之间定义相似系数, 距离或相似系数代表样品或变量之间的相似程度。按相似程度的大小, 将样品(或变量)逐一归类，形成一个表示亲疏关系的聚类图，依次按照某些要求对样品(或变量)进行分类。 聚类分析的方法很多,如系统聚类法、动态聚类法、分解法、加入法、模糊聚类法、有序样品聚类法等，我们重点介绍系统聚类法和快速(动态)聚类法。作为聚类分析的出发点，先介绍分类统计量—距离与相似系数。 §4.2 距离和相似系数 定义4.1 设E是一个点的集合, d.,.是E到[0,∞]的函数,满足： a. dij≥0， ? i, j?E; b. dij=0 , 当且仅当i=j; d. dij?dik+dkj ， ? i, j, k?E。 则称dij为i与j之间的距离。 c. dij=dji， ? i, j?E; 定义4.1 设E是一个点的集合, d.,.是E到[0,∞]的函数,满足： a. dij≥0， ? i, j?E; b. dij=0 , 当且仅当i=j; d. dij?dik+dkj ， ?