第十三讲 异常检测(Anomaly detection).pdf

CLEMENTINE 12CLEMENTINE 12 ANOMALYANOMALY异异常常检测检测 异常检测之简介 一种探索性的方法，常用于发现资料中的离群 值或其他异常现象 不须包含异常现象的训练资料集做为起点，其 目的主要在寻找实质上与其他物件不同的异常 值，该技术本身不受异常值的影响 通过判断离同组其他记录的距离远近来判断异 常点，离组中点越远的记录越有可能是异常的 异常检测之简介 异常检测主要寻找在实 质与其他物件不同的异 常值，该技术本身不受 异常值来源的影响。 异常检测不是从一两个 变数出发去发现异常点， 而是从全面综合角度， 通过判断每个记录离同 组其他记录的距离远近 来诊断异常点:离组中心 越远的记录，越可能是 异常的. 异常检测之步骤 STEP-1 MODELING 使训练资料格式化； 若不处理缺失值，则在任意变数上有缺失 值的样本将被剔除； 处理缺失值:连续变数以均值替代缺失值， 分类变数把缺失值看成一个有效组； two-step群集，用于确定每个样本所在的 类，根据输入变数的相似性； 对于连续变数，计算每类的平均值和标准 差;对于分类变数，计算每类的次数分布 表。 异常检测之步骤 STEP-2 SCORING 对每个样本计算variable deviation index (VDI): 度量每个样 本点到其类标准(cluster norm)的距离. 对连续变数则类 标准为样本平均值，分类变数则为众数。 计算每个样本的Group Deviation Index (GDI)，即对数似然 距离(Log-Likelihood Distance)，每个样本的k个VDI之和。 计算每个样本的异常指数(Anomaly Index): 某个样本的GDI 与其所在组的组平均GDI进行比较。 GDI Anomaly Index mean(GDI) s 计算变数k对样本s异常的贡献(variable contribution measure） VDI variable contribution measure k GDI s 异常检测之步骤 STEP-3 REASONING 对所有样本按异常指数排序，异常指数 越大越有可能是异常点。一般认为，异 常指数小于1或小于1.5，则不是异常点； 异常指数大于2 ，则为异常点。