ATM 交易状态特征分析与异常检测 2.pdf

ATM 交易状态特征分析与异常检测 摘要 本文主要利用某商业银行总行数据中心监控系统所提供的数据进行了特征分析, 并且建立了相关的数学 模型, 用以检测 ATM 系统可能存在的异常. 首先我们分析了交易量数据, 我们发现了其明显的天周期. 我们考虑将数据以天为间隔进行重新组织, 利 用了主成份分析 (PCA) 与奇异值分解 (SVD) 对数据进行了降噪处理, 从而发现了其主要由最大的三个主 成份决定. 因此我们对三个主成份的系数进行了分析, 发现短假期 (双休日) 对其没有显著影响, 而长假期 (春节) 对于其系数有较大的影响. 随后我们利用由 PCA 得到的特征进行异常检测. 通过最小二乘法我们实 时对主成份的系数进行估计, 并对下一时刻的交易数据量进行了预测. 通过泊松分布我们算出了实际值的合 理区间 (置信区间), 从而确定了异常检测的方案. 最后我们对于现有的数据进行了异常检测, 证明了此方法 的高效性和可行性 第二部分我们分析了交易成功率的数据. 我们首先分析了交易成功率与时间的关系, 发现并没有明显的 分布规律. 随后我们分析其与交易量之间可能存在的联系. 我们将每次交易是否成功作为随机变量考虑. 利用 随机变量平均值的分布规律 (期望和方差), 我们将这些交易成功率数据进行了规范化, 从而发现了一些特征 显著不同的点, 我们考虑这些点为异常点. 并且讲这些特征作为异常检测的依据. 最后我们对可能的异常点做 了具体的分析, 发现确实为异常点, 从而证明了我们检测方法的可行性. 对于交易响应时间, 我们同样分析了其余时间时间可能存在的联系, 但是特征非常地不明显. 因此我们同 样考虑其与交易量之间的联系. 首先我们发现绝大部分响应时间都在 600 毫秒以下, 因此我们默认响应时间 不超过 600 毫秒的为正常交易. 最后我们根据数据可视化的结果, 猜测交易响应时间与交易量近似符合反比 关系. 于是我们利用一个反比函数作为异常与非异常的分界线, 得到了若干可能的异常点. 最后我们对可能的 异常点进行了分析, 发现其中一部分确实为系统故障, 而另一部分为网络波动. 由此我们说明了此异常检测方 案的可行性. 最后我们讨论了可能的增加采集的数据: 每笔交易的金额, 每笔交易的操作时间和 ATM 机的使用率. 并对增加这些数据后可能的改进检测方案进行了讨论. 关键字: 异常检测 银行交易数据分析 主成分分析 泊松分布 大数据 1 目录 2 目录 1 问题重述 3 1.1 引言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 问题的提出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 问题分析 3