基于随机森林的恶意移动应用动态检测方法研究-软件工程专业论文.docx

万方数据 万方数据 Dissertation Submitted to Zhejiang University of Technology for the Degree of Master RESEARCH ON THE RANDOM FOREST BASED DETECTION OF MALICIOUS MOBILE APPLICATIONS AT RUNTIME Candidate: Qiu jiadi Advisor: Chen bo College of Computer Science and Technology Zhejiang University of Technology May 2015 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 作者签名： 日期： 年 月 日 导师签名： 日期： 年 月 日 浙江工 浙江工业大学硕士学位论文 基于随机森林的恶意移动应用动态检测方法研究 摘 要 随着 Android 智能终端的普及，Android 恶意程序持续高速增长，经过加固保护(APK Protection)的恶意程序呈现指数级增长趋势。由于加固操作对恶意程序 DEX 文件进行了加 密，普通的静态分析方法已经无法应对此变化。同时，部分恶意程序出现反模拟器侦测手 段，当程序检测到运行环境为模拟器环境时会立即退出。 针对上述问题，本文采用移动应用动态分析方法，将函数调用序列作为检测对象，使 用 Xposed 框架劫持系统调用，构建动态检测环境。移动应用在测试环境中运行后，输出 函数调用序列，作为样本特征。随后在样本特征集上构建多个 HMM 模型（Hidden Markov Model），为输出事件序列建模。最后使用本文提出的 RBMH（RF-Based-Muti-HMM）算法， 基于随机森林，对多组 HMM 分类器以及静态特征进行集成学习，给出最终检测结果。实 验结果表明 RBMH 算法具有较高的命中率（TPR）、准确率（AC），较低的误报率（FPR）、 均方根误差（MSE）、袋外误差率（OOB），对于较小样本数具有稳定性。本文的主要工作 和成果如下： （1）函数调用序列收集。通过分析 Android 平台下恶意行为模式，给出函数调用序列 定义和事件定义，使用函数调用序列表述对应事件类型的行为特征，确定以函数调用序列 作为检测对象。通过静态分析创建事件序列，将事件触发作为自动化输入，使用 Xposed 框架劫持函数调用，将函数调用日志作为输出，完整实现了函数调用序列的收集，并通过 实验证明了采集数据的有效性。 （2）建模与检测。针对动态检测获得的多组事件行为特征数据，提出 Muti-HMM 思 想对现有数据进行分组学习，使用几何平均法进行特征降维处理，结合静态特征创建新数 据集，提出 RBMH 算法对新数据集进行集成学习，并给出最终评估结果。 （3）实验对比。设计实验对比单 HMM 与 RBMH 评估结果的准确率、误报率、均方 根误差等指标；设计实验研究样本个数对 RBMH 算法稳定性的影响。 关键字：移动安全，动态检测，函数调用序列，隐马尔可夫链模型，随机森林，集成 学习 i RESEARCH ON THE RANDOM FOREST BASED DETECTION OF MALICIOUS MOBILE APPLICATIONS AT RUNTIME ABSTRACT With the popularity of Android devices, Android malware sustained rapid growth, the malicious programs with APK Protection have exponential growth trend. The protective operations encrypted the DEX file of the malicious programs, so its been difficult for