基于机器学习的恶意URL检测研究.pdf

摘要

随着互联网技术的发展，电子计算机大大方便了我们的生活，但于此同时也带

来了很多新的安全隐患。在Web安全领域，Http报文中的URL一直是黑客实施网

络攻击的重要载体，黑客可以借助URL实施网站钓鱼、跨站脚本、SQL注入等攻

击，这些试图攻击他人计算机的URL被称为恶意URL，恶意URL给个人、社会

乃至国家造成了很严重的损失。因此，对URL进行有效的检测是十分有必要的，

简单的黑名单等传统检测算法已难以应对日新月异的攻击方式。由于大数据的驱

动和硬件计算性能的提升，将机器学习算法应用于URL检测成为一种可能。

现有的机器学习检测算法往往使用单一模型，这种方式容易被攻击者绕过甚

至击溃。本文致力于对恶意URL检测的关键技术进行研究，同时借鉴和吸收自然

语言处理领域相关的研究成果，将其应用于恶意URL的检测研究中去。本文的主

要工作和贡献可以归纳为：

1.分别从真实的Web服务器和开源社区收集了大量数据集，并对原始数据进

行清洗，均衡等数据处理操作。

2.在经验特征和TF-IDF统计特征提取的基础上，研究并实现了三种基于传统

机器学习的URL检测模型，分别是支持向量机、决策树和随机森林。

3.按照特殊字符对URL进行单词级分词，并在此基础上使用Word2vec模型

将单词映射到向量空间，实现对URL的向量化工作。随后分别使用LSTM-attention

和TextCNN深度学习模型，完成对URL的检测任务。

4.针对LSTM网络模型在处理较长URL攻击特征会遭到淡化的问题，在原

有LSTM网络的基础上进行改进，形成了一种基于自主特征选择的长短时间记忆

神经网络（AutomaticFeatureSelectLongShortTermMemory,AFSLSTM）的URL

检测模型，该模型能够自主提取与恶意URL分类任务最相关的特征，并通过对模

型的训练和测试，证明该模型具有较高的检测准确率。

5.通过对原始URL向量矩阵的平均池化，得到体现全局特征的URL特征向

量，并使用一维CNN网络对该特征向量进行更高维的特征提取工作，形成了全局

特征卷积神经网络（GlobalFeatureConvolutionalNeuralNetworks,GFCNN）。

6.在AFSLSTM网络和GFCNN网络的基础上，提出了融合深度学习判决模

型，并经过实验证明该模型能够实现对恶意URL更加有效的检测。

关键词：Web攻击，恶意URL，机器学习，神经网络，模型融合

ABSTRACT

WiththedevelopmentofInternettechnology,electroniccomputershavegreatly

facilitatedourlives,butatthesametime,theyhavebroughtmanynewwebsecurityrisks.

InthefieldofWebsecurity,URLsinhttpmessageshavebeenanimportantcarrierfor

hackerstoimplementnetworkattacks.HackerscanuseURLstoimplementwebsite

phishing,cross-sitescriptingattacks,SQLinjectionandotherattacks.TheseURLsthat

attempttoattackothercomputersareknownasmaliciousURLs,whichcauseserious

damagetoindividuals,societies,andevencountries.Therefore,itisnecessaryto

effectivelydetectURLs,butblacklistsandothersimpletraditionaldetectionalgorithms