《基于注意力网络的点击率预测模型DeepAFM模型分析》4800字.doc
PAGE
3-
基于注意力网络的点击率预测模型DeepAFM模型分析
目录
TOC\o1-3\h\u20720基于注意力网络的点击率预测模型DeepAFM模型分析 1
72541.1设计背景 2
187091.2注意力机制 2
200211.3点击率预测框架改进 3
133521.3.1输入模块 3
71761.3.2特征交叉模块 4
271841.3.3注意力模块 5
137111.3.4嵌入模块 7
72601.3.5深度神经网络模块 8
35631.3.6输出模块 9
13541.4算法比较 10
166991.4.1数据集 10
216821.4.2评价指标 10
317741.4.3对比模型 11
310601.4.4实验环境与参数设置 11
72811.4.5模型性能分析 12
172341.5模型分析 12
155431.5.1数据标准化方法对性能的影响 12
272311.5.2深度神经网络层数对性能的影响 14
102571.5.3注意力网络嵌入维度对性能的影响 15
设计背景
通过联合训练广义线性模型模型与深度学习模型，可以有效进行低阶和高阶交互特征的学习。但是，不加区分地对待所有交互特征往往会导致重要因素被忽略，损失特征中一部分有效信息，影响模型学习的效率。而如果对模型添加注意力网络，就可以对不同特征组合分配不同的权重，更加符合人们的实际认知，获得更好的效果。
注意力机制
人们在面对多种不同信息时会有选择性注意的习惯。一个典型例子就是用户在浏览网页时会特别关注某些特定区域而忽视其他地方。图3-1是2014年一份谷歌搜索引擎眼动跟踪研究报告中展示的注意力热度图。如图所示，不同区域中注意力分布存在巨大的差异。由此，人们尝试在建模过程中加入注意力机制，取得了不错的效果。
图3-1谷歌搜索界面注意力热度图
注意力机制在深度学习领域中已经得到了广泛应用，它本质上是学习特征的权重分布，再把这些权重赋给原特征。在点击率问题中，它假定不同的特征组合对于预测结果有着不同的影响。举例来说，当我们对一件球衣商品做点击率预测时，直觉告诉我们，“性别=男且曾购买球鞋”这一特征就会比“性别=男且职业=教师”更为重要，模型应对前者投入更多的“注意力”。
点击率预测框架改进
为了解决不同低阶交互特征影响力相同问题，我们提出DeepAFM模型。它是一个并行结构的模型。DeepAFM左侧是一个低阶特征交叉模型，顶端加入注意力网络，为每个交叉特征计算注意力得分，右侧是一个深度学习模型，用以获得高阶的特征交互。模型如图3-2所示。模型可分为输入模块、特征交叉模块、注意力模块、嵌入模块、深度学习模块与输出模块，下面分别进行介绍。
图3-2DeepAFM模型框架图
输入模块
在输入模块中，我们把用户数据，商品数据和其他的上下文信息的稀疏向量全部连接在一起作为输入，同类特征组成一个域（field），如式3-1所示。
x=
其中，m表示特征域的总数，xi表示第i
图3-3特征处理后的输出模块实例
特征交叉模块
特征交叉模块主要学习特征的一阶和二阶交互。它的原理类似于因子分解机，也是计算每个特征的隐权重向量，但函数的表达能力更强。二阶交互的具体操作如式3-2。
f
式中，m是特征域的总数，Vx表示所有特征域xi隐权重向量的集合，vi表示特征xi的隐向量，vj
图3-4向量之间的元素积示例
特征交互模块的一阶特征依然使用线性模型完成，因而该模块可以由式3-3进行计算。
f
式中，w,x表示一阶特征向量和权重向量的内积。图3-5展示了特征交叉模块的结构。图中，?表示一阶特征求和，⊙表示隐向量的元素积计算的二阶特征组合。
图3-5DeepAFM中的特征交互模块
注意力模块
注意力模块可以为特征交互施加不同的重要性，它主要通过在特征交叉模块上面加入注意力网络实现，如图3-6所示。
图3-6注意力模块
加入注意力机制后，二阶特征交叉的池化过程如3-3。
f
其中，aij
a
式中，W就是特征交叉模块的输出到注意力网络的权重矩阵，b是偏置，?是全连接层到注意力模块输出的权重向量。T表示注意力网络的隐层单元数。W，b，?三个参数通过整个模型梯度反向传播的学习过程得到训练，最后，aij通过SoftMax函数得到每个特征的注意力得分
a
因此，注意力模块最后的输出如下式。
y
嵌入模块
第二章提到，分类特征进行独热编码处理后会使得特征向量高维稀疏，如果将它们直接放入深度神经网络中，将导致计算量过大，模型中特征的权重无法得到有效训练。同时，数据中大量0的存在还会浪费机器存储空