基于深度递归分层条件随机场模型的人体行为识别-信号与信息处理专业论文.docx

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 人体行为识别是计算视觉与模式识别领域中一个重要课题，在视频监控与视频检索中有 着广泛的应用。近年随着技术进步，廉价的 RGB-D 相机（如 Microsoft Kinect）能够捕获三 维场景中丰富的时空信息。研究者建模时空交互信息，可以更便捷地学习复杂人体行为结构。 人体行为识别的早期研究工作，通常以 2D 视频作为感知数据源；但是，2D 视频提供的 信息有限，即使在没有遮挡的情况下，也会导致相对较低的识别准确率。本文使用 RGB-D 传 感器捕获 RGB 视频和深度视频，以人体姿态与交互物体的共生关系和几何约束为基础来识别 人体行为动作。首先采用人体骨架来描述行为主体，以骨架中各个节点为中心划分局部区域 边界框，将各个边界框定义为人体的各个组成部分；然后分别对各个边界框区域提取 HOG-3D 特征，并将其作为人体姿态特征；最后将人体姿态特征、物体的位置与形状特征、行为主体 与物体交互特征等特征串联组合成最终的特征向量，并将此特征作为每个行为视频段对应的 观察数据。 线性链条件随机场(Linear-chain CRFs)作为一种判决模型，广泛应用于人体行为识别。由 于其能够在时间维上捕获目标状态之间的一阶或数阶相互依赖关系，因此在对时间序列进行 标注的工作中表现出良好的预测性能。但是现有的条件随机场模型无法捕获目标状态内部的 中间表示，以及状态之间的高阶相关性。而这些信息在对复杂的行为识别场景中通常会表现 出潜在的重要性和显著性。为克服这一难题，本文提出了一种深度递归分层条件随机场模型 (Deep Recursive and Hierarchical Conditional Random Fields, DR-HCRFs)模型。该 DR-HCRFs 模型能够目标状态内部丰富的语义信息，以及目标状态之间无穷阶的相关信息。同时，为精 确推理模型以及降低模型的计算复杂度，本文提出了一种基于平均场近似(mean-field-like)理 论的模型推理方法。 最后，本文分别使用割平面(Cutting-plane),弗兰克-沃尔夫(Frank-Wolfe, FW)算法和 块-坐 标原始-对偶弗兰克-沃尔夫(block-coordinate primal-dual Frank-Wolfe, BCFW)优化方法驱动的 结构化支持向量机(Structural-Support Vector Machine, SSVM)分类器学习关于人体行为序列的 判别分类模型。通过在 CAD-120 数据集上的实验可以发现，本文提出的人体行为识别框架相 比其他先进方法表现的更为出色，且面对不同数据具有较大的扩展性。 关键词: 线性链条件随机场，深度递归分层条件随机场，结构化支持向量机，平均场近似， 块-坐标原始-对偶弗兰克-沃尔夫算法 I Abstract Recognizing human activities from videos is an essential issue in computer vision and pattern recognition due to its significant applications in areas such as video surveillance and retrieval. Recently, inexpensive RGB-D cameras (such as Microsoft Kinect, etc) have enabled rearchers to model the rich spatio-temporal interactions in the 3D scene for