图像匹配数字图像处理结题报告.ppt

图像匹配数字图像处理结题报告 第21组 蔡致远 郭立 马壮 我们今天将要介绍的内容 上次回顾 本次进展 遇到的问题 上次回顾 我们不能识别被遮挡部分的内容，所以我们决定尝试新的算法来进行匹配。 我们主要尝试了以下几种算法： 上次回顾 PIU算法 上次回顾 Sift算法 本次进展 我们最后决定使用faster RCNN算法。 本次进展 Faster RCNN的基本结构 Faster RCNN分为四部分： Conv layers。作为一种CNN网络目标检测方法，Faster RCNN首先使用一组基础的conv+relu+pooling层提取image的feature maps。该feature maps被共享用于后续RPN层和全连接层。 Region Proposal Networks。RPN网络用于生成region proposals。该层通过softmax判断anchors属于foreground或者background，再利用bounding box regression修正anchors获得精确的proposals。 Roi Pooling。该层收集输入的feature maps和proposals，综合这些信息后提取proposal feature maps，送入后续全连接层判定目标类别。 Classification。利用proposal feature maps计算proposal的类别，同时再次bounding box regression获得检测框最终的精确位置。 本次进展 Faster RCNN的网络结构 本次进展 具体步骤 1.配置环境 安装VS 配置opencv2.4.9 安装matlab VS和matlab交叉编译 安装cuda 安装caffe 2.训练 3.运行程序 本次进展 具体步骤 1.配置环境 2.训练 Faster CNN的训练，是在已经训练好的model（如VGG_CNN_M_1024，VGG，ZF）的基础上继续进行训练。实际中训练过程分为6个步骤： 在已经训练好的model上，训练RPN网络，对应stage1_rpn_train.pt 利用步骤1中训练好的RPN网络，收集proposals，对应rpn_test.pt 第一次训练Fast RCNN网络，对应stage1_fast_rcnn_train.pt 第二训练RPN网络，对应stage2_rpn_train.pt 再次利用步骤4中训练好的RPN网络，收集proposals，对应rpn_test.pt 第二次训练Fast RCNN网络，对应stage2_fast_rcnn_train.pt 3.运行程序 本次进展 成果展示 遇到的问题 配置环境时遇到了很多问题，导致运行程序时出错。 我们主要参考了网上的代码，所以很多地方还没有搞懂。我们希望在以后的时间里慢慢掌握这种算法。 谢谢