基于频繁项集挖掘算法的伴随车应用与实现.PDF

第３４卷第４期　　　 计算机应用与软件 Ｖｏｌ３４Ｎｏ．４ ２０１７年４月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ａｐｒ．２０１７ 基于频繁项集挖掘算法的伴随车应用与实现 １ ２ １ １ 陈　瑶 　桂　峰 　卢　超 　王　华 １（上海市计算技术研究所　上海２０００４０） ２（同济大学电子与信息工程学院　上海２０１８００） 摘　要　　随着大数据技术的发展和交通数据量迅速膨胀的挑战，对海量交通数据进行伴随车挖掘已然成为研 究热点。提出一种基于Ｓｐａｒｋ计算框架的频繁项集挖掘算法应用于伴随车挖掘模块当中，对海量的卡口交通数 据进行Ｈａｄｏｏｐ分布式文件存储（ＨＤＦＳ），并将伴随车挖掘结果可视化地展示在集成系统当中。以实际项目为依 托，从而验证该伴随车模块的实现具有实际意义，并可为交通管理者提供科学的辅助决策。 关键词　　ＨＤＦＳ　Ｓｐａｒｋ计算框架　频繁项集挖掘　伴随车 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１７．０４．０１１ ＡＰＰＬＩＣＡＴＩＯＮＡＮＤＲＥＡＬＩＺＡＴＩＯＮＯＦＥＳＣＯＲＴＶＥＨＩＣＬＥＢＡＳＥＤＯＮＦＩＭＡＬＧＯＲＩＴＨＭ １ ２ １ １ ＣｈｅｎＹａｏ　ＧｕｉＦｅｎｇ　ＬｕＣｈａｏ　ＷａｎｇＨｕａ １（ＳｈａｎｇｈａｉＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００４０，Ｃｈｉｎａ） ２（ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｎｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＴｏｎｇｊｉＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０１８００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｗｉｔｈｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｂｉｇｄａｔａｔｅｃｈｎｏｌｏｇｙａｎｄｔｈｅｃｈａｌｌｅｎｇｅｏｆｔｈｅｒａｐｉｄｅｘｐａｎｓｉｏｎｏｆｔｒａｆｆｉｃｄａｔａ，ｅｓｃｏｒｔ ｖｅｈｉｃｌｅｄａｔａｍｉｎｉｎｇｔｏｔｈｅｍａｓｓｉｖｅｔｒａｆｆｉｃｄａｔａｈａｓｂｅｃｏｍｅａｈｏｔｒｅｓｅａｒｃｈａｒｅａ．Ｉｎｔｈｉｓｐａｐｅｒ，ａｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔｍｉｎｉｎｇ （ＦＩＭ）ａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＳｐａｒｋｃｏｍｐｕｔｉｎｇｆｒａｍｅｗｏｒｋｉｓｐｒｏｐｏｓｅｄ，ｗｈｉｃｈｉｓａｐｐｌｉｅｄｔｏｔｈｅｅｓｃｏｒｔｖｅｈｉｃｌｅｍｉｎｉｎｇ ｍｏｄｕｌｅ，ｕｓｉｎｇＨＤＦＳｔｏｓｔｏｒｅｔｈｅｍａｓｓｉｖｅｔｒａｆｆｉｃｂａｙｏｎｅｔｄａｔａａｎｄｖｉｓｕａｌｉｚａｔｉｏｎｄｉｓｐｌａｙｔｈｅｒｅｓｕｌｔｏｆｅｓｃｏｒｔｖｅｈｉｃｌｅｍｉｎｉｎｇ ｉｎｔｈｅｉｎｔｅｇｒａｔｅｄｓｙｓｔｅｍ．Ｂａｓｅｄｏｎｔｈｅａｃｔｕａｌｐｒｏｊｅｃｔ，ｔｈｉｓｐａｐｅｒｐｒｏｖｅｓｔｈａｔｔｈｅｖｅｒｉｆｉｃａｔｉｏｎｏｆｔｈｅｅｓｃｏｒｔｖｅｈｉｃｌｅｍｉｎｉｎｇ ｍｏｄｕｌｅｈａｓｐｒａｃｔｉｃａｌｓｉｇｎｉｆｉｃａｎｃｅ，ａｎｄｃａｎｐｒｏｖｉｄｅｓｃｉｅｎｔｉｆｉｃａｕｘｉｌｉａｒｙｄｅｃｉｓｉｏｎｆｏｒｔｈｅｔｒａｆｆｉｃｍａｎａｇｅｍｅｎｔ． Ｋｅｙｗｏｒｄｓ　　ＨＤＦＳ　Ｓｐａｒｋｃｏｍｐｕｔｉｎｇｆｒａｍｅｗｏｒｋ　ＦＩＭ　Ｅｓｃｏｒｔｖｅｈｉｃｌｅ 逐年上升的趋势，如何从多源动态的海量交通数据中 ０　引　言 挖掘有价值的信息，为治安管理者提供决策支持的方 案，已成为当前交通领域研究的热点和重点，其中对伴 随着交通系统中硬件设施的逐年更新和完善以及 随车挖掘已然成为一个重要的应用方向。方艾芬等提 道路卡口