基于Python的电影票房信息数据的爬取及分析.doc

PAGE PAGE 36 广东东软学院本科毕业设计（论文） 基于Python的电影票房信息数据的爬取及分析 Crawling and Analysis of Movie Box Office Information Data Based on Python 中文摘要 现如今，人民群众对物质生活水平的要求已不再局限于衣食住行，对于精神文化有了更多的需求。电影在我国越来越受欢迎，电影业的发展越来越迅猛，为了充分利用互联网技术的发展，掌握电影业的态势，对信息进行挖掘和处理、提高数据库的利用率，本文采用文献分析法，对网络爬虫的相关内容以及发展现状进行简单介绍，并利用网页抓取技术爬取电影票房网站的相关数据，进行分析，为票房分析提供数据支撑。 关键词：Python 网络爬虫 电影票房 Abstract Nowadays, the peoples requirements for material living standards are no longer limited to clothing, food, housing and transportation, and there is more demand for spiritual culture. Movies are becoming more and more Fashionable in China, and the movie industry is growing rapidly. In order to make full use of the development of Internet technology, grasp the situation of the movie industry, mine and process information, and improve the utilization rate of the database, This paper introduces the content and development of web crawler by literature analysis, and use web page crawling technology to crawl and analyze the box office data related to movie websites, which provides powerful data support for box office analysis. Keywords: Python web crawler movie box office 目录 TOC \o 1-2 \h \u 28089 摘 要 1 25982 Abstract 1 16422 一、绪论 3 31031 1.1研究背景 4 10397 1.2研究现状 4 11278 1.3研究方法 4 18560 二、系统开发工具与相关技术 5 11208 2.1 Python网络爬虫 5 18212 2.2系统开发工具 5 2.2.1 pycharm工具 5 2.2.2 MySQL数据库 5 2.2.3 Hbuilder X工具 6 29988 2.3系统后台技术 6 13420 2.4 系统前端技术 6 14217 三、系统分析 8 31247 3.1 系统功能分析 8 26317 3.2 系统功能性需求分析 10 3.2.1 系统用户功能性需求分析 10 3.2.2 系统管理员功能性需求分析 12 26317 3.3 数据获取 14 26317 3.4 数据分析 13 26317 3.5 数据展示 13 19986 四、系统设计 15 28787 4.1文件结构图 15 28787 4.1.1前端demo文件结构图 15 28787 4.1.2后端爬虫系统文件结构图 15 7859 4.2前端功能模块 16 4.3登录与注册模块设计 7859 16 4.4数据库表设计 7859 17 4.5数据展示模块设计 7859 18 五、系统实现 7859 20 5.1解决网站反爬机制 7859 20 5.2 实现网络爬虫 7859 23 5.2.1找出url变化规则并获取链接 7859 26 5.2.2解析并获取网页数据 7859 26 5.2.3将数据存储至数据库 7859 27 5.3 登录注册模块实现 7859 28 5.4 数据展示模块实现 7859 28 14842 六、 票房网站信息数据爬取结果及分析 32 6.1以2019年的票房榜单Top20为例分析 7859 32