数据可视化课程设计报告.docx

PAGE 13 目录 一、目的3 二、系统需求及基本功能3 1、系统需求3 2、基本功能3 三、总体设计方案3 1、总体设计3 2、流程图3 四、详细设计4 五、项目源程序代码4 1、爬数据4 2、数据可视化6 六、运行测试结果截图11 七、总结与收获15  一、目的 将大量的、多维度的、不完全的、随机的数据，通过可视化提取出隐含在其中的、未知的、潜在有用的信息和知识； 快速有效呈现数据的重要特征； 揭示数据的客观规律； 引导用户从可视化结果分析和推理出有效信息，提升信息认知的效率； 二、系统需求及基本功能 1、系统需求 本随着网络的迅速发展，互联网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。本课设需要对大量的京东手机销售数据通过spider进行爬取，用MySQL编译器进行数据的存储，用pyecharts进行详细的数据分析，再将数据可视化，最后制作一个简单的网页。 2、基本功能 使用者可以直观清晰的了解当下京东手机销售的情况，对手机销售的价格，销量，好评率等有一个基本的认识。 三、总体设计方案 1、总体设计 寻找网页、创建爬虫项目获数据、创建数据库保存数据、分析数据、数据可视化、web设计界面。 2、流程图 四、详细设计 新建目标（Project）：新建一个新的爬虫项目 明确目标（Items）：明确你想要抓取的目标 制作爬虫（Spider）：制作爬虫开始爬取网页 存储内容（Pipeline）：设计管道存储将爬取的数据存入MySQL内容 制作网页图：连接数据库，画html数据分析图 Web创建网页：使用web创建简单的网页 五、项目源程序代码 1、创建爬虫项目获取数据 Jdsprider： import scrapy,json,requests from ..items import commentItem class comment_spider(scrapy.Spider): name = comment_spider allowed_domains = [] ID = 100010816812 # 可以根据商品的ID 来改变 start_urls = [] for x in range(10): url = /comment/productPageComments.action?productId=+str(ID)+score=0sortType=5page=+str(x)+pageSize=10isShadowSku=0fold=1 start_urls.append(url) # /comment/productPageComments.action?productId=100010816812score=0sortType=5page=0pageSize=10isShadowSku=0fold=1 # /comment/productPageComments.action?callback=fetchJSON_comment98productId=100010816812score=0sortType=5page=5pageSize=10isShadowSku=0rid=0fold=1 # /comment/productPageComments.action?callback=fetchJSON_comment98productId=100010816812score=0sortType=5page=1pageSize=10isShadowSku=0rid=0fold=1 def parse(self, response): js = json.loads(response.text) comment = js[comments] for each in comment: item1 = commentItem() item1[user_id] = each[id] content = each[content] item1[content] = .join(content) item1[score] = each[score] item1[time] = each[creationTime] yield item1 爬取评论： import scrapy,json,requests from ..items import commentItem clas