Python网络爬虫试卷答案.docx
答案：
选择题
1-5：DAAAB6-10：DDBDD11-15：DDDDA16-20：DBBDC
21-25：BAABD26-30：ADCAA
填空题
//
2、@[属性名=]
3、GET、POST、DELETE、PUT、HEAD、TRACE、OPTIONS、CONNECT（三种即可）
4、设置请求头
pipinstallgeoip
6、缩进
7、否
8、bs4
9、dict
10、ipconfig
问答题
1题答案：
client=pymongo.MongoCRedis是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sortedsets）与范围查询，bitmaps，hyperloglogs和地理空间（geospatial）索引半径查询。Redis内置了复制（replication），LUA脚本（Luascripting），LRU驱动事件（LRUeviction），事务（transactions）和不同级别的磁盘持久化（persistence），并通过Redis哨兵（Sentinel）和自动分区（Cluster）提供高可用性（highavailability）
2题答案：
反爬虫策略之Headers：
Headers是指网络请求的头部信息，也就是网络请求过程中所携带的描述信息，允许您对HTTP请求和响应头执行各种操作。
基于Headers的反爬虫策略常见的为：根据User-Agent识别浏览器行为；根据Cookie识别用户信息；根据Referer识别链路、根据Content-Type识别数据类型。
反爬虫策略之Cookie：
Cookie是请求头的一部分，同时也web浏览器的凭证，根据实际情况，有时候要指定Cookie参数。requests将Cookie从中剥离出来，可以使用cookies参数直接指定。
在爬取有些网页是要求登录之后的才能爬取，所以要和服务器一直保持登录状态，有时的策略不都指定cookies，而是会使用session来完成，Session提供的API和requests是一样的，并且可将Cookie自动保存。
反爬虫策略之Proxies：
服务器会针对用户操作对用户行为进行记录，当根据规则匹配识别为程序操作，可能会进行IP封禁的操作。当我们发现IP已经被封了，此IP就再也访问不到目标网站了。
为了面对封禁IP的操作，我们可以：做更完善的设置，避免浏览器识别并封禁IP；使用代理IP，隐藏真实IP；设置好访问间隔，避免服务器压力过大
四：编程题
frombs4importBeautifulSoup#网页解析，获取数据
importre#正则表达式，进行文字匹配
importurllib.request,urllib.error#制定URL，获取网页数据
importxlwt#进行excel操作
defmain():
baseurl=/top250?start=
#爬取网页
datalist=getData(baseurl)
#savepath=豆瓣电影Top250.xls
dbpath=movie.db
#保存数据
savepath=G:/war/douban/豆瓣电影Top250-4.xls
saveData(datalist,savepath)
#saveData2DB(datalist,dbpath)
#askURL(/top250?start=)
#影片详情链接的规则
findLink=pile(rahref=(.*?))#创建正则表达式对象，表示规则（字符串的模式）r:忽视所有的特殊符号
#影片图片
findImgSrc=pile(rimg.*src=(.*?),re.S)#re.S让换行符包含在字符中
#影片片名
findTitle=pile(rspanclass=title(.*)/span)
#影片评分
findRating=pile(rspanclass=rating_numproperty=v:average(.*)/span)
#找到评价人数
findJudge=pile(rspan(\d*)人评价/span)
#找到概况
findInq=pile(rspa