Python程序设计实践 教案 实验16 网络爬虫入门.docx
《Python程序设计实践教程》课程教案
课题：网络爬虫入门
教学目的：
在“网络爬虫入门：获取网络信息（requests库、BeautifulSoup库）”的学习中，教学目的聚焦于知识、技能、思维与素养多个维度。
在知识层面：让学生深度理解网络爬虫的基本原理，明晰其在网络数据获取中的运作机制；系统掌握requests库发送HTTP请求的各类方法，包括不同请求方式的特点与适用场景，以及BeautifulSoup库对网页内容进行解析的核心概念与技术。
技能培养上：学生要熟练运用requests库构建请求，能够根据网页结构与需求，灵活设置请求头、参数等，成功获取网页源代码；精准使用BeautifulSoup库定位、筛选与提取网页中的特定数据，如文本信息、链接地址、图片路径等，形成独立完成简单网页数据爬取任务的实操能力。
思维拓展方面：引导学生在面对不同结构网页时，学会分析网页布局，制定合理的数据提取策略，培养逻辑思维与问题解决能力；在处理反爬机制时，激发创新思维，探索绕过限制的有效方法。
素养塑造上：强调网络爬虫需遵循法律法规与道德规范，培养学生的法律意识与道德操守，确保在合法合规的框架内开展数据获取活动。
课型：新授课
课时：
本章安排2个课时。
教学重点：
重点：
1.了解获取网络信息的基本方法。
2.熟悉requests库的使用方法。
3.了解BeautifulSoup库的基本操作。
4.学会简单的爬虫及解析网页的方法。
教学难点：
难点：教学难点在于让学生精准把握requests库请求参数的设置以应对各类网页反爬机制，同时熟练运用BeautifulSoup库复杂的解析方法，从结构多变的网页中准确提取目标数据。
教学过程：
教学形式：讲授课，教学组织采用课堂整体讲授和分组演示。
教学媒体：采用启发式教学、案例教学等教学方法。教学手段采用多媒体课件、视频等媒体技术。
板书设计：
本课标题
网络爬虫入门
课次
0.5
授课方式
理论课□讨论课□习题课□其他□
课时安排
2
学分
共2分
授课对象
普通高等院校学生
任课教师
教材及参考资料
1.《Python程序设计实践教程》。
2.本教材配套视频教程及学习检查等资源。
3.与本课程相关的其他资源。
教学基本内容
教学方法及教学手段
课程引入
同学们，当你在电商平台选购商品，是不是常纠结同款商品哪家更实惠？此时，若能一键获取各大平台的价格、销量和用户评价，选购就会轻松很多。这背后，靠的正是网络爬虫技术。在当今数据驱动的时代，企业需要分析竞品信息、挖掘用户需求，媒体要追踪热点舆情，都离不开大量网络数据的支撑。就拿热门综艺来说，节目制作方想了解观众反馈，靠人工浏览评论效率极低，而网络爬虫能迅速抓取各大平台的评论数据。今天，我们将学习使用requests库和BeautifulSoup库开启网络爬虫之旅。requests库能像浏览器一样向网页服务器发送请求，获取网页内容；BeautifulSoup库则负责将复杂的网页结构梳理清晰，帮我们精准提取所需信息。让我们一起探索，掌握这一高效获取网络信息的技能。
参考以下形式：
1.衔接导入
2.悬念导入
3.情景导入
4.激疑导入
5.演示导入
6.实例导入
7.其他形式
实验16网络爬虫入门
一、实验目的
1.了解获取网络信息的基本方法。
2.熟悉?requests?库的使用方法。
3.了解?BeautifulSoup?库的基本操作。
4.学会简单的爬虫及解析网页的方法。
二、知识要点
1.获取网络信息
网络爬虫（WebCrawler）又称为网页蜘蛛、网络机器人，是一种按照一定规则自动爬取网络信息的程序或脚本。目前，网络爬虫抓取与解析的主要是特定网站中的数据。
爬取网页的流程如下。
①选取一些网页，将这些网页的链接地址作为种子?URL。
②将种子?URL?放入待抓取?URL?队列中。
③爬虫从待抓取?URL?队列（队列先进先出）中依次读取?URL，并通过?DNS?解析?URL，把链接地址转换为网站服务器对应的?IP?地址。
④将③中生成的?IP?地址和网页相对路径传输给网页下载器。
⑤网页下载器将相应网页的内容下载到本地。
⑥将⑤中下载的网页内容存储在页面模块中，等待建立索引以及进行后续处理。与此同时，将已下载的网页?URL?放入已抓取?URL?队列中，避免重复抓取网页。
⑦从已下载的网页内容中抽取出所有链接，检查其是否已被抓取，若未被抓取，则将这个?URL?放入待抓取?URL?队列中。
⑧重复②～⑦，直到待抓取?URL?队列为空。
爬虫是获得网页、解析网页的过程，下面介绍?requests?库和?BeautifulSoup库的基本操作。
2.requests