[Python]网络爬虫（一）：抓取网页的含义和URL基本构成.pdf

汪汪海海的的实实验验室室 -- -- 各各种种图图形形学学实实验验和和数数据据结结构构实实验验以以及及其其他他一一切切琐琐碎碎杂杂乱乱的的小小笔笔记记 都都相相遇遇在在此此齐齐聚聚一一堂堂共共同同守守候候 00 eerrrroorr ((ss)),, 00 wwaarrnniinngg ((ss)) 这这神神奇奇时时刻刻的的到到来来 [[PPyytthhoonn]]网网络络爬爬虫虫 （（一一））：：抓抓取取网网页页的的含含义义和和UURRLL基基本本构构成成 分类： 爬虫 Python 2013-05-13 22:30 1256人阅读 评论 (0) 收藏 举报 一、网络爬虫的定义 网络爬虫 ，即Web Spider ，是一个很形象的名字。 把互联网比喻成一个 蛛网 ，那么Spider就是在网上爬来爬去的 蛛。 网络 蛛是通过网页的链接地址来寻找网页的。 从网站某一个页面 （通常是首页 ）开始 ，读取网页的内容 ，找到在网页中的其它链接地址 ， 然后通过这些链接地址寻找下一个网页 ，这样一直循环下去 ，直到把这个网站所有的网页都抓取完为止。 如果把整个互联网当成一个网站 ，那么网络 蛛就可以用这个原理把互联网上所有的网页都抓取下来。 这样看来 ，网络爬虫就是一个爬行程序 ，一个抓取网页的程序。 网络爬虫的基本操作是抓取网页。 那么如何才能随心所欲地获得 自己想要的页面 ？ 我们先从URL开始。 二、浏览网页的过程 抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。 比如说你在浏览器的地址栏中输入 这个地址。 打开网页的过程其实就是浏览器作为一个浏览的 “客户端” ，向服务器端发送了 一次请求 ，把服务器端的文 件 “抓”到本地 ，再进行解释、展现。 HTML是一种标记语言 ，用标签标记内容并加以解析和区分。 浏览器的功能是将获取到的HTML代码进行解析，然后将原始的代码转变成我 直接看到的网站页面。 三、URI的概念和举例 简单的来讲 ，URL就是在浏览器端输入的 这个字符串。 在理解URL之前 ，首先要理解URI的概念。 什么是URI ？ Web上每种可用的资源 ，如 HTML文档、图像、视频片段、程序等都由一个通用资源标志符(Universal Resource Identifier ， URI)进行定位。 URI通常由三部分组成 ： ①访问资源的命名机制 ； ②存放资源的主机名 ； ③资源 自身 的名称 ，由路径表示。 如下面的URI ： / my html/ html1223/ 我们可以这样解释它 ： ①这是一个可以通过HTTP协议访问的资源 ， ②位于主机 上 ， 1 ③通过路径 “/ html/ html40”访问。 四、URL的理解和举例 URL是URI的一个子集。它是Uniform Resource Locator的缩写 ，译为 “统一资源定位 符”。 通俗地说 ，URL是Internet上描述信息资源的字符串 ，主要用在各种WWW客户程序和服务器程序上。 采用URL可以用一种统一的格式来描述各种信息资源 ，包括文件、服务器的地址和 目录等。 URL的格式由三部分组成 ： ①第一部分是协议(或称为服务方式)。 ②第二部分是存有该资源的主机IP地址(有时也包括端口号)。 ③第三部分是主机资源的具体地址 ，如 目录和文件名等。 第一部分和第二部分用 “://”符号隔开 ， 第二部分和第三部分用 “/”符号隔开。 第一部分和第二部分是不可缺少的 ，第三部分有时可以省略。 下面来看看两个URL的小例子。 1.HTTP协议的URL示例 ： 使用超级文本传输协议HTTP ，提供超级文本信息服务的资源。 例 ：/channel/welcome.htm 其计算机域名为。 超级文本文件(文件类型为.html)是在 目录 /channel下的welcome.htm。 这是中国人民日报的一台计算机。 例 ：/talk/talk1.htm 其计算机域名为。 超级文本文件(文件类型为.html)是在 目录/talk下的talk1.htm。 这是瑞得聊天