利用Python urlopen实现网页爬取

越来越多的人们开始了解和使用网络爬虫。Python 作为一门优秀的编程语言，其对于网络爬虫的支持也格外强大。在Python中，可以使用很多工具和库来实现网络爬虫，其中之一就是Python标准库中的urllib。

一、urllib 库的简介

urllib 是 Python 标准库中的一个内置模块，包含了一系列用于处理HTTP请求的方法，可以用来处理如下的HTTP请求：

1. Open URL（打开URL）

import urllib.request

2. 读取 URL 内容

response = urllib.request.urlopen('http://www.baidu.com/')

3. 获取 URL 的属性

print(response.geturl())

4. 读取服务器返回的数据

print(response.read())

5. 解析 URL

print(urllib.request.urlparse('http://www.baidu.com/'))

urllib 的提供了许多方法和工具，非常适合处理网络请求和网页爬取。下面，我们将详细介绍如何使用Python中的urllib库来实现网页爬取。

二、利用urllib实现网页爬取

（一）打开网页

首先，我们需要使用urllib库中的urlopen函数来打开指定的网页：

import urllib.request

response = urllib.request.urlopen('http://www.baidu.com/')
html = response.read().decode('utf-8')

用这种方式打开网页后，我们可以得到网页的HTML源代码，也就是网页的全部内容。但是，需要注意的是，urlopen打开的网页源代码没有指定编码方法，因此我们需要手动将其解码为utf-8编码，如上述代码所示。

（二）解析HTML文档

在得到网页源代码之后，我们需要对其进行解析，以便可以对其进行信息提取。Python中有很多第三方解析HTML文档的库，比较常用的有：BeautifulSoup 和 lxml。我们这里主要介绍使用BeautifulSoup库：

import urllib.request
from bs4 import BeautifulSoup

response = urllib.request.urlopen('http://www.baidu.com/')
html = response.read().decode('utf-8')

soup = BeautifulSoup(html, 'html.parser')
print(soup.title.string)

上述代码实现了使用BeautifulSoup库对网页文档进行解析，并获取了网页文档中的标题。BeautifulSoup库提供了一种非常简便的方式来解析HTML文档，只要我们学会它的标签语法就可以轻松完成网页的提取了。

（三）提取网页中的数据

解析完 HTML 文档后，我们就可以使用BeautifulSoup提供的标签语法，轻松地提取网页中我们想要的信息了。下面是一个简单的例子，用于提取百度搜索结果页面中的所有搜索结果：

import urllib.request
from bs4 import BeautifulSoup

response = urllib.request.urlopen('https://www.baidu.com/s?wd=python')
html = response.read().decode('utf-8')

soup = BeautifulSoup(html, 'html.parser')

for item in soup.select('.t'):
    print(item.a.get_text())

上述代码通过指定解析HTML文档后要查找的CSS样式，轻松地实现了提取百度搜索结果页面中所有搜索结果的功能。其中，soup.select()方法用于查找指定的HTML标签，比如上述代码中的样式'.t'就是指搜索结果页面中展示的标题。

三、小结

urllib 是Python中的一种强大的标准库，提供了丰富的工具和方法来处理和解析HTTP的请求。通过 urllib库中的urlopen方法和BeautifulSoup库，我们可以轻松的实现网页爬取，并从中提取我们所需要的信息。如果想进一步学习Python中的网络爬虫开发，建议可以先深入学习 Python 中的 urllib、BeautifulSoup、requests等网络爬虫相关的库。