一、Python解析HTML文档
Python可以使用自带的HTMLParser模块或第三方库，如BeautifulSoup、lxml等解析HTML文档。使用HTMLParser模块解析HTML文档需要自己编写一个HTML解析器，对HTML标签进行逐个解析，并在解析的过程中处理文本数据和标签属性。以下是一个使用HTMLParser的示例代码：
from html.parser import HTMLParser
class MyHTMLParser(HTMLParser):
def handle_starttag(self, tag, attrs):
print("Start tag:", tag)
for attr in attrs:
print(" Attr:", attr)
def handle_endtag(self, tag):
print("End tag :", tag)
def handle_data(self, data):
print("Data :", data)
parser = MyHTMLParser()
parser.feed('<html><head></head><body><p>Hello, world!</p></body></html>')
运行上面的代码可以输出HTML文档中的标签和文本数据。
二、Python解析HTML网页表格
一些HTML页面可能会包含表格，可以使用以下示例代码来解析这种页面：
import requests
from bs4 import BeautifulSoup
URL = "https://www.w3schools.com/html/html_tables.asp"
response = requests.get(URL)
soup = BeautifulSoup(response.text, "lxml")
table = soup.find('table')
rows = table.find_all('tr')
for row in rows:
cols = row.find_all('td')
cols = [col.text.strip() for col in cols]
print(cols)
运行上面的代码可以将网页表格中的每一行数据输出。
三、Python解析HTML标签
使用Python解析HTML标签就需要了解HTML标签的基本格式和含义。以下是一些常用的HTML标签：
- <html>：定义一个HTML文档
- <head>：定义文档的头部，包含文档的元数据信息
- <body>：定义文档的主体部分
- <div>：定义文档中的一个区域
- <h1>～<h6>：定义标题，h1是最高级别的标题
- <p>：定义段落
- <ul>和<li>：定义无序列表及其项
- <ol>和<li>：定义有序列表及其项
- <a>：定义超链接
- <img>：定义图片
- <table>、<tr>和<td>：定义表格及其行、列
- <form>：定义用户输入表单
四、Python解析HTML文件
Python可以使用内置的open函数打开HTML文件，并将其读取为单个字符串，然后使用相应的HTML解析器处理该字符串。
from html.parser import HTMLParser
with open('test.html') as f:
html = f.read()
class MyHTMLParser(HTMLParser):
def handle_starttag(self, tag, attrs):
print("Start tag:", tag)
for attr in attrs:
print(" Attr:", attr)
def handle_endtag(self, tag):
print("End tag :", tag)
def handle_data(self, data):
print("Data :", data)
parser = MyHTMLParser()
parser.feed(html)
运行上面的代码可以解析HTML文件中的标签和文本数据。
五、Python解析HTML模块
Python有多个常用于解析HTML的模块，其中比较受欢迎的是BeautifulSoup和lxml。以下是使用BeautifulSoup获取HTML页面中所有的链接的示例代码：
import requests
from bs4 import BeautifulSoup
URL = "https://github.com/"
response = requests.get(URL)
soup = BeautifulSoup(response.text, "html.parser")
links = []
for link in soup.find_all('a'):
links.append(link.get('href'))
print(links)
运行上面的代码可以获取指定URL页面中所有的链接。
六、Python解析HTML和XML的第三方库
Python有多个第三方库可以用于解析HTML或XML，如lxml、xml.etree.ElementTree等。以下是使用lxml解析HTML的示例代码：
from lxml import html
URL = 'https://www.baidu.com'
page = requests.get(URL)
tree = html.fromstring(page.content)
print(tree.xpath('//title/text()'))
运行上面的代码可以获取指定URL页面的标题。
七、Python解析HTML两问
问题一：如何编写一个HTML解析器？
答：需要使用Python自带的HTMLParser模块，并继承该模块的HTMLParser类，并实现相应的回调函数，如handle_starttag、handle_endtag、handle_data等。
问题二：如何使用BeautifulSoup解析含有多个class的HTML标签？
答：可以使用find_all方法，并将class_参数设置为一个列表，如soup.find_all('div', class_=['class1', 'class2'])。
八、Python解析HTML标签生成字典
可以使用Python的字典类型来存储HTML标签的属性和值。以下是一个示例代码：
from html.parser import HTMLParser
class MyHTMLParser(HTMLParser):
def __init__(self):
self.result = []
HTMLParser.__init__(self)
def handle_starttag(self, tag, attrs):
if attrs:
attr_dict = {}
for attr in attrs:
attr_dict[attr[0]] = attr[1]
self.result.append({'tag': tag, 'attrs': attr_dict})
else:
self.result.append({'tag': tag, 'attrs': {}})
parser = MyHTMLParser()
parser.feed('<html lang="en"><head><meta charset="UTF-8"></head><body><p>Hello, world!</p></body></html>')
print(parser.result)
运行上面的代码可以输出HTML文档中的标签和属性以及其对应的值。
九、Python解析HTML页面
Python可以使用requests库或urllib库来获取指定URL的HTML页面，并使用相应的HTML解析器解析所获取的HTML文档。
import requests
from bs4 import BeautifulSoup
URL = 'https://www.baidu.com'
page = requests.get(URL)
soup = BeautifulSoup(page.content, 'html.parser')
print(soup.prettify())
运行上面的代码可以获取指定URL页面的HTML文档，使用prettify方法可以将文档格式化输出。
