引言

网络爬虫是一种自动化程序，用于从网站上抓取数据。Python提供了许多强大的库，使得编写网络爬虫变得相对简单。本文将介绍如何使用Python的requests库发送HTTP请求，以及使用BeautifulSoup库解析HTML内容。

安装所需库

在开始之前，你需要安装requests和BeautifulSoup4库。你可以使用pip进行安装：

pip install requests beautifulsoup4

发送HTTP请求

requests库允许你轻松地发送HTTP请求。以下是一个简单的示例，展示了如何发送GET请求：

import requests

url = 'https://example.com'
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    print('请求成功')
    content = response.text
else:
    print('请求失败，状态码：', response.status_code)

解析HTML内容

BeautifulSoup库用于解析HTML和XML文档。以下是一个示例，展示了如何使用BeautifulSoup解析从网页上获取的内容：

from bs4 import BeautifulSoup

# 假设content是从requests响应中获取的HTML内容
soup = BeautifulSoup(content, 'html.parser')

# 查找所有标题标签
titles = soup.find_all('h1')
for title in titles:
    print(title.get_text())

综合案例：抓取网页上的文章标题

以下是一个综合案例，展示了如何使用requests和BeautifulSoup抓取一个网页上所有文章的标题：

import requests
from bs4 import BeautifulSoup

url = 'https://example.com/articles'
response = requests.get(url)

if response.status_code == 200:
    content = response.text
    soup = BeautifulSoup(content, 'html.parser')

    # 假设文章标题在
标签内
    article_titles = soup.find_all('h2')
    for title in article_titles:
        print(title.get_text())
else:
    print('请求失败，状态码：', response.status_code)

结论

通过本文，你学习了如何使用Python的requests库发送HTTP请求，以及使用BeautifulSoup库解析HTML内容。这些技能对于编写网络爬虫非常有用。你可以根据需要进一步扩展这些技能，例如处理POST请求、处理分页、存储抓取的数据等。