Python爬虫完整代码模版

作者：傻啦嘿哟时间：2023-07-18 阅读数：359 人阅读

以下是一个简单的Python爬虫完整代码模板，用于演示如何使用requests库和BeautifulSoup库爬取网页内容：

import requests
from bs4 import BeautifulSoup

# Step 1: 发起HTTP请求
url = 'https://www.zdaye.com' # 目标网址
response = requests.get(url)
# Step 2: 解析页面内容
soup = BeautifulSoup(response.content, 'html.parser')
# Step 3: 提取和处理数据
# TODO: 根据需要进行数据提取和处理，如找到特定标签、类名等
# Step 4: 输出结果
# TODO: 根据需要将处理后的数据进行输出，如写入文件或打印到控制台

以上模板包含了四个步骤：

1. 发起HTTP请求：使用requests库的get()方法发送GET请求，并将返回的响应保存在response变量中。需要填入目标网址作为参数。

2. 解析页面内容：使用BeautifulSoup库的BeautifulSoup()函数将响应内容进行解析，并保存在soup变量中。可以根据需要选择合适的解析器，如"html.parser"或"lxml"。

3. 提取和处理数据：根据目标网页的具体结构，使用soup的相关方法（如find()、find_all()等）来提取所需的数据，并进行处理和清洗。

4. 输出结果：根据需求，将处理后的数据进行输出，可以将数据保存到文件中、存入数据库或打印到控制台。

需要注意的是，以上代码模板只是一个基本示例，具体的爬虫操作和数据处理需要根据目标网站的结构和数据格式进行适当的调整。

再来一个更完整的Python爬虫代码模板，包括了异常处理、分页爬取和数据保存的功能：

import requests
from bs4 import BeautifulSoup
import csv

# 请求头，模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
}

# 目标网址
url = 'https://www.zdaye.com'

# 保存数据的文件路径
csv_file = 'data.csv'

# 分页爬取的起始页和结束页（可根据需求修改）
start_page = 1
end_page = 5

# 用于保存所有数据的列表
data_list = []

# 主循环：遍历每一页的数据
for page in range(start_page, end_page + 1):
# 构建完整的URL（可根据网站的分页规则进行调整）
page_url = f'{url}/page/{page}'

try:
# 发起HTTP请求
response = requests.get(page_url, headers=headers)

# 解析页面内容
soup = BeautifulSoup(response.text, 'html.parser')

# TODO: 提取和处理数据
# 根据目标网站的HTML结构，使用BeautifulSoup的相关方法提取所需的数据，
# 并进行处理和清洗。将提取到的数据组织成字典或列表等合适的数据结构。

# 临时存储当前页的数据
# data = ...

# 将当前页的数据添加到总的数据列表
# data_list.extend(data)

except requests.exceptions.RequestException as e:
# 处理请求异常
print(f'Request error: {e}')
continue

# 将数据保存到CSV文件
with open(csv_file, 'w', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
# TODO: 根据实际数据结构，编写写入CSV文件的代码，例如 writer.writerows(data_list)

print('爬取完成并数据已保存到CSV文件')