第三方模块requests，文件IO、正则表达式，通过函数封装爬虫应用采集数据
import requests import re # 设置请求头，避免被识别为爬虫 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0", } #定义函数下载指定章节的内容，chapter_url作为参数提供下载章节的url def download_single_chapter(chapter_url): # 用requests.get方法发送GET请求到指定的chapter_url，并传入请求头headers。响应结果存储在response对象中。 response = requests.get(chapter_url, headers=headers) # 检查响应的状态码是否为200 if response.status_code == 200: #提取响应的文本内容（HTML），并将其存储在 html_txt 变量中 html_txt = response.text # 使用正则表达式获取标题和内容 pattern_title = re.compile(r'<title>(.*?)</title>', re.DOTALL) pattern_content = re.compile(r'<div id="chaptercontent" class="Readarea ReadAjax_content">(.*?)</div>',re.DOTALL) # 匹配标题和内容 title_match = pattern_title.search(html_txt) content_match = pattern_content.search(html_txt) with open('当前章节.txt', 'w', encoding='utf-8') as file: if title_match: #.group(1): 从匹配对象中提取第一个括号捕获组的内容 file.write(title_match.group(1)) file.write("\n\n") if content_match: file.write(content_match.group(1)) file.write("\n") file.write( "---------------------------------------------------------------------------------------------") file.write("\n") if title_match and content_match: print(f"章节 {title_match.group(1)} 下载成功") else: print("无法提取章节内容") else: print(f"无法下载章节，HTTP状态码: {response.status_code}") if __name__ == "__main__": # 替换为实际的章节网址 chapter_url = "https://www.3bqg.cc/book/60417/1.html" download_single_chapter(chapter_url)运行结果
自动创建的text在当前python项目的文件夹中