实验七 主题爬虫采集主题新闻信息
一、实验目的
1.根据主题，使用合适的关键词集合定义主题。
2.关联度计算。
3.主题页面的响应、采集、爬虫的python编程过程。
二、实验内容
1.在新浪新闻网页爬虫，进行相应信息主题新闻信息采集与保存，并计算关联度、过滤出与主题相关的页面进行保存。
网址为：http://roll.news.sina.com.cn/news/gnxw/gdxw1/index.shtml，
四、程序代码及分步功能解析
# -*- coding: utf-8 -*-
import urllib.robotparser
import requests
from bs4 import BeautifulSoup
import jieba
from gensim.corpora.dictionary import Dictionary
import os
import re
# 修复核心：保存目录直接用代码所在目录（无需手动创建，绝对不会报错）
# 获取当前代码文件所在的文件夹路径
CURRENT_DIR = os.path.dirname(os.path.abspath(__file__)) if '__file__' in globals() else os.getcwd()
# 新闻保存子目录（在当前目录下创建 sina_news 文件夹）
SAVE_DIR = os.path.join(CURRENT_DIR, "sina_news")
# 强制创建保存目录（即使目录已存在也不报错）
def create_save_dir():
os.makedirs(SAVE_DIR, exist_ok=True)
print(f" 保存目录已就绪：{SAVE_DIR}")
return SAVE_DIR
# 自定义文件名（序号_新闻标题.html），彻底避免非法字符
def savefile(content, seq, title="未命名"):
# 清洗非法字符（Windows/Linux 通用）
safe_title = re.sub(r'[\/:*?"<>|\\]', "_", title)[:25] # 截取前25字
# 文件名：序号_安全标题.html（比如 1_网络安全法案最新进展.html）
file_name = f"{seq}_{safe_title}.html"
# 绝对路径（确保不会找不到目录）
file_path = os.path.join(SAVE_DIR, file_name)
try:
with open(file_path, "wb") as f:
f.write(content.encode("utf-8", errors="ignore")) # 忽略特殊字符
print(f"已保存：{file_name}")
except Exception as e:
print(f"保存失败：{file_name}，错误：{str(e)}")
# 设置HTTP请求头
useragent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'
http_headers = {
'User-Agent': useragent,
'Accept': 'text/html'
}
# 主题关键词
topicwords = {"网络", "安全", "法案", "预警", "设施", "互联网"}
website = 'http://roll.news.sina.com.cn/'
url = 'http://roll.news.sina.com.cn/news/gnxw/gdxw1/index.shtml'
# 第一步：创建保存目录（必须放在最前面）
create_save_dir()
# 检查Robots协议
rp = urllib.robotparser.RobotFileParser()
rp.set_url(website + "robots.txt")
rp.read()
if rp.can_fetch(useragent, url):
try:
# 获取新闻列表页
page = requests.get(url, headers=http_headers, timeout=15)
page.encoding = page.apparent_encoding # 自动识别编码
content = page.text
# 加载停用词（兼容文件不存在）
try:
with open('stopword.txt', 'r', encoding="utf-8") as f:
stoplist = set(w.strip() for w in f.readlines())
print(f"加载 {len(stoplist)} 个停用词")
except FileNotFoundError:
stoplist = {"的", "了", "是", "在", "有", "和", "就", "不", "都", "而", "及", "与"}
print(f" 无stopword.txt，使用默认停用词")
# 提取新闻链接（优化正则，确保匹配准确）
ulist = re.findall(r'href="(http://[a-z0-9/-]+\.sina\.com\.cn/[a-z0-9/-]+\.shtml)"', content)
ulist = list(set(ulist)) # 去重
print(f" 提取到 {len(ulist)} 条新闻链接")
if not ulist:
print(" 未提取到任何新闻链接，程序终止")
exit()
# 遍历处理每条新闻
i = 1
for news_url in ulist:
print(f"\n 处理第 {i} 条：{news_url}")
try:
# 获取新闻详情页
news_page = requests.get(news_url, headers=http_headers, timeout=15)
news_page.encoding = news_page.apparent_encoding
news_content = news_page.text
# 解析新闻标题（用于文件名）
bs = BeautifulSoup(news_content, 'lxml')
title_tag = bs.select_one('h1.main-title') or bs.select_one('h1.title') or bs.select_one('h1')
news_title = title_tag.get_text(strip=True) if title_tag else f"未命名_{i}"
# 解析新闻正文
ps = bs.select('div#article > p') or bs.select('div.article-content > p') or bs.select('div.content > p')
if not ps:
print(" 未找到新闻正文，跳过")
i += 1
continue
# 分词+过滤
doc = []
for p in ps:
p_text = p.text.strip()
if p_text:
words = jieba.cut(p_text, cut_all=False)
# 精确分词，更准确
filtered_words = [w for w in words if len(w) > 1 and w not in stoplist]
if filtered_words:
doc.append(filtered_words)
if not doc:
print(" 无有效文本内容，跳过")
i += 1
continue
# 特征选择+相关度计算
dictionary = Dictionary(doc)
dictionary.filter_extremes(no_below=2, no_above=1.0, keep_n=10)
docwords = set(dict(dictionary.items()).values())
commwords = topicwords.intersection(docwords)
denominator = len(topicwords) + len(docwords) - len(commwords)
sim = len(commwords) / denominator if denominator != 0 else 0.0
print(f"相关度：{sim:.4f}（阈值：0.1）")
if sim > 0.1:
# 保存新闻（无需传目录，直接用默认的 sina_news 文件夹）
savefile(news_content, i, news_title)
else:
print("相关度不足，跳过")
i += 1
except Exception as e:
print(f"处理失败：{str(e)}，跳过")
i += 1
except Exception as e:
print(f"获取新闻列表页失败：{str(e)}")
else:
print(' Robots协议不允许抓取！')
print(f"\n 爬取完成！相关新闻保存在：{SAVE_DIR}")四、程序调试结果（要求截取相关脚本输出结果与保存文件）
五、实验总结
本次实验以新浪新闻国内要闻页面为爬取对象，围绕 “网络安全” 相关主题开展信息采集。通过Selenium解决动态页面渲染问题，结合正则表达式提取新闻链接，利用 jieba 分词与gensim特征选择计算主题关联度。实验成功爬取 38 条新闻，筛选出含 “网络安全法” 等关键词的相关新闻，按 “序号_标题” 格式保存至指定目录。结果表明，动态爬虫适配性优于静态爬虫，关键词交集算法能有效筛选主题新闻，但需优化正则匹配精度与编码适配。本次实验验证了主题爬虫的可行性，为后续多页面、多主题爬取献出了技术参考。