基于Python与Flask构建个人新闻聚合系统：从爬虫到部署全流程实践

1. 项目概述：从信息焦虑到高效掌控

作为一个每天需要处理大量信息、同时又要保持对行业动态敏感度的从业者，我一度被“信息过载”和“信息孤岛”这两个问题困扰。早上打开手机，十几个新闻App、几十个关注的公众号、还有各种社交媒体的信息流，像潮水一样涌来。想快速了解今天发生了什么，却要在不同平台间反复切换，不仅效率低下，还常常因为算法推荐而陷入信息茧房，错过了真正重要或多元的视角。

“玩转 OpenClaw：指尖秒看全国新闻，54个信息源一键聚合”这个项目，正是为了解决这个痛点而生的。它不是一个现成的商业化产品，而是一个极具极客精神的、可高度自定义的个人信息聚合解决方案。简单来说，你可以把它理解为一个为你私人订制的、纯净无广告的“新闻雷达”。它的核心是OpenClaw——一个开源的网络信息抓取与聚合框架，通过编写简单的规则（我们称之为“爪子”），就能自动从指定的54个（或任意你添加的）新闻网站、博客、官方渠道抓取最新内容，并按照你设定的规则进行清洗、去重、排序，最终在一个统一的、清爽的界面上呈现给你。

这解决了什么问题？首先，是效率问题。从“打开N个App-逐个浏览-筛选标题”的繁琐流程，变为“打开一个页面-浏览聚合标题”的一步操作，信息获取时间从半小时压缩到几分钟。其次，是信息质量与广度问题。你可以自主选择信源，摆脱单一平台的算法束缚，既可以看到主流媒体的报道，也可以纳入一些深度分析的自媒体、行业垂直网站，甚至地方新闻，构建一个真正属于你的、多元的信息图谱。最后，是数据主权问题。所有数据经过你的服务器，没有隐私泄露给第三方平台的风险，呈现的格式和样式也完全由你掌控。

这个项目非常适合以下几类人：数字生活极简主义者，希望用一个工具解决多个需求；内容创作者、分析师、研究者，需要高效监控多个领域的动态；任何希望提升信息获取效率、打破信息壁垒的互联网用户。即使你没有深厚的编程背景，只要跟着步骤一步步来，也能搭建起属于你自己的信息中枢。接下来，我将从设计思路到实操细节，完整拆解如何“玩转”OpenClaw。

2. 核心设计思路与技术选型解析

在动手之前，理解OpenClaw的设计哲学和背后的技术栈选择至关重要，这能帮助你在后续配置和问题排查时心中有数。

2.1 为什么是“爬虫聚合”而不是RSS？

提到信息聚合，很多人第一反应是RSS。确实，RSS是一种成熟的标准。但在实际操作中，我发现RSS有两大局限：一是覆盖率低，很多网站，特别是国内的一些新闻门户和自媒体平台，早已停止维护或从未提供RSS源；二是信息不全，即使有RSS，其包含的内容（如摘要长度、图片）也往往受限。

因此，OpenClaw选择了更直接但也更灵活的方式：基于规则的网络爬虫。它模拟浏览器访问目标网页，然后根据你预先编写的“抓取规则”（即XPath或CSS选择器），像一只精准的机械爪，从网页HTML结构中“抓取”出标题、链接、发布时间、正文等关键元素。这种方式几乎可以应对任何公开的网页，自由度极高。选择54个信源这个数字，很可能是一个经过筛选的、覆盖了中央媒体、地方门户、行业垂直站点的精选集合，确保了信息的广泛性和代表性。

2.2 技术栈的务实之选

OpenClaw的技术选型体现了“轻量、高效、易维护”的思路。典型的技术栈可能包含：

1. 后端抓取引擎（如Python + Scrapy/Requests + BeautifulSoup）：Python是爬虫领域的首选，生态丰富。Scrapy框架适合大型、复杂的抓取任务，提供了完整的调度、去重、管道处理机制。对于轻量级或定制化需求高的场景，Requests库搭配BeautifulSoup或lxml进行解析则更加灵活。这里的选择取决于信源的数量和页面结构的复杂程度。
2. 数据存储（如SQLite/MySQL + Redis）：SQLite非常适合个人项目，零配置、单文件，将抓取到的结构化数据（标题、链接、时间等）存储起来。Redis则常被用作缓存和消息队列，比如缓存已抓取的链接以实现去重，或者临时存储待抓取任务，提升系统响应速度。
3. 前端展示界面（如Vue.js/React + 一个简约的UI框架）：前端负责将聚合后的新闻列表清晰、美观地展示出来。现代前端框架能让开发单页面应用（SPA）变得轻松，实现无刷新加载、过滤、搜索等交互功能。选择一款简约的UI组件库（如Element UI、Ant Design Vue）能快速搭建出可用的界面。
4. 任务调度（如Celery + Redis 或 系统Crontab）：新闻是持续更新的，抓取任务需要定时执行。Celery是一个强大的分布式任务队列，可以非常精细地控制每个抓取任务的执行频率和错误重试。对于更简单的需求，直接使用Linux系统的Crontab定时调用Python脚本，也是一种稳定可靠的选择。

这样的技术组合，既保证了核心抓取功能的强大和灵活，又通过成熟的组件降低了开发和维护成本，是个人项目中的经典架构。

2.3 系统架构与数据流

理解数据如何流动，有助于调试：

1. 配置阶段：你为每个新闻网站编写一个“抓取规则”配置文件，指明网址、抓取间隔、以及定位标题、链接等元素的选择器。
2. 抓取阶段：调度器（Crontab或Celery）定时触发抓取任务。爬虫引擎依次访问各目标网址，下载网页HTML。
3. 解析与清洗阶段：引擎根据对应规则，从HTML中提取目标信息。这里通常包含清洗步骤，比如去除HTML标签、过滤广告文本、统一日期格式等。
4. 存储与去重阶段：解析后的数据被送入数据库。通过比对链接（或标题+内容的哈希值）进行去重，确保同一条新闻不被重复收录。
5. 聚合与展示阶段：前端界面通过API从数据库请求数据，按照发布时间倒序排列，并可能提供按信源、关键词过滤的功能，最终渲染成你看到的聚合新闻列表。

整个流程自动化运行，你只需要定期维护抓取规则（因为网站可能会改版），然后享受“一站式”浏览的便利。

3. 环境准备与核心组件部署

让我们开始动手搭建。我将假设你使用一台Linux服务器（Ubuntu 20.04/22.04 LTS为例）作为运行环境，这是最通用和稳定的选择。

3.1 基础运行环境搭建

首先，通过SSH连接到你的服务器。我们将从最基础的环境开始。

安装Python及包管理工具：

# 更新系统包列表 sudo apt update sudo apt upgrade -y # 安装Python3和pip，以及一些必要的编译工具 sudo apt install -y python3 python3-pip python3-venv git curl wget # 安装虚拟环境管理工具（可选，但强烈推荐用于隔离项目依赖） pip3 install virtualenv

注意：强烈建议为OpenClaw项目创建独立的虚拟环境。这可以避免不同项目间的Python包版本冲突。例如，在项目目录下运行python3 -m venv openclaw_env，然后通过source openclaw_env/bin/activate激活。

安装与配置数据库： 根据设计，我们选择轻量级的SQLite和高效的Redis。

# 安装SQLite（通常系统已预装，确保开发头文件） sudo apt install -y sqlite3 libsqlite3-dev # 安装Redis服务器 sudo apt install -y redis-server # 启动Redis并设置开机自启 sudo systemctl start redis-server sudo systemctl enable redis-server # 检查Redis运行状态 sudo systemctl status redis-server

如果状态显示为active (running)，说明Redis已成功启动。默认情况下，Redis监听本地端口6379，无需额外配置即可供Python程序连接。

3.2 核心爬虫引擎的选型与安装

这里我们以灵活性更高的“Requests + BeautifulSoup + lxml”组合为例，因为它更容易理解和对单个网站进行精细化的规则调试。如果你需要面对成百上千个网站的高并发抓取，Scrapy是更专业的选择。

在激活的虚拟环境中，安装必要的Python库：

pip install requests beautifulsoup4 lxml html5lib python-dateutil

• requests：用于发送HTTP请求，获取网页内容。
• beautifulsoup4和lxml：用于解析HTML/XML文档，lxml是解析器，速度更快。
• html5lib：另一个解析器，对混乱的HTML兼容性更好。
• python-dateutil：强大的日期解析库，能处理各种五花八门的日期时间格式，这对新闻抓取至关重要。

3.3 前端展示界面的快速搭建

为了快速得到一个可用的界面，我们可以使用Vue.js和Element UI。首先需要在服务器上安装Node.js环境。

# 使用NodeSource仓库安装Node.js 18 LTS版本（较新且稳定） curl -fsSL https://deb.nodesource.com/setup_18.x | sudo -E bash - sudo apt-get install -y nodejs # 检查安装 node --version npm --version

接下来，我们使用Vue CLI快速创建一个前端项目。这部分操作也可以在本地开发机上进行，构建完成后再将文件上传至服务器。

# 全局安装Vue CLI sudo npm install -g @vue/cli # 创建一个新的Vue项目，选择默认配置即可 vue create openclaw-frontend cd openclaw-frontend # 安装Element UI组件库 vue add element-plus # 安装axios用于调用后端API npm install axios

现在，前端项目骨架已经创建好了。我们稍后再来编写具体的页面组件。

3.4 后端API服务的搭建

我们需要一个简单的Web后端，为前端提供新闻数据API。这里选择轻量级的Flask框架。

在项目根目录（与前端目录并列），创建后端目录并安装依赖：

mkdir openclaw-backend && cd openclaw-backend # 确保在虚拟环境中 pip install flask flask-cors flask-sqlalchemy

• flask：微型Web框架。
• flask-cors：处理跨域请求，因为前端和后端通常运行在不同端口。
• flask-sqlalchemy：ORM工具，让我们能用Python对象操作数据库。

4. “爪子”的编写：抓取规则详解

这是OpenClaw项目的灵魂所在。所谓“爪子”，就是告诉爬虫“去哪里抓”和“抓什么”的指令集。通常，一个信源对应一个配置文件或一个Python字典。

4.1 规则的核心要素

一个完整的抓取规则通常包含以下字段：

• name: 信源名称，如“人民网”、“澎湃新闻”。
• url: 目标列表页或首页的URL。
• list_selector: 用于定位新闻列表项（<li>、<article>或包含链接的<div>）的CSS选择器或XPath。
• title_selector: 在列表项中，定位新闻标题元素的选择器。
• link_selector: 在列表项中，定位新闻详情链接的选择器（通常是a标签的href属性）。
• published_selector: 定位发布时间的元素选择器。
• next_page_selector(可选): 定位“下一页”链接的选择器，用于翻页抓取。
• interval: 抓取间隔（秒），避免过于频繁访问给对方服务器造成压力。

4.2 实战：为“新华网”编写抓取规则

我们以新华网国内新闻版块为例。首先，你需要用浏览器的“开发者工具”（F12）来观察页面结构。

1. 打开目标页面：访问新华网国内新闻页面。
2. 定位列表项：查看新闻列表，右键点击一条新闻，选择“检查”。你会发现它可能在一个<li>标签里，或者有特定的class，比如.news-item。记下这个选择器。
3. 定位标题和链接：在列表项内，找到标题所在的<a>标签。观察它的结构，可能是a > h2或者直接就是a。链接在<a>标签的href属性里。注意，链接可能是相对路径，需要拼接上网站域名。
4. 定位发布时间：找到显示时间的元素，它的class或结构可能类似.time。

经过分析，我们可能得到如下规则（以Python字典格式示例）：

xinhua_rule = { 'name': '新华网-国内', 'url': 'http://www.news.cn/domestic/index.htm', 'list_selector': 'ul.news-list > li', # 假设列表结构如此 'title_selector': 'a > h2', # 标题在a标签内的h2里 'link_selector': 'a', # 链接在a标签上 'link_attribute': 'href', # 指定从href属性取链接 'published_selector': 'span.time', 'interval': 3600, # 每小时抓取一次 'encoding': 'utf-8', # 网页编码 'headers': { # 模拟浏览器请求头，避免被简单反爬 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } }

4.3 动态页面与反爬策略应对

现代网站大量使用JavaScript动态加载内容。如果直接抓取初始HTML，可能看不到新闻列表。这时有几种策略：

1. 寻找隐藏的API：再次打开开发者工具，切换到“网络”(Network)标签，过滤XHR/Fetch请求，刷新页面。你可能会发现网站通过Ajax请求了一个JSON接口来获取新闻数据。如果能找到这个接口，直接请求它会更简单高效，数据还是结构化的JSON。
2. 使用无头浏览器：对于复杂的JS渲染页面，可以使用Selenium或Playwright控制一个真正的浏览器（如Chrome）来加载页面，等待JS执行完毕后再获取HTML。但这会消耗更多资源。

   pip install selenium webdriver-manager

3. 遵守Robots协议与设置请求间隔：在抓取前，务必检查目标网站的robots.txt文件（如http://www.news.cn/robots.txt），尊重其爬虫规则。同时，在代码中为每个请求设置合理的延迟（如time.sleep(2)），并轮换User-Agent，这是最基本的道德和技术要求。

5. 数据抓取、清洗与存储的实现

有了规则，我们就可以编写核心的抓取与处理脚本了。我们将其命名为crawler.py。

5.1 抓取函数实现

import requests from bs4 import BeautifulSoup import dateutil.parser import time import hashlib from urllib.parse import urljoin def fetch_news(rule): """根据规则抓取新闻""" news_list = [] try: resp = requests.get(rule['url'], headers=rule.get('headers', {}), timeout=10) resp.encoding = rule.get('encoding', 'utf-8') soup = BeautifulSoup(resp.text, 'lxml') # 定位所有新闻列表项 items = soup.select(rule['list_selector']) for item in items: news = {} # 提取标题 title_elem = item.select_one(rule['title_selector']) if title_elem: news['title'] = title_elem.get_text(strip=True) # 提取链接并补全 link_elem = item.select_one(rule['link_selector']) if link_elem and (link_attr := rule.get('link_attribute', 'href')): raw_link = link_elem.get(link_attr) if raw_link: news['link'] = urljoin(rule['url'], raw_link) # 处理相对链接 # 提取发布时间并尝试解析 pub_elem = item.select_one(rule['published_selector']) if pub_elem: pub_text = pub_elem.get_text(strip=True) try: # 使用dateutil智能解析各种时间格式 news['published'] = dateutil.parser.parse(pub_text, fuzzy=True) except Exception as e: news['published'] = None # 解析失败则置空 # 生成唯一ID（用于去重），例如使用链接的MD5 if news.get('link'): news['id'] = hashlib.md5(news['link'].encode()).hexdigest() news['source'] = rule['name'] news_list.append(news) # 简单的翻页逻辑（示例） next_page_selector = rule.get('next_page_selector') if next_page_selector: next_elem = soup.select_one(next_page_selector) # ... 可以递归抓取下一页 except Exception as e: print(f"抓取 {rule['name']} 失败: {e}") return news_list

5.2 数据清洗与标准化

抓取到的数据往往很“脏”，需要清洗：

• 标题清洗：去除多余的空格、换行符，以及“- 新华网”、“_澎湃新闻”等来源后缀。
• 时间标准化：我们已经用dateutil.parser做了初步解析，最好将所有时间统一为UTC时间或本地时间，并存入数据库的DateTime字段。
• 正文提取（进阶）：如果需要抓取正文，可以编写另一个函数，根据详情页的规则抓取正文内容，并去除页眉、页脚、广告、推荐阅读等无关信息。这通常需要为每个网站单独编写正文提取规则，复杂度较高。

5.3 数据存储与去重设计

我们使用Flask-SQLAlchemy来定义数据模型并操作SQLite数据库。

在backend/models.py中：

from flask_sqlalchemy import SQLAlchemy from datetime import datetime db = SQLAlchemy() class NewsItem(db.Model): id = db.Column(db.String(32), primary_key=True) # 使用链接MD5作为主键 title = db.Column(db.String(500), nullable=False) link = db.Column(db.String(1000), unique=True, nullable=False) # 链接唯一 source = db.Column(db.String(100), nullable=False) published = db.Column(db.DateTime, index=True) # 加索引便于按时间排序 created_at = db.Column(db.DateTime, default=datetime.utcnow) # 抓取到的时间 # 可以扩展字段：摘要、正文、分类等 def to_dict(self): return { 'id': self.id, 'title': self.title, 'link': self.link, 'source': self.source, 'published': self.published.isoformat() if self.published else None, 'created_at': self.created_at.isoformat() }

在抓取脚本的最后，将数据存入数据库并去重：

from backend import create_app, db from backend.models import NewsItem app = create_app() with app.app_context(): for rule in all_rules: # all_rules是你定义的所有规则列表 items = fetch_news(rule) for item_data in items: # 根据ID（即链接MD5）判断是否存在 existing = NewsItem.query.get(item_data['id']) if not existing: news = NewsItem(**item_data) db.session.add(news) db.session.commit()

实操心得：去重逻辑是关键。仅靠链接MD5有时不够，因为有些网站会为同一篇文章生成不同的URL参数。更稳健的做法是结合“标题+发布时间”生成一个哈希值作为去重依据。此外，在存入数据库前，最好用Redis做一个临时缓存，记录最近24小时已抓取的链接ID，可以极大减轻数据库的查询压力。

6. 构建聚合展示前端

后端提供了数据，现在我们需要一个界面来展示它们。我们使用Vue 3和Element Plus来构建一个简洁的新闻聚合页面。

6.1 页面布局与组件设计

在frontend/src/views/Home.vue中，我们设计一个主要包含以下部分的页面：

1. 顶部导航栏：显示项目标题，可加入刷新按钮。
2. 侧边栏筛选器：用于按新闻来源（如“全部”、“新华网”、“澎湃新闻”等）进行筛选。
3. 主内容区：以卡片或列表形式展示新闻，每条新闻显示标题、来源、时间。标题点击后在新标签页打开原文链接。

6.2 核心代码实现

<template> <div class="home-container"> <el-container> <el-header> <h1>📰 我的新闻聚合中心 (OpenClaw)</h1> <el-button type="primary" @click="fetchNews" :loading="loading">刷新</el-button> </el-header> <el-container> <el-aside width="200px"> <el-menu :default-active="activeSource" @select="handleSourceSelect"> <el-menu-item index="all"> <span>全部来源</span> </el-menu-item> <el-menu-item v-for="source in uniqueSources" :key="source" :index="source"> <span>{{ source }}</span> </el-menu-item> </el-menu> </el-aside> <el-main> <div v-if="loading" class="loading">加载中...</div> <div v-else-if="filteredNews.length === 0" class="no-data">暂无新闻</div> <el-timeline v-else> <el-timeline-item v-for="item in filteredNews" :key="item.id" :timestamp="formatTime(item.published || item.created_at)" placement="top" > <el-card> <template #header> <div class="news-header"> <el-tag size="small">{{ item.source }}</el-tag> <a :href="item.link" target="_blank" class="news-title">{{ item.title }}</a> </div> </template> <div class="news-meta"> <span>发布于: {{ formatTime(item.published) }}</span> <span>抓取于: {{ formatTime(item.created_at) }}</span> </div> </el-card> </el-timeline-item> </el-timeline> <el-pagination v-if="filteredNews.length > 0" @current-change="handlePageChange" :current-page="currentPage" :page-size="pageSize" layout="prev, pager, next" :total="filteredNews.length" class="pagination" > </el-pagination> </el-main> </el-container> </el-container> </div> </template> <script setup> import { ref, computed, onMounted } from 'vue' import axios from 'axios' const loading = ref(false) const newsList = ref([]) const activeSource = ref('all') const currentPage = ref(1) const pageSize = ref(20) const API_BASE = 'http://你的服务器IP:5000/api' // 替换为你的后端API地址 const fetchNews = async () => { loading.value = true try { const response = await axios.get(`${API_BASE}/news`) newsList.value = response.data } catch (error) { console.error('获取新闻失败:', error) ElMessage.error('获取新闻失败，请检查网络或后端服务') } finally { loading.value = false } } const uniqueSources = computed(() => { const sources = new Set(newsList.value.map(item => item.source)) return Array.from(sources).sort() }) const filteredNews = computed(() => { let list = newsList.value if (activeSource.value !== 'all') { list = list.filter(item => item.source === activeSource.value) } // 按发布时间降序排序 list.sort((a, b) => new Date(b.published || b.created_at) - new Date(a.published || a.created_at)) // 分页 const start = (currentPage.value - 1) * pageSize.value const end = start + pageSize.value return list.slice(start, end) }) const handleSourceSelect = (index) => { activeSource.value = index currentPage.value = 1 // 切换来源时回到第一页 } const handlePageChange = (page) => { currentPage.value = page } const formatTime = (timeStr) => { if (!timeStr) return '未知时间' const date = new Date(timeStr) return date.toLocaleString('zh-CN') // 格式化为本地时间字符串 } onMounted(() => { fetchNews() }) </script> <style scoped> .home-container { height: 100vh; } .el-header { display: flex; justify-content: space-between; align-items: center; background-color: #409EFF; color: white; } .news-header { display: flex; align-items: center; gap: 10px; } .news-title { flex: 1; font-size: 16px; font-weight: bold; color: #303133; text-decoration: none; } .news-title:hover { color: #409EFF; text-decoration: underline; } .news-meta { font-size: 12px; color: #909399; display: flex; justify-content: space-between; } .pagination { margin-top: 20px; justify-content: center; } </style>

6.3 后端API接口

前端需要API来获取数据。在Flask后端创建一个简单的接口 (backend/app.py)：

from flask import Flask, jsonify, request from flask_cors import CORS from .models import db, NewsItem def create_app(): app = Flask(__name__) app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///news.db' app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False CORS(app) # 允许跨域 db.init_app(app) @app.route('/api/news', methods=['GET']) def get_news(): # 可以接受查询参数，如 ?source=新华网 source_filter = request.args.get('source') query = NewsItem.query if source_filter: query = query.filter_by(source=source_filter) # 按发布时间降序排列 news_items = query.order_by(NewsItem.published.desc()).all() return jsonify([item.to_dict() for item in news_items]) return app if __name__ == '__main__': app = create_app() with app.app_context(): db.create_all() # 创建数据库表 app.run(host='0.0.0.0', port=5000, debug=True)

7. 系统集成、调度与部署

现在，我们有三个独立的部分：爬虫脚本(crawler.py)、后端API(app.py)、前端应用(frontend/)。需要将它们整合并自动化。

7.1 任务调度：让爬虫自动运行

我们使用Linux系统的Crontab来定时执行爬虫脚本，这是最轻量可靠的方案。

首先，编写一个启动脚本run_crawler.sh：

#!/bin/bash cd /path/to/your/openclaw_project source openclaw_env/bin/activate python crawler.py >> /tmp/openclaw_crawl.log 2>&1

给脚本执行权限：chmod +x run_crawler.sh。

然后，编辑Crontab：crontab -e，添加一行，表示每30分钟运行一次：

*/30 * * * * /bin/bash /path/to/your/openclaw_project/run_crawler.sh

注意：抓取频率 (interval) 需要谨慎设置。在爬虫脚本内部，每个信源的规则里也有interval参数，用于控制对该站点的访问间隔。Crontab的调度是整个脚本的触发频率，而脚本内部的逻辑应该记录每个站点上次抓取的时间，并判断是否已达到规则中定义的间隔，避免在单次脚本执行中就频繁抓取同一站点。这需要你在crawler.py中实现简单的状态记录（比如将上次抓取时间写入一个JSON文件或Redis）。

7.2 服务部署与持久化运行

后端服务：我们使用Gunicorn作为WSGI服务器来运行Flask应用，比开发服务器更稳定高效。并用Systemd来管理，实现开机自启和故障重启。

安装Gunicorn：pip install gunicorn

创建Systemd服务文件/etc/systemd/system/openclaw-api.service：

[Unit] Description=OpenClaw Backend API Service After=network.target redis-server.service [Service] User=你的用户名 Group=你的用户组 WorkingDirectory=/path/to/your/openclaw_project/openclaw-backend Environment="PATH=/path/to/your/openclaw_project/openclaw_env/bin" ExecStart=/path/to/your/openclaw_project/openclaw_env/bin/gunicorn --workers 2 --bind 0.0.0.0:5000 app:create_app() Restart=always [Install] WantedBy=multi-user.target

然后启动并启用服务：

sudo systemctl daemon-reload sudo systemctl start openclaw-api sudo systemctl enable openclaw-api

前端服务：我们将Vue项目构建成静态文件，然后用Nginx来提供这些文件，并代理API请求到后端。

在前端目录构建：npm run build，这会生成一个dist文件夹。

安装并配置Nginx：

sudo apt install -y nginx

编辑Nginx配置文件/etc/nginx/sites-available/openclaw：

server { listen 80; server_name 你的域名或服务器IP; # 如果没有域名，填服务器IP # 前端静态文件 location / { root /path/to/your/openclaw_project/openclaw-frontend/dist; try_files $uri $uri/ /index.html; } # 代理后端API请求 location /api/ { proxy_pass http://127.0.0.1:5000/; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } }

创建软链接并重启Nginx：

sudo ln -s /etc/nginx/sites-available/openclaw /etc/nginx/sites-enabled/ sudo nginx -t # 测试配置 sudo systemctl restart nginx

现在，访问你的服务器IP或域名，就能看到聚合新闻页面了。

8. 运维、监控与常见问题排查

系统跑起来只是开始，稳定运行更需要维护。

8.1 日志与监控

• 爬虫日志：我们的run_crawler.sh脚本将输出重定向到了/tmp/openclaw_crawl.log。定期检查这个日志，可以看到抓取成功或失败的信息。建议将其改为一个固定的日志文件，并配置日志轮转。
• 后端服务日志：通过sudo journalctl -u openclaw-api -f可以实时查看后端服务的日志。
• 基础监控：使用简单的命令监控系统资源和服务状态：

  # 查看服务状态 sudo systemctl status openclaw-api nginx redis-server # 查看最近错误日志 sudo tail -f /var/log/nginx/error.log

8.2 常见问题与解决方案速查表

8.3 规则维护与更新

网站改版是爬虫的天敌。你需要建立一个简单的机制来监控规则的健康状况：

• 定期手动抽查：每周随机点开几条聚合的新闻，看是否能正确跳转到原文，标题和时间是否准确。
• 设置失败告警：可以在爬虫脚本中，如果某个信源连续多次抓取失败（返回空数据或HTTP错误），就发送一封邮件或一个钉钉/微信消息通知你。
• 规则版本化管理：将所有的抓取规则用YAML或JSON文件管理，并放入Git仓库。这样，规则变更也有记录，方便回滚和协作。

8.4 性能优化与扩展建议

当信源越来越多（远超54个）时，可以考虑以下优化：

1. 异步抓取：使用aiohttp和asyncio库进行异步HTTP请求，可以成倍提升抓取速度，尤其是在网络延迟较高时。
2. 分布式抓取：使用Scrapy-Redis等框架，可以将抓取任务分发到多台机器上执行。
3. 引入消息队列：将抓取任务放入Redis队列，由多个爬虫Worker消费，实现解耦和负载均衡。
4. 前端虚拟列表：如果新闻数据量极大（上万条），前端一次性渲染会导致卡顿。可以引入虚拟列表技术，只渲染可视区域内的条目。
5. 添加搜索功能：在后端为新闻标题和正文建立全文索引（如使用SQLite的FTS扩展，或接入Elasticsearch），实现关键词搜索。

搭建并维护这样一个OpenClaw系统，就像养一只电子宠物。初期需要投入时间“驯服”它（编写和调试规则），一旦稳定运行，它就会成为你获取信息最高效、最忠实的伙伴。这个过程不仅能解决实际问题，更能让你深入理解Web技术、数据流和自动化运维，是一个非常有成就感的全栈实践项目。