当前位置：首页 > news >正文

面向对象大作业——自主选题网安2411 于鸿硕

news 2026/5/11 23:35:49

面向对象大作业——自主选题

拟选题：基于学院网站的搜索引擎网安2411 于鸿硕 202421336018

一、使用的AI工具辅助选题

在选题过程中，我使用ChatGPT进行辅助选题，

二、选题与前期调查

想要做什么

经综合考量课设题目书和扩展题目，基于网络空间安全专业的专业特性，我对Java Socket编程和Web html较感兴趣，希望了解网站架构逻辑与网络通信知识，加强网络开发者技能，选择了基于学院网站的搜索引擎。

该系统的主要功能是，通过爬虫对学院网站行抓取、建索、排序、搜索、摘要显示；涉及网络爬虫、中文分词、Web。

下附ChatGPT归纳的选题价值、可行性以及难点：

图2.1 AI选题点

别人是怎么做的

在GitHub中找到了部分可参考的项目案例，附链接：

**1.Basic-Search-engine ** https://github.com/djmejiaamador/Basic-Search-engine?utm_source=chatgpt.com

说明用 Java 索引网站并使用 Socket 提供界面

2.Java-Web-Search-engine-and-Crawler https://github.com/pavitrakumar78/Java-Web-Search-engine-and-Crawler?utm_source=chatgpt.com

简单的 Java 搜索引擎 + 爬虫示例

3.SearchEngine https://github.com/smmorneau/SearchEngine?utm_source=chatgpt.com

Java 应用：爬取 seed 页面、建立倒排索引并提供搜索服务

准备实现的部分

抓取、建索（中文分词）、排序、搜索、摘要显示

三、系统功能设计

① 用户界面层（UI）

提供搜索框、按钮
显示标题、URL、摘要和高亮关键词
与后台通过 Socket/HTTP 通信

② 搜索服务层

负责接收用户请求（Socket）
对搜索引擎核心进行调度
将结果封装成前端友好的 JSON

③ 搜索核心层

查询解析、中文分词
从倒排索引中读取文档列表
使用 TF-IDF/BM25 排序
生成搜索摘要并返回结果

④ 索引构建层

解析 HTML、提取正文
对中文正文进行分词
构建倒排索引
持久化索引文件（可重启加载）

⑤ 爬虫抓取层

使用 Socket 抓取学院网页
维护 URL 队列、去重集合
获取可索引的 HTML 页面
输入到索引层进行处理

┌───────────────────────────────────────────────┐
│                   Web 前端层（UI）            │
│   - 搜索输入框（Search Page）                 │
│   - 搜索结果展示页面（Result Page）           │
│   - 关键字高亮、摘要展示                      │
└───────────────────────────────────────────────┘│ HTTP 请求 / 响应▼
┌───────────────────────────────────────────────┐
│                 Web Server 层（Java）         │
│  - 处理前端请求（Servlet / HttpHandler）      │
│  - 调用后端搜索服务（Socket 客户端）          │
│  - 组装 HTML / JSON 返回给前端               │
└───────────────────────────────────────────────┘│ Socket 通信（JSON）▼
┌───────────────────────────────────────────────┐
│              搜索引擎核心后端（Java）          │
│     【通过 Java Socket 单独运行的服务端】     │
│   - 页面抓取模块（Crawler）                   │
│   - 中文分词与倒排索引模块（Indexer + jieba） │
│   - 排序模块（Ranker，TF-IDF / BM25）         │
│   - 搜索模块（Searcher）                      │
│   - 摘要生成模块（Snippet Generator）         │
└───────────────────────────────────────────────┘│ 文件 I/O▼
┌───────────────────────────────────────────────┐
│                    数据存储层                 │
│   - 原始网页缓存（HTML）                       │
│   - 解析后的文本内容（JSON）                   │
│   - 倒排索引文件（JSON / Map 序列化）         │
│   - PageRank / 评分缓存                       │
└───────────────────────────────────────────────┘

图3.1 系统总体架构示意图

设计代码架构如下：