一、具体需求
1. 核心目标
面向企业合规、科研检测、标准管理、工程设计等场景，合规批量采集官方权威国家标准（GB/GB/T/GB/Z）全量元数据，支持多维度检索、精准筛选、完整字段导出，覆盖标准生命周期全状态，解决手动查标准慢、漏、错、散的痛点，实现标准信息 “一键查、批量采、规范存、快速用”。
2. 核心采集来源（官方权威，合规优先）
- 主来源：全国标准信息公共服务平台（std.samr.gov.cn）（覆盖全量国标、行标、地标、团标、企标）
- 辅来源：国家标准全文公开系统（openstd.samr.gov.cn）（补充全文链接、预览权限、采标状态）
- 补充来源：国家市场监督管理总局、国家标准化管理委员会官网（同步标准公告、制修订动态）
3. 检索与筛选功能（精准定位，多条件组合）
- 基础检索：支持标准号（如 GB/T 19001-2016）、标准名称、关键词、ICS 分类号精准搜索；支持模糊匹配、大小写不敏感、空格自动兼容。
- 高级筛选（多条件组合）：
- 标准类型：强制性（GB）、推荐性（GB/T）、指导性技术文件（GB/Z）
- 标准状态：现行、废止、即将实施、修订中、作废
- 时间范围：发布日期、实施日期（自定义起止年份）
- 起草维度：起草单位、起草人、归口单位、主管部门
- 采标属性：采标（等同 / 修改 / 非等效采用国际标准）、非采标
- 行业分类：按 ICS（国际标准分类）、国民经济行业筛选
- 结果排序：支持按发布日期、实施日期、标准号、热度（浏览量）排序；支持分页浏览、单页条数自定义（20/50/100 条）。
4. 全量采集字段（无遗漏，覆盖标准管理核心需求）
| 字段分类 | 必采核心字段 | 补充扩展字段 |
|---|---|---|
| 基础标识 | 标准号、标准名称、标准类型、标准状态 | ICS 分类、中国标准分类号（CCS）、标准编号前缀 |
| 时间维度 | 发布日期、实施日期、废止日期（如有） | 修订日期、复审日期、被替代标准号 |
| 编制信息 | 起草单位、起草人、归口单位、主管部门 | 制修订计划号、标准公告文号、发布机构 |
| 内容属性 | 摘要（适用范围 / 主要内容）、关键词 | 采标情况（等同 ISO/IEC 等）、代替标准、被代替标准 |
| 权限链接 | 官方详情页链接、全文预览 / 下载链接 | 标准公告链接、制修订动态链接、合规备案编号 |
| 管理辅助 | 数据采集时间、来源平台、唯一标识（防重复） | 标准页数、是否公开、是否涉及专利 |
5. 导出功能（多格式适配，直接可用）
- 支持格式：Excel/CSV（通用备份）、Word（归档）、BibTeX（文献引用）、EndNote（文献管理）、TXT（极简清单）
- 导出规则：
- 字段完整：包含上述全量字段，无缺失、无乱码（UTF-8 编码）
- 批量导出：单任务支持≥1000 条标准批量导出，自动拆分大文件
- 自定义导出：支持勾选所需字段、自定义导出文件名（关键词 + 时间 + 数量）
- 去重处理：自动按 “标准号 + 发布日期” 去重，避免重复数据
- 附加功能：导出前预览、字段校验（缺失提示）、导出日志记录。
6. 批量与效率能力（高效采集，适配大规模场景）
- 批量采集：支持单关键词 / 多关键词批量检索、多页结果自动爬取、全量数据一键采集
- 断点续采：采集中断后可恢复，无需重新开始；支持手动暂停 / 继续
- 进度可视化：实时显示采集条数、剩余时间、失败条数、当前状态
- 自动去重：采集过程中实时去重，避免重复存储
- 数据清洗：自动格式化日期、统一标准号格式、去除冗余空格 / 符号
7. 合规与稳定性（核心底线，安全可靠）
- 合规原则：仅采集官方公开元数据，不破解、不爬取非公开内容、不批量下载全文、不高频请求；严格遵循《标准化法》《网络安全法》及平台 robots 协议
- 访问控制：内置请求间隔（3-5 秒 / 次）、随机 UA、异常重试（3 次）、IP 封禁规避；无需账号登录（公开数据免登）
- 数据安全：本地运行、数据本地存储，不上传第三方服务器；无账号泄露、无数据滥用风险
- 适配更新：针对官方平台页面结构变更，支持快速适配、配置化更新
8. 易用性与辅助功能（降低门槛，开箱即用）
- 操作模式：图形化界面（新手友好）+ 命令行（批量自动化）双模式
- 新手引导：内置使用教程、常见问题、字段说明、合规提示
- 数据管理：支持本地数据保存、历史任务查询、数据备份 / 恢复
- 错误处理：采集失败自动标记、原因提示（如网络异常、页面变更）、支持重新采集
- 跨平台：适配 Windows/macOS，支持主流浏览器内核
9. 边界与约束（明确范围，规避风险）
- 仅采集官方公开的标准元数据，不提供全文下载、标准解读、合规判定服务
- 数据来源仅限官方平台，不整合非正规第三方数据，保证权威性
- 禁止商用、恶意采集、批量爬取；个人 / 企业合规自用
- 不支持涉密标准、未公开标准的采集（无公开权限）
二、需求分析（博客园发布配套内容，深度拆解）
1. 业务背景与核心痛点
- 痛点 1：标准分散 —— 国标、行标、地标分属不同平台，手动查需切换多个网站，效率极低
- 痛点 2：信息不全 —— 单平台仅展示基础字段，缺摘要、起草单位、采标状态、全文链接，需多页核对
- 痛点 3：批量困难 —— 企业合规、项目申报需整理上百条标准，手动复制粘贴易出错、耗时长
- 痛点 4：状态混乱 —— 标准有现行 / 废止 / 修订等状态，手动筛选易遗漏作废标准，引发合规风险
- 痛点 5：导出不便 —— 官方无批量导出、格式单一，无法直接适配 Excel/EndNote/BibTeX，需二次整理
2. 用户画像（核心使用人群）
- 企业合规岗：需批量核对产品执行标准、梳理现行有效国标、归档标准清单
- 科研 / 检测人员：查标准技术要求、引用标准文献、整理检测依据
- 工程设计 / 项目岗：按行业筛选标准、核对设计规范、归档项目标准文件
- 高校 / 科研机构：标准文献管理、论文引用、课题研究数据整理
- 标准管理人员：标准目录维护、制修订动态跟踪、标准生命周期管理
3. 核心需求拆解（从 “要什么” 到 “解决什么”）
- 基础需求：快速查、精准找—— 多条件检索，快速定位目标标准，告别手动翻页
- 核心需求：全量采、批量存—— 完整字段采集，批量导出可用文件，解决手动整理痛点
- 安全需求：合规采、不踩坑—— 官方来源、公开数据、低频请求，规避法律与账号风险
- 效率需求：自动化、省时间—— 断点续采、自动去重、批量处理，小时级工作变分钟级
- 延伸需求：易管理、可复用—— 本地数据存储、历史任务追溯、多格式适配，满足后续使用
4. 功能模块拆解（技术实现逻辑，清晰易懂）
- 检索模块：封装官方检索接口，支持多条件组合，生成合规请求
- 采集模块：解析搜索结果页 + 详情页，抽取全量字段，清洗格式化
- 批量模块：分页控制、断点续采、自动去重、进度统计
- 导出模块：字段映射、格式转换（Excel/CSV/BibTeX 等）、文件生成
- 合规模块：请求限流、UA 伪装、异常处理、合规提示
5. 数据流向（清晰透明，无中间环节）
用户输入检索条件 → 合规请求官方平台 → 爬取搜索结果 / 详情页 → 字段抽取 + 清洗去重 → 本地存储 → 格式转换 → 导出文件（本地保存）
6. 价值与收益（直击用户痛点，体现工具价值）
- 效率提升：1000 条标准采集从 “1 天手动整理”→“10 分钟自动完成”
- 质量保障：官方权威数据，字段完整、无错漏、状态准确，规避合规风险
- 成本降低：减少人工投入，降低时间 / 人力成本，提升工作效率
- 便捷复用：多格式导出，直接适配办公 / 科研场景，无需二次处理
- 安全合规：本地运行、公开数据、合规采集，无账号泄露与法律风险
7. 技术难点与解决方案（体现专业性，增强可信度）
- 难点 1：官方平台页面结构变更 → 方案：采用 Pyquery 稳健选择器，配置化适配，快速更新
- 难点 2：动态加载字段（如摘要、采标状态） → 方案：模拟浏览器渲染，确保全量抓取
- 难点 3：批量采集防封禁 → 方案：低频请求、随机 UA、异常重试、断点续采
- 难点 4：多格式导出兼容 → 方案：严格遵循 Excel/CSV/BibTeX 标准，字段精准映射
