智能简历筛选系统:RAG与规则引擎的融合实践
1. 项目背景与核心挑战
在人力资源领域,简历筛选一直是个让人头疼的活。想象一下,HR每天要面对上百份简历,每份都得仔细看,生怕错过合适的人选。这种传统的人工筛选方式,效率低不说,还容易因为个人偏好导致判断偏差。我曾经见过一个案例:某公司因为HR对"985高校"的执念,错过了一位GitHub上有多个高星项目的候选人。
更糟的是,关键词匹配这种老方法已经跟不上时代了。现在的技术术语五花八门,同一个技能可能有十几种叫法。比如"Python Web开发"可能被写成"Django后端"、"Flask全栈"或者"FastAPI微服务",但传统系统很可能因为关键词不匹配就把这些简历过滤掉了。
2. 系统设计思路
2.1 传统RAG方案的局限性
最开始我考虑直接用现成的RAG(检索增强生成)方案。这法子简单粗暴:把简历转成向量存起来,查询时找最相似的。但实测下来问题一大堆:
- 语义泛匹配太不精准。有次搜索"5年Java经验",结果返回的全是"3年Python经验"的简历,只因为描述方式相似。
- 硬性条件没法处理。比如要求"必须本科学历",但向量搜索可不管这个。
- 解释性太差。系统告诉你这份简历匹配度80%,但说不清为什么匹配。
2.2 我们的改进方案
经过多次迭代,我们设计了一个三阶段筛选漏斗:
- 语义初筛:先用向量检索找出50份可能相关的简历
- 硬性过滤:用规则引擎筛掉不符合硬指标的(比如学历、年限)
- 精细评分:对剩下的简历从6个维度打分排序
这个设计最大的优点是平衡了召回率和准确率。第一阶段广撒网,确保不错过任何潜在人选;第二阶段严格把关,剔除明显不合格的;最后阶段精细评估,找出最匹配的候选人。
3. 关键技术实现
3.1 简历解析与信息提取
处理PDF简历是个技术活。我们试过各种解析工具,最后选择了LlamaParse,因为它能很好地保留文档结构,输出Markdown格式。比如这样:
## 工作经历 - **高级Java工程师** | 某科技公司 (2019-2023) - 负责分布式系统架构设计 - 使用Spring Cloud微服务框架更关键的是元数据提取。我们定义了一个结构化模型,用LLM从文本中提取关键信息:
class CandidateMetadata: name: str skills: List[str] # 最多10个核心技能 education: str # 学历标准值:本科/硕士等 work_years: int # 工作年限 # 其他字段...这里有个实用技巧:对技能名称做归一化处理。比如把"JS"、"JavaScript"、"ECMAScript"都映射到标准名称"JavaScript"。
3.2 向量索引构建
我们用ChromaDB做向量存储,每个文档包含原始文本和提取的元数据。索引时特别注意:
- 对长简历做分块处理,每块不超过512个token
- 为每份简历生成唯一的指纹哈希,避免重复处理
- 元数据单独存储,方便后续过滤
document = Document( text=resume_text, metadata={ 'skills': ['Python', 'Django'], 'education': '硕士', # 其他元数据... } ) index = VectorStoreIndex.from_documents([document])3.3 查询理解模块
HR的查询可能是自然语言,比如:"找3-5年经验的Python后端,熟悉Django,最好有云计算经验"。我们用LLM将其解析为结构化条件:
{ "min_years": 3, "max_years": 5, "required_skills": ["Python", "Django"], "preferred_skills": ["云计算"], "education": "本科及以上" }这里有个细节:我们会维护一个技能同义词库,确保查询中的技能名称与简历中的标准化名称匹配。
4. 核心筛选算法
4.1 三阶段筛选流程
语义初筛:
- 用查询文本生成向量
- 从向量库检索Top50相似简历
- 相似度阈值设为0.65,低于的直接淘汰
硬性过滤:
def hard_filter(candidate, requirements): if candidate.work_years < requirements.min_years: return False if requirements.education == '本科' and candidate.education == '专科': return False # 其他硬性条件... return True综合评分:
- 行业匹配度(35%):完全匹配+100分,相关+50分
- 技能匹配度(35%):必须技能每个+20分,优先技能每个+10分
- 其他维度(30%):薪资、学历、地点等
4.2 评分算法细节
我们设计了细粒度的评分规则。以技能匹配为例:
def calc_skills_score(candidate, requirements): score = 0 # 必须技能 for skill in requirements.required_skills: if skill in candidate.skills: score += 20 # 优先技能 for skill in requirements.preferred_skills: if skill in candidate.skills: score += 10 # 额外技能奖励 extra_skills = set(candidate.skills) - set(requirements.all_skills) score += len(extra_skills) * 5 # 每个额外技能+5分 return min(score, 100) # 百分制封顶薪资匹配算法更复杂些,要处理各种表达方式:
- "20K" → 20000
- "1.5万" → 15000
- "面议" → 特殊处理
5. 结果展示与解释
最终输出不是简单排序,而是包含详细解释的评估卡片:
候选人:张三 匹配度:87/100 【关键评估维度】 ✓ 技能匹配 (35/35) - 精通Python、Django(符合要求) - 熟悉AWS(优先技能加分) ✓ 行业经验 (30/35) - 5年互联网后端开发(要求3-5年) ⚠️ 薪资注意 (8/10) - 期望25K,岗位预算20-25K(在范围内但偏高) 【LLM综合评价】 张三是位经验丰富的Python后端工程师,完全满足技术要求。 建议面试时确认薪资期望是否可协商。这种展示方式帮助HR快速理解候选人的优劣势,比传统的关键词匹配直观多了。
6. 实战优化技巧
在实际部署中,我们总结了几条宝贵经验:
缓存策略:
- 简历解析结果按内容哈希缓存
- 元数据提取结果缓存24小时
- 向量索引每周全量更新,每日增量更新
性能优化:
- 硬性过滤先用数据库查询缩小范围
- 向量搜索限制在过滤后的子集进行
- 评分计算使用批量处理
评估指标:
- 召回率:确保不错过合格候选人
- 准确率:尽量减少误匹配
- HR满意度:收集用户反馈持续优化
特殊处理:
- 对"全栈"这类模糊标签做细化解析
- 处理"精通/熟悉/了解"等程度副词
- 识别和管理简历中的夸大描述
7. 典型问题排查
在开发过程中我们踩过不少坑,这里分享几个典型案例:
问题1:技能匹配不准
- 现象:Python开发者匹配到大量Java简历
- 原因:两类简历都提到"后端开发",语义相似
- 解决:在语义搜索阶段加入技能关键词boost
问题2:学历误判
- 现象:专升本被错误归类为专科
- 原因:LLM对复杂学历描述理解不准
- 解决:细化prompt,添加示例few-shot
问题3:薪资范围匹配错误
- 现象:"15-20K"与"18K"不匹配
- 原因:系统将范围视为字符串而非数值
- 解决:开发专门的薪资解析模块
8. 扩展应用场景
这个框架不仅适用于简历筛选,稍加改造就能用于其他匹配场景:
人才库挖掘:
- 定期扫描现有员工简历
- 识别适合新项目的内部候选人
岗位推荐:
- 反向为求职者推荐合适职位
- 基于简历内容智能生成求职建议
面试准备:
- 根据简历和JD生成定制化面试问题
- 预测候选人可能存在的知识盲区
未来还可以整合更多AI能力,比如:
- 自动生成个性化面试邀请
- 基于过往面试记录的偏见检测
- 候选人职业发展潜力预测
