Python爬虫实战：爬取BOSS直聘岗位数据，按薪资排序+去重，附可视化分析

⚠️ 核心风险与合规声明（必读）

在开始技术讨论前，必须明确：BOSS直聘是国内反爬风控最严格的平台之一。其采用了包括设备指纹、JS加密参数、行为验证、IP黑名单在内的多重防护体系。未经授权批量爬取岗位数据涉嫌违反《反不正当竞争法》及平台用户协议，已有相关司法判例。

本文仅作为“Web数据采集与数据分析”的教学案例，演示数据处理逻辑与可视化方法。实际求职分析请优先使用：

1. BOSS直聘App/网页端自带的筛选与排序功能
2. 官方开放的企业招聘API（需企业资质申请）
3. 第三方合规数据服务商（如脉脉、猎聘公开报告）

以下代码为脱敏后的教学示例，不包含任何绕过反爬的破解逻辑，请勿直接用于生产环境。

一、 工程化数据采集架构设计

即使在教学场景中，我们也应遵循规范的采集流程，而非编写“一把梭”脚本：

二、 核心难点：薪资标准化与智能去重

岗位数据最大的坑在于非结构化文本。"15-25K·14薪"和"年薪30万+"无法直接比较，这是所有分析的前提。

1. 薪资解析引擎

importrefromtypingimportTuple,Optionaldefparse_salary(salary_str:str)->Tuple[float,float]:""" 将各种格式的薪资字符串统一转换为 (月薪下限, 月薪上限) 单位：元 支持格式：15-25K, 15-25K·14薪, 20-30万/年, 面议(返回None) """ifnotsalary_stror'面议'insalary_str:return(0.0,0.0)salary_str=salary_str.strip()# 匹配 "15-25K" 或 "15-25k"k_pattern=re.search(r'(\d+\.?\d*)\s*[-~]\s*(\d+\.?\d*)\s*[kK]',salary_str)# 匹配 "20-30万/年" 或 "20-30万"y_pattern=re.search(r'(\d+\.?\d*)\s*[-~]\s*(\d+\.?\d*)\s*万',salary_str)# 匹配 "14薪" / "15薪"month_pattern=re.search(r'(\d+)\s*薪',salary_str)months=int(month_pattern.group(1))ifmonth_patternelse12ifk_pattern:low=float(k_pattern.group(1))*1000high=float(k_pattern.group(2))*1000elify_pattern:low=float(y_pattern.group(1))*10000/12high=float(y_pattern.group(2))*10000/12else:return(0.0,0.0)# 折算到月均薪资monthly_low=round(low*months/12,2)monthly_high=round(high*months/12,2)return(monthly_low,monthly_high)# 测试用例test_cases=["15-25K·14薪","20-30万/年","8-12K","面议","25-35k"]fortcintest_cases:print(f"{tc:>12}→{parse_salary(tc)}")

2. 多维度去重策略

单纯按URL去重远远不够，同一岗位可能被HR刷新后生成新链接：

importpandasaspdimporthashlibdefdeduplicate_jobs(df:pd.DataFrame)->pd.DataFrame:""" 三级去重策略： Level1: 精确URL去重 Level2: 公司名+岗位名+薪资范围 组合指纹去重 Level3: 相似度模糊去重（可选，防止换汤不换药） """original_count=len(df)# Level 1df=df.drop_duplicates(subset=['url'],keep='first')# Level 2: 生成业务指纹df['biz_hash']=df.apply(lambdar:hashlib.md5(f"{r['company']}|{r['title']}|{r['salary_low']}|{r['salary_high']}".encode()).hexdigest(),axis=1)df=df.drop_duplicates(subset=['biz_hash'],keep='first')df=df.drop(columns=['biz_hash'])print(f"去重:{original_count}→{len(df)}(移除{original_count-len(df)}条)")returndf.reset_index(drop=True)

三、 可视化分析看板

使用pyecharts生成交互式图表，比静态matplotlib更适合岗位分析场景：

frompyecharts.chartsimportBar,Scatter,Mapfrompyechartsimportoptionsasoptsimportpandasaspddefgenerate_dashboard(df:pd.DataFrame):# 过滤有效薪资数据valid_df=df[(df['salary_low']>0)&(df['salary_high']>0)].copy()valid_df['avg_salary']=(valid_df['salary_low']+valid_df['salary_high'])/2# ① 各经验要求薪资分布（箱线图替代方案：分组柱状图）exp_salary=valid_df.groupby('experience')['avg_salary'].agg(['mean','median']).round(0)bar=(Bar().add_xaxis(exp_salary.index.tolist()).add_yaxis("平均月薪",exp_salary['mean'].tolist(),label_opts=opts.LabelOpts(position="top")).add_yaxis("中位数月薪",exp_salary['median'].tolist()).set_global_opts(title_opts=opts.TitleOpts(title="Python岗位：经验vs薪资"),tooltip_opts=opts.TooltipOpts(trigger="axis"),yaxis_opts=opts.AxisOpts(name="元/月")))bar.render("exp_salary.html")# ② 城市-薪资散点图（发现性价比城市）scatter=(Scatter().add_xaxis(valid_df['city'].tolist()).add_yaxis("平均月薪",valid_df['avg_salary'].tolist()).set_global_opts(title_opts=opts.TitleOpts(title="城市薪资分布"),xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=45))))scatter.render("city_salary_scatter.html")# ③ 技能标签词频TOP15fromcollectionsimportCounter all_skills=[]forskillsinvalid_df['skills']:ifisinstance(skills,list):all_skills.extend(skills)skill_top15=Counter(all_skills).most_common(15)skill_bar=(Bar().add_xaxis([s[0]forsinskill_top15]).add_yaxis("出现次数",[s[1]forsinskill_top15]).reversal_axis().set_global_opts(title_opts=opts.TitleOpts(title="高频技能TOP15")))skill_bar.render("skill_top15.html")print("✅ 3个可视化看板已生成")

四、 合法替代数据获取路径

💡强烈建议：如果是为了学习数据分析，推荐使用 Kaggle上的招聘数据集 或自己手动收集50-100条样本即可覆盖所有技术点。将精力花在薪资解析算法优化、NLP技能提取、统计建模上，远比研究如何绕过反爬更有职业价值。

五、 总结

真正的爬虫实战能力，不是“能爬到别人爬不到的数据”，而是“能在合规前提下，用最优雅的方式解决数据获取与分析问题”。把技术用在正确的地方，才能走得长远。