Python 爬虫进阶技巧：网页脚本阻断稳定抓取数据

前言

现代主流网站普遍依赖 JavaScript 脚本实现页面渲染、权限校验、反爬检测、动态数据加载、行为风控拦截等机制，大量页面核心内容不再通过静态 HTML 直接输出，而是由前端脚本异步渲染生成。同时站点常植入脚本延迟加载、代码混淆、渲染阻塞、弹窗拦截、检测爬虫客户端特征、JS 主动终止页面渲染等防护手段，常规爬虫直接请求页面极易出现空白源码、核心数据缺失、页面加载卡死、接口请求被拦截、随机跳转 404/403 等问题。

本文所用到的核心依赖库及官方文档超链接如下：

1. Requests：基础静态请求、脚本阻断后备用数据抓取
2. BeautifulSoup4：静态结构解析与节点提取
3. Playwright：脚本拦截、路由阻断、JS 禁用与自定义脚本注入
4. Selenium：兼容老旧场景脚本阻断与页面稳定等待
5. PyExecJS：本地离线解析网站加密 JS，脱离浏览器依赖

本文系统拆解网页脚本反爬原理、脚本阻断核心思路、资源拦截策略、JS 禁用抓取、恶意脚本终止、自定义脚本注入绕过校验、脚本延迟渲染适配、混淆脚本逆向简化等实战技术，搭配标准化可运行代码、逐行原理剖析、场景适配表格、故障排查方案，实现阻断无用脚本、保留渲染必要脚本、拦截风控检测脚本，从根源规避 JS 反爬干扰，大幅提升爬虫抓取稳定性与成功率。

一、网页脚本反爬原理与脚本阻断适用场景

1.1 前端 JS 脚本反爬核心类型

网站借助 JavaScript 实现的反爬机制主要分为五类：第一类为渲染型脚本，核心文字、列表、详情数据全部由 JS 动态渲染，静态源码无有效内容；第二类为风控检测脚本，检测客户端特征、请求频率、浏览器指纹、自动化工具特征，识别爬虫后直接拦截；第三类为跳转阻塞脚本，通过 JS 定时跳转、条件跳转、拦截页面关闭、强制弹窗，干扰爬虫连贯采集；第四类为资源加载脚本，自动加载广告、统计埋点、后台心跳、视频图片冗余资源，拖慢页面加载、增加内存占用；第五类为代码混淆脚本，JS 变量名加密、逻辑混淆、时间锁、调试检测，阻止逆向分析与接口抓取。

1.2 脚本阻断分类及适配特征表

表格

1.3 脚本阻断稳定抓取核心原则

1. 非必要脚本一律拦截，减少页面加载耗时、降低内存占用、规避风控触发；
2. 核心渲染脚本保留，避免禁用全部 JS 后页面空白、数据无法展示；
3. 主动阻断爬虫检测、埋点统计、广告心跳类脚本，从源头规避反爬识别；
4. 支持自定义脚本注入，覆盖网站原有检测逻辑，伪装真人访问行为；
5. 区分静态抓取、浏览器抓取、离线 JS 解析三种模式，按需选用最优方案。

二、环境依赖与安装配置

2.1 版本兼容要求

Python3.8 及以上全量兼容所有库，Playwright、Selenium 适配 Windows/Linux/ 服务器无界面环境，PyExecJS 支持本地 Node.js 后端执行混淆脚本，适配离线逆向场景。

2.2 依赖库安装命令

bash

运行

pip install requests beautifulsoup4 lxml playwright selenium pyexecjs playwright install chromium

2.3 各库在脚本阻断中的核心作用

Requests 用于无 JS 依赖的静态页面备用抓取，不受前端脚本干扰；BeautifulSoup4 负责解析阻断脚本后的纯净页面结构，提取目标字段；Playwright 提供路由拦截、资源阻断、全局 JS 开关、自定义脚本注入能力，是脚本阻断核心工具；Selenium 适配老旧浏览器内核场景，实现脚本禁用与页面等待；PyExecJS 脱离浏览器环境，本地执行网站加密 JS、生成签名参数，实现无浏览器稳定采集。

三、基础方案：全局禁用 JavaScript 脚本抓取

3.1 原理说明

部分资讯类、文档类、列表类网站页面结构完全由静态 HTML 构成，JS 仅承担广告、统计、弹窗功能，无核心渲染作用。直接全局禁用浏览器 JS 解析，页面可正常展示有效内容，同时彻底杜绝 JS 反爬检测、定时跳转、弹窗干扰，抓取稳定性大幅提升。

3.2 Playwright 全局禁用 JS 完整代码

python

运行

from playwright.sync_api import sync_playwright def crawl_disable_all_js(url): """全局禁用JavaScript，纯净稳定抓取""" with sync_playwright() as p: browser = p.chromium.launch(headless=True) # 新建上下文，全局关闭JS执行 context = browser.new_context( user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/126.0.0.0 Safari/537.36", java_script_enabled=False ) page = context.new_page() # 访问页面，无需等待JS渲染 page.goto(url, timeout=20000) # 获取阻断脚本后的纯净页面源码 html = page.content() title = page.title() browser.close() return {"title": title, "html_len": len(html), "html": html} if __name__ == "__main__": res = crawl_disable_all_js("https://www.example.com") print("页面标题：", res["title"]) print("源码长度：", res["html_len"])

3.3 代码原理剖析

1. java_script_enabled=False全局关闭浏览器 JS 解析引擎，所有内嵌、外部、异步脚本均不执行；
2. 关闭 JS 后页面仅加载 HTML、CSS 静态资源，加载速度提升 50% 以上，无延时阻塞、无弹窗干扰；
3. 彻底规避基于 JS 的爬虫指纹检测、行为检测、自动化工具识别，从底层绕过基础反爬；
4. 无需设置复杂等待逻辑，页面加载完成即可直接提取数据，适配大量静态资讯、文档、公告类站点。

四、进阶方案：精准路由拦截指定脚本与资源

4.1 原理说明

多数站点必须保留核心 JS才能渲染列表、详情数据，但广告 JS、统计埋点 JS、爬虫检测 JS、后台心跳 JS 属于无用高危脚本。通过 Playwright 路由监听，按资源类型、URL 关键词精准拦截指定脚本，保留必要渲染逻辑，阻断风控与冗余资源，实现稳定抓取。

4.2 精准脚本拦截实战代码

python

运行

from playwright.sync_api import sync_playwright def block_target_script_crawl(url): """精准拦截风控、广告、统计脚本，保留核心渲染JS""" with sync_playwright() as p: browser = p.chromium.launch(headless=True) context = browser.new_context( user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/126.0.0.0 Safari/537.36" ) page = context.new_page() # 定义需要拦截的脚本关键词与资源类型 block_keywords = ["ad", "track", "log", "stat", "spider", "check", "fingerprint"] block_resource_type = ["image", "media", "font", "stylesheet"] def route_intercept(route): req_url = route.request.url.lower() res_type = route.request.resource_type # 拦截关键词匹配的脚本 if any(key in req_url for key in block_keywords): route.abort() return # 拦截指定冗余资源类型 if res_type in block_resource_type: route.abort() return # 其余正常放行 route.continue_() # 绑定全局路由拦截规则 page.route("**/*", route_intercept) # 访问页面并等待网络空闲 page.goto(url, timeout=30000) page.wait_for_load_state("networkidle") # 采集渲染完成后的页面数据 content = page.content() browser.close() return content if __name__ == "__main__": page_html = block_target_script_crawl("https://spa.example.com") print("拦截脚本后页面源码长度：", len(page_html))

4.3 代码原理剖析

1. 利用 Playwright 全局路由钩子page.route拦截所有网络请求，自定义放行与阻断规则；
2. 通过 URL 关键词匹配精准拦截广告、埋点、指纹检测、爬虫校验类 JS 脚本，不影响核心业务渲染；
3. 批量拦截图片、视频、字体、样式表等非核心资源，减少加载时间与内存占用；
4. 保留页面必要 JS 执行，保证动态列表、详情数据正常渲染，兼顾反爬规避与数据完整性；
5. 等待networkidle网络空闲后再采集，确保核心脚本执行完毕、数据渲染稳定。

五、高阶方案：注入自定义脚本绕过 JS 检测

5.1 原理说明

高端站点会通过 JS 检测window.navigator、自动化特征、调试器断点、webdriver 标识，识别 Selenium/Playwright 爬虫。通过页面注入自定义 JS 脚本，覆盖原有检测变量、禁用调试断点、伪装真实浏览器环境，阻断恶意检测脚本的判定逻辑，实现隐形抓取。

5.2 自定义脚本注入绕过检测代码

python

运行

from playwright.sync_api import sync_playwright def inject_js_anti_detect_crawl(url): """注入自定义JS，阻断网站爬虫检测脚本""" # 伪装浏览器环境、屏蔽自动化特征检测 hide_spider_js = """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }); window.navigator.chrome = {runtime: {}}; Object.defineProperty(window, 'outerHeight', {value: 1080}); Object.defineProperty(window, 'outerWidth', {value: 1920}); // 禁用调试器断点检测 const _debugger = window.debugger; window.debugger = () => {}; """ with sync_playwright() as p: browser = p.chromium.launch(headless=True) context = browser.new_context( user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/126.0.0.0 Safari/537.36" ) page = context.new_page() # 页面加载前注入屏蔽脚本 page.add_init_script(hide_spider_js) page.goto(url, timeout=30000) page.wait_for_load_state("networkidle") # 稳定采集页面数据 result_html = page.content() browser.close() return result_html if __name__ == "__main__": html = inject_js_anti_detect_crawl("https://high-security.example.com") print("注入脚本绕过检测，采集完成，源码长度：", len(html))

5.3 代码原理剖析

1. add_init_script在页面初始化阶段注入自定义 JS，优先于网站原有脚本执行，覆盖关键检测变量；
2. 清空webdriver特征、伪装 chrome 内核信息、固定窗口尺寸，消除自动化浏览器指纹；
3. 重写debugger方法，屏蔽网站调试器断点反爬，避免爬虫被强制阻塞调试；
4. 从 JS 底层篡改检测逻辑，阻断风控脚本的识别判定，无需修改爬虫请求行为即可稳定抓取；
5. 适配中高防护 SPA 站点，解决常规浏览器爬虫被秒识别、拦截、空白页面等问题。

六、离线方案：PyExecJS 本地解析脚本脱离浏览器

6.1 原理说明

部分站点核心参数、接口签名由混淆 JS 生成，必须执行 JS 才能拿到合法请求参数。采用 PyExecJS 本地调用 Node.js 执行网站 JS 代码，无需启动浏览器、无需加载页面，直接阻断网页冗余脚本依赖，轻量化完成参数生成与数据抓取，适配低配设备与无 GUI 服务器。

6.2 离线 JS 解析实战代码

python

运行

import execjs import requests # 网站加密混淆JS（示例模拟） encrypt_js = """ function getSign(key, time){ return key + "_" + time.toString(16); } """ def offline_js_crawl(): # 编译加载本地JS ctx = execjs.compile(encrypt_js) # 调用JS方法生成签名参数 sign = ctx.call("getSign", "spider2026", 1718888888) print("本地JS生成签名：", sign) # 携带生成参数发起请求，脱离浏览器与网页脚本 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/126.0.0.0 Safari/537.36", "Sign": sign } res = requests.get("https://api.example.com/data", headers=headers, timeout=10) return res.text if __name__ == "__main__": data = offline_js_crawl() print("离线脚本解析接口数据：", data[:500])

6.3 代码原理剖析

1. PyExecJS 调用本地 Node.js 环境编译执行网站 JS 代码，完全脱离浏览器页面加载流程；
2. 直接提取核心加密函数，舍弃网页无关脚本、广告脚本、检测脚本，实现彻底脚本阻断；
3. 生成接口所需签名、Token、时间戳等参数，直接用 Requests 请求接口，资源占用极低；
4. 无浏览器进程、无页面渲染开销，适合大批量接口采集、低配设备长期定时任务。

七、脚本阻断策略适配对照表

表格

八、常见故障与脚本阻断解决方案

表格