当前位置: 首页 > news >正文

全网最详尽的 DrissionPage 使用教程:用 Python 轻松玩转动态网页

DrissionPage 简介

DrissionPage 是一个基于 Python 的网页自动化工具,结合了浏览器自动化(如 Selenium)和直接 HTTP 请求(如 requests)的优势,适用于动态网页爬取、自动化测试等场景。其核心特点是无需依赖浏览器驱动,可直接与页面交互。


安装与初始化

通过 pip 安装最新版本:

pip install drissionpage

初始化一个页面对象:

from drissionpage import SessionPage page = SessionPage() # 创建会话页面

基础功能

访问网页

page.get('https://example.com') # 发送 GET 请求 page.post('https://example.com', data={'key': 'value'}) # 发送 POST 请求

获取页面元素
通过 CSS 选择器或 XPath 定位元素:

element = page.ele('#id') # 根据 ID 获取元素 elements = page.eles('tag:p') # 获取所有 <p> 标签

提取数据

text = element.text # 获取文本 html = element.html # 获取内部 HTML attr = element.attr('href') # 获取属性值

https://www.zhihu.com/zvideo/1994542664859804729/
https://www.zhihu.com/zvideo/1994542660803924130/
https://www.zhihu.com/zvideo/1994542659507881718/
https://www.zhihu.com/zvideo/1994542658564157496/
https://www.zhihu.com/zvideo/1994542658211824663/
https://www.zhihu.com/zvideo/1994542657029035173/
https://www.zhihu.com/zvideo/1994542656425055942/
https://www.zhihu.com/zvideo/1994542653740711955/
https://www.zhihu.com/zvideo/1994542652935398937/
https://www.zhihu.com/zvideo/1994542652838941229/
https://www.zhihu.com/zvideo/1994542651886835388/
https://www.zhihu.com/zvideo/1994542651177984743/
https://www.zhihu.com/zvideo/1994542648351031351/
https://www.zhihu.com/zvideo/1994542648384565863/
https://www.zhihu.com/zvideo/1994542646887220629/
https://www.zhihu.com/zvideo/1994542645742171537/
https://www.zhihu.com/zvideo/1994542646035767366/
https://www.zhihu.com/zvideo/1994542645658293656/
https://www.zhihu.com/zvideo/1994542645771539405/
https://www.zhihu.com/zvideo/1994542645477912692/
https://www.zhihu.com/zvideo/1994542644014118310/
https://www.zhihu.com/zvideo/1994542643422712473/
https://www.zhihu.com/zvideo/1994542641661108276/
https://www.zhihu.com/zvideo/1994542640717403039/
https://www.zhihu.com/zvideo/1994542641208116044/
https://www.zhihu.com/zvideo/1994542637768782141/
https://www.zhihu.com/zvideo/1994542636338545143/
https://www.zhihu.com/zvideo/1994542634425948071/
https://www.zhihu.com/zvideo/1994542634048435969/
https://www.zhihu.com/zvideo/1994542631477343938/
https://www.zhihu.com/zvideo/1994542629216597734/
https://www.zhihu.com/zvideo/1994542628797178334/
https://www.zhihu.com/zvideo/1994542624544142826/
https://www.zhihu.com/zvideo/1994542623277458022/
https://www.zhihu.com/zvideo/1994542625139758984/
https://www.zhihu.com/zvideo/1994542624070186865/
https://www.zhihu.com/zvideo/1994542625294918978/
https://www.zhihu.com/zvideo/1994542622581220059/
https://www.zhihu.com/zvideo/1994542621872383455/
https://www.zhihu.com/zvideo/1994542619661980427/
https://www.zhihu.com/zvideo/1994542619477423570/
https://www.zhihu.com/zvideo/1994542619372578110/
https://www.zhihu.com/zvideo/1994542618693112008/
https://www.zhihu.com/zvideo/1994542618433046193/
https://www.zhihu.com/zvideo/1994542617954911941/
https://www.zhihu.com/zvideo/1994542618042971582/
https://www.zhihu.com/zvideo/1994542618374342545/
https://www.zhihu.com/zvideo/1994542617610982697/
https://www.zhihu.com/zvideo/1994542617367705013/
https://www.zhihu.com/zvideo/1994542157382582343/


处理动态内容

等待元素加载
设置显式等待,直到元素出现:

page.wait_ele('#loading', timeout=10, state='disappear') # 等待加载动画消失

执行 JavaScript
直接运行 JS 脚本:

page.run_js('window.scrollTo(0, document.body.scrollHeight)') # 滚动到页面底部

表单交互

填写表单
模拟输入和提交:

page.ele('#username').input('admin') # 输入用户名 page.ele('#submit').click() # 点击提交按钮

文件上传

page.ele('input[type="file"]').set('path/to/file.jpg') # 上传文件

高级技巧

拦截请求
监听或修改网络请求:

page.listen.start('api/data') # 监听特定 API 请求 response = page.listen.wait() # 等待并获取响应数据

切换 User-Agent
模拟不同设备访问:

headers = {'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 14_0 like Mac OS X)'} page.headers.update(headers)

实战示例:爬取动态渲染数据

以下代码模拟滚动页面并提取动态加载的内容:

from drissionpage import SessionPage page = SessionPage() page.get('https://dynamic-website.com') while True: page.run_js('window.scrollBy(0, 500)') # 每次滚动 500 像素 if not page.wait_ele('.load-more', timeout=2): # 检查“加载更多”按钮是否存在 break items = page.eles('.item') for item in items: print(item.text)

常见问题

元素定位失败

  • 检查选择器是否正确,使用开发者工具验证。
  • 增加等待时间或调整动态加载策略。

性能优化

  • 禁用图片加载:page.set.load_mode('none')
  • 使用缓存减少重复请求。

通过以上方法,DrissionPage 可以高效处理大多数动态网页场景,兼顾灵活性与易用性。

http://www.jsqmd.com/news/240698/

相关文章:

  • C语言数据类型
  • 如何用5S现场管理系统,让每一次检查都落地
  • 深度学习毕设选题推荐:基于python卷积网络训练识别核桃好坏基于python深度学习卷积网络训练识别核桃好坏
  • 从手写代码备份到分布式协作:Git 安装使用全攻略(附常见场景与最佳实践)
  • 布朗大学揭示医疗角色扮演的双刃剑效应
  • 德国研究突破:免训练人脸质量评估技术诞生
  • 【算法题】归并排序
  • Python数学可视化——显函数、隐函数及复杂曲线的交互式绘图技术
  • 别再纠结了:Lambda 还是 Kappa?流批统一这件事,真没你想得那么玄乎
  • Java锁机制八股文
  • 国内首例 AI 伴侣聊天提供者涉黄获刑,二审将开庭;OpenAI :大模型能力过剩,未来重心将转向系统层与应用层丨日报
  • 微信视频号下载器,蝴蝶号视频下载
  • 强烈安利9个AI论文平台,本科生毕业论文轻松搞定!
  • 全网最全研究生必用AI论文工具TOP8测评
  • 业务即代码:当DDD穿越古代商帮-第2集:第一次事件风暴
  • 10341_基于Springboot的珠宝销售网站
  • Linux在毕业设计中的核心难点与重点梳理(附避坑指南)
  • 亲测好用8个一键生成论文工具,MBA论文写作必备!
  • Webpack从“配置到提速”,4步解决“打包慢、体积大”问题
  • 智能电梯门禁(可视对讲联动梯控)方案实现梯控联动召梯、呼梯、访客联动功能,完全融入楼宇可视对讲门禁系统,核心通过协议对接 + 物理接线双重方式,保障乘梯权限管理与联动控制的稳定性。
  • 机器人系统ros2期末速通2
  • 拼多多春节加班费热议背后,近屿智能给出了另一份高薪答案
  • [特殊字符][特殊字符][特殊字符][特殊字符],拍一拍解锁快乐开挂版
  • 智能地板:AI Agent的室内活动模式分析
  • 夫妻间忌讳的9句话,烂在肚子也不要说
  • 2026 版 “全国统一长辈口头禅”,听完 DNA 动了
  • 机器人系统ros2期末速通3
  • idea查看当前的数据源信息
  • 各位相加这道题,真不简单:从“循环暴力”到“数学直觉”的一次觉醒
  • PySide step by step系列