• 0
  • 0
分享

  今天给大家推荐一款基于Python的网页自动化工具:DrissionPage。这款工具既能控制浏览器,也能收发数据包,甚至能把两者合而为一,简单来说:集合了WEB浏览器自动化的便利性和 requests 的高效率。

  一、DrissionPage产生背景

  实现网页自动化,会有两类形式: - 直接向服务器发送请求数据包,获取需要的数据 - 模拟真实用户操作行为,控制浏览器跟网页进行交互

  前者轻量级,速度快,例如requests 库。但requests面对需要登录的网站时,往往还要应付验证码、JS 混淆、签名参数等反爬手段,门槛较高。若数据是由 JS 计算生成的,还须重现计算过程,开发效率不高。

  而后者直接使用浏览器,模拟用户行为,如Selenium库,可以很大程度上绕过这些坑,但浏览器运行效率不高。

  因此,DrissionPag设计初衷,是将它们合而为一,能够在不同须要时切换相应模式,并提供一种人性化的使用方法,提高开发和运行效率。

  为什么叫DrissionPag

  Selenium框架用于操作浏览器的对象叫 Driver,requests 用于管理请求连接的对象叫 Session,因此Drission 就是它们两者的合体。在旧版本中,是通过对 selenium 和 requests 的重新封装实现的。

  但从 3.0 版开始,作者另起炉灶,用 chromium 协议自行实现了 selenium 全部功能,从而摆脱了对 selenium 的依赖,功能更多更强,运行效率更高,开发更灵活。

  二、DrissionPage亮点特色

  本库采用全自研的内核,对比 selenium,有以下优点: - 无 webdriver 特征,不会被网站识别,无需为不同版本的浏览器下载不同的驱动 - 运行速度更快,可以跨 iframe 查找元素,无需切入切出,iframe 看作普通元素,获取后可直接在其中查找元素,逻辑更清晰 - 可以同时操作浏览器中的多个标签页,即使标签页为非激活状态,无需切换 - 内置等待和自动重试功能。使不稳定的网络变得易于控制,程序更稳定,编写更省心 - 允许反复使用已经打开的浏览器。无须每次运行从头启动浏览器,调试超方便 - 极简的语法规则。集成大量常用功能,定位元素更加容易,功能更强大稳定 - 使用 POM 模式封装,可直接用于测试,便于扩展 - 等等。。。

  三、安装搭建

  说了这么多,相信很多人已经跃跃欲试了,怎么快速搭建这套框架,先要准备一些基础环境。

  环境准备

  · 操作系统:Windows、Linux 或 Mac。

  · python 版本:3.6 及以上

  · 支持浏览器:Chromium 内核(如 Chrome 和 Edge)

  项目地址:

  https://gitee.com/g1879/DrissionPage

  使用 pip 安装 DrissionPage:

  pip install DrissionPage

  另外在开始之前,我们先进行一些简单设置。如果只使用收发数据包功能,无须任何准备工作。

  如果要控制浏览器,须设置浏览器路径。程序默认设置控制 Chrome,所以以下用 Chrome 作为演示。如果要使用 Edge 或其它 Chromium 内核浏览器,设置方法是一样的。

  设置浏览器路径:

  from DrissionPage.easy_set import set_paths
  set_paths(browser_path=r'这里修改为您的Chrome浏览器exe文件路径')

  这段代码会记录 Chrome 浏览器路径到配置文件。由于路径设置只要运行一次即可,不要写到正式程序里。一般建议新建一个临时 py 文件,并输入以下代码,填入您电脑里的 Chrome 浏览器 exe 文件路径,然后执行。

  四、实战一下

  1、尝试启动浏览器:

  from DrissionPage import ChromiumPage
  page = ChromiumPage()
  page.get('https://www.baidu.com')

  执行以下代码,如果正常启动了浏览器并且访问了百度,说明可直接使用,跳过后面的步骤即可。

  执行代码前,如果已有打开的 Chrome 浏览器,请关闭。

  2、与selenium框架代码对比

  #案例一:用显性等待方式查找第一个文本包含 some text 的元素。
  # 使用 selenium:
  element = WebDriverWait(driver).until(ec.presence_of_element_located((By.XPATH, '//*[contains(text(), "some text")]')))
  # 使用 DrissionPage:
  element = page('some text')
  #案例二:跳转到第一个标签页
  # 使用 selenium:
  driver.switch_to.window(driver.window_handles[0])
  # 使用 DrissionPage:
  page.to_tab(0)
  # 案例三:拖拽一个元素
  # 使用 selenium:
  ActionChains(driver).drag_and_drop(ele1, ele2).perform()
  # 使用 DrissionPage:
  ele1.drag_to(ele2)

  以上代码实现一模一样的功能,但DrissionPage代码明显更简洁优雅。

  3、与requests框架代码对比

  # 案例一:获取元素内容
  url = 'https://baike.baidu.com/item/python'
  # 使用 requests:
  from lxml import etree
  headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36'}
  response = requests.get(url, headers = headers)
  html = etree.HTML(response.text)
  element = html.xpath('//h1')[0]
  title = element.text
  # 使用 DrissionPage:
  page = WebPage('s')
  page.get(url)
  title = page('tag:h1').text

  4、DrissionPage不同模式切换

  例如:用浏览器登录网站,然后切换到 requests 读取网页。两者会共享登录信息。

  from DrissionPage import WebPage
  from time import sleep
  # 创建页面对象,默认 d 模式
  page = WebPage()  
  # 访问个人中心页面(未登录,重定向到登录页面)
  page.get('https://gitee.com/profile')  
  # 使用 selenium 输入账号密码登录
  page.ele('@id:user_login').input('your_user_name')  
  page.ele('@id:user_password').input('your_password\n')
  sleep(1)
  # 切换到 s 模式
  page.change_mode()  
  # 登录后 session 模式的输出
  print('登录后title:', page.title, '\n')


作者:测试开发技术    

来源:http://www.51testing.com/html/10/n-7795510.html

  • 【留下美好印记】
    赞赏支持
登录 后发表评论
+ 关注

热门文章

    最新讲堂

      • 推荐阅读
      • 换一换
          • 1、软件测试的定义软件测试就是一系列活动,这些活动是为了评估一个程序或软件系统的特征或能力,并确定其是否达到了预期结果。2、测试和开发的关系软件测试和软件开发在整个软件开发生命周期中交互协作,自始至终在一起工作,共同致力于同一个目标。3、测试和质量保证的关系SQA是一项管理工作,侧重于对流程的评审和监控测试是一项技术性的工作,侧重对产品进行评估和验证4、软件缺陷的定义计算机系统或者程序中存在的任何一种破坏正常运行能力的问题、错误,或者隐藏功能缺陷、瑕疵,其结果会导致软件产品在某种程度上不能满足用户的需要。5、 软件测试的分类5.1 按测试层次分类底层测试:单元测试(Unit Testing)接...
            13 13 3668
            分享
          • 安装插件JunitGeneratorfile-setting-plugins下载Junit的相关jar包链接https://github.com/junit-team/junit4/wiki/Download-and-Install分别点击上面两个链接,然后选择下面第一项jar。(第二项是帮助文档,第三项是Maven配置文件,第四项是源码,有需要可下载。)将下载的jar包添加到项目File -> Project Structure->Modules-> Dependencies找到刚刚的下载目录,添加jar包添加完成后,需要有以下俩包:实例建立和src文件夹同目录的test文...
            0 0 1422
            分享
          • AI 智能客服几乎是每个业务网站的标配,在大型语言模型能力广泛被应用后,智能客服的实现变得更加轻易,可定制化的程度也更高。本篇内容,将指导你如何在几分钟时间内,使用 Dify 平台快速定制你网站的 AI 智能客服。即使非技术人员也能搞定!点击查看操作视频首先,你需要理解 Dify.AI 是什么?Dify 是一个开源且非常简单易用的 LLMOps 平台,让你能够可视化快速创建并运营 AI 应用的工具平台。 Dify 提供了可视化的 Prompt 编排、运营、数据集管理等功能。你甚至无需具备 AI 相关的技术研究和晦涩概念的理解。Dify 对接了各个出色的大型语言模型供应商,如 OpenAI、Az...
            0 0 1320
            分享
          •   今天小梦就已微信红包为例,说说在实际项目中如何设计测试用例!希望也能对你有一些启发 : )  1. 设计测试用例的一般步骤  我先简单讲一下我写测试用例的操作步骤:  详细了解并梳理系统功能需求,必要时找产品进行需求澄清;  如果是比较复杂,或者对原有功能改动较多,在梳理需求的过程最好能画出业务流程图;  根据需求/流程图列出所有功能测试点;  根据测试点编写详细的功能测试用例。  2. 实例 - 微信红包  2.1 需求  微信红包的诞生  我还记得微信红包的大流行是在2015年,那一年我边看春晚,边拿着两个手机摇一摇。此后每年的春节期间,抢红包,发红包,成了和支付宝集五福一样的新习俗。...
            9 9 2417
            分享
          • 基本技术问题:游戏测试的基本流程:分析测试需求-制定测试计划-设计测试用例-(可能会进行冒烟测试)-执行测试-生成测试报告OSI七层协议:应用层-表示层-会话层-传输层-网络层-数据链路层-物理层TCP与UDP的差别:游戏测试与软件测试之间的关系:1、游戏测试是软件测试的一部分游戏测试简单说就是发现游戏里的问题(BUG)并进行改进,从而提升游戏产品的质量。游戏测试作为软件测试的一部分,它具备了软件测试所有的一切共同的特性:①测试的目的是发现软件中存在的缺陷。②测试都是需要测试人员按照产品行为描述来实施。产品行为描述可以是书面的规格说明书,需求文档,产品文件,或是用户手册,源代码,或是工作的可执...
            3 3 1864
            分享
      • 51testing软件测试圈微信