• 用selenium打开chrome和直接打开chrome是否有区别?
  • selenium

我最近做实验用selenium配合chromedriver打开chrome爬一个ajax动态渲染网页的时候,通过等待本来已经能成功爬到网页上异步渲染的数据了,但是突然发现爬到的数据和直接打开网页上的数据完全不一样,爬到的基本都是废数据。检查发现两种方法打开的页面源代码(渲染前)js有一些细微区别,cookie和一些header参数也不一样。不知道为什么会出现这种问题,直接打开网页和通过爬虫打开网页有区别吗?应该怎么解决?

  • 落叶凌飒    2023-04-07 11:24:48
  • 阅读 1306    收藏 0    回答 1
  • 邀请
  • 收藏
  • 分享
发送
登录 后发表评论
  • 51testing软件测试圈微信