2020-10-23 python爬虫学习第二弹

it2026-01-30  5

selenium框架学习

selenium 中文文档 1.什么是selenium

selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)。 Selenium的核心Selenium Core基于JsUnit,完全由JavaScript编写,因此可以用于任何支持JavaScript的浏览器上。 selenium可以模拟真实浏览器,自动化测试工具,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题。 i

意思就是我们可以通过selenium在浏览器上执行我们写好的程序,以此来解决 只能抓取静态页面带来的操作复杂,数据量小的问题

2.使用selenium进行初级控制浏览器

比如下面这段代码,我就是使用selenium打开了chrome,进入百度,搜索我指定的文字。

# selenium框架实现打开百度并搜索功能 from selenium import webdriver import time # 初始化 driver=webdriver.Chrome(chrome_options={}) driver.get('https://www.baidu.com') input=driver.find_element_by_css_selector('.s_ipt') button=driver.find_element_by_css_selector('#su') input.send_keys("进击的巨人") time.sleep(3) button.click() input.clear() input.send_keys('泽野弘之')

非常类似DOM查找,实际上就是在HTML里找到DOM节点,并执行操作。执行截图如下:

最新回复(0)