selenium自动化爬取实例

最常用的几种selenium爬取方法

find_element_by_id 根据id找节点 find_element_by_tagname 根据name找节点 find_elements_by_xpath 根据xpath找 find_elements_by_class_name 根据标签名找 find_elements_by_css_selector 根据class名字找 find_elements_by_link_text 根据链接的内容找

话不多说源码奉上

from selenium import webdriver
import time
#模拟浏览器对象，如果对象去操作浏览器

path = rD:爬虫seleniumchromedriver.exe;
browser = webdriver.Chrome(executable_path = path)
#print(browser)
url = https://www.baidu.com/
browser.get(url)
 
 
#查找input输入框
my_input = browser.find_element_by_id(kw)
#往里面写文字
my_input.send_keys(美女图片)
 
#点击搜索
#方法一：my_input.send_keys(Keys.TENTER) 
#方法二：找到搜索按钮
button = browser.find_elements_by_tag_name(bg s_btn)
time.sleep(3)
img = browser.find_elements_by_class_name(op-img-address-link-imgs)[0]
img.click()
time.sleep(3)
browser.quit()

注意find_elements_by_tag_name()[] 如果整个页面这个class就一个，那么不用[] 如果享图片一样有多个class，那么就加！ 如果出现昨天代码可以运行，今天就出错了，不要着急，很可能就是你的浏览器版本自动更新，导致你的driverChrome不匹配。这时候升级一下谷歌驱动driverChrome就行了