python中使用request爬取https遭遇ssl报错
import requests
if __name__==__main__:
target = https://www.biqudao.com/bqge89286/5388054.html
req=requests.get(url=target)
print(req.text)
这是我学爬虫写的第一段代码,教程的实例中用的是一个http网站,由于网站过期了.我找了一个类似的网站。这时候就遇到了问题,由于我用的网站是一个https的,出现了
SSLError: HTTPSConnectionPool(host=www.biqudao.com, port=443): Max retries exceeded with url: /bqge89286/5388054.html (Caused by SSLError(SSLError("bad handshake: Error([(SSL routines, ssl3_get_server_certificate, certificate verify failed)])")))
这个报错,一开始我本着面向百度编程的原则,百度了一堆,但是都不适用,最后去看了requests的官方中文文档
在里面找到了原因和解决方案,原因是没有绕过ssl验证。将代码修改如下
import requests
if __name__==__main__:
target = https://www.biqudao.com/bqge89286/5388054.html
req=requests.get(url=target,verify=False)
print(req.text)
手动在url后面设置成不验证,问题解决
