破解反爬虫机制的几种方法

1. 什么是爬虫和反爬虫？

爬虫：使用任何技术手段，批量获取网站信息的一种方式。 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。

2. 常见的反爬虫机制

3. 破解反爬虫机制的几种方法

策略1：设置下载延迟，比如数字设置为5秒，越大越安全 策略2：禁止Cookie，某些网站会通过Cookie识别用户身份，禁用后使得服务器无法识别爬虫轨迹 策略3：使用user agent池。也就是每次发送的时候随机从池中选择不一样的浏览器头信息，防止暴露爬虫身份 策略4：使用IP池，这个需要大量的IP资源，可以通过抓取网上免费公开的IP建成自有的IP代理池。 策略5：分布式爬取，这个是针对大型爬虫系统的，实现一个分布式的爬虫，主要为以下几个步骤： 1、基本的http抓取工具，如scrapy； 2、避免重复抓取网页，如Bloom Filter； 3、维护一个所有集群机器能够有效分享的分布式队列； 4、将分布式队列和Scrapy的结合； 5、后续处理，网页析取(如python-goose)，存储(如Mongodb)。 策略6：模拟登录—浏览器登录的爬取 设置一个cookie处理对象，它负责将cookie添加到http请求中，并能从http响应中得到cookie，向网站登录页面发送一个请求Request, 包括登录url，POST请求的数据，Http header利用urllib2.urlopen发送请求，接收WEB服务器的Response。

参考文献：

【1】

1. 什么是爬虫和反爬虫？ 爬虫：使用任何技术手段，批量获取网站信息的一种方式。 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。 2. 常见的反爬虫机制 3. 破解反爬虫机制的几种方法 策略1：设置下载延迟，比如数字设置为5秒，越大越安全 策略2：禁止Cookie，某些网站会通过Cookie识别用户身份，禁用后使得服务器无法识别爬虫轨迹 策略3：使用user agent池。也就是每次发送的时候随机从池中选择不一样的浏览器头信息，防止暴露爬虫身份 策略4：使用IP池，这个需要大量的IP资源，可以通过抓取网上免费公开的IP建成自有的IP代理池。 策略5：分布式爬取，这个是针对大型爬虫系统的，实现一个分布式的爬虫，主要为以下几个步骤： 1、基本的http抓取工具，如scrapy； 2、避免重复抓取网页，如Bloom Filter； 3、维护一个所有集群机器能够有效分享的分布式队列； 4、将分布式队列和Scrapy的结合； 5、后续处理，网页析取(如python-goose)，存储(如Mongodb)。 策略6：模拟登录—浏览器登录的爬取 设置一个cookie处理对象，它负责将cookie添加到http请求中，并能从http响应中得到cookie，向网站登录页面发送一个请求Request, 包括登录url，POST请求的数据，Http header利用urllib2.urlopen发送请求，接收WEB服务器的Response。 参考文献： 【1】