scrapy middlewares函数解释
scrapy middlewares.py 文件中的函数解释 1、
def process_spider_input(self, response, spider):
process_spider_input:
-
处理网页的响应内容， 参数response 代表网页的响应内容， 参数spider代表spider文件夹的spider程序 2、
def process_spider_output(self, response, result, spider):
process_spider_output:
-
是将响应内容处理的结果返回到spider程序 参数response 代表网页响应的内容 result 代表响应内容的处理结果 spider代表spider文件夹的spider程序 3、
def process_spider_exception(self, response, exception, spider):
process_spider_exception：
-
该方法是引发异常时执行的处理 response代表当前请求的内容， exception代表异常对象，包含异常信息。spider同上
4、
def process_start_requests(self, start_requests, spider):
process_start_requests：
-
在spider程序发送HTTP请求的时候调用。 start_requests代表HTTP请求对象， spider 同上
5、
def spider_opened(self, spider):
-
该方法是spider的运行记录 spider 同上
