nodejs中实现sleep功能,暂停几秒.
一 背景
在使用nodejs爬虫的时候,经常会遇到别人的网站对频率的反爬机制,
这个时候如果不做处理程序就会挂掉,重新启动也会继续被屏蔽.这个问题怎么解决呢,
我的想法就是程序暂停10分钟或者更长的时间,继续爬取.
在使用nodejs爬虫的时候,经常会遇到别人的网站对频率的反爬机制, 这个时候如果不做处理程序就会挂掉,重新启动也会继续被屏蔽.这个问题怎么解决呢, 我的想法就是程序暂停10分钟或者更长的时间,继续爬取.
这个时候如果不做处理程序就会挂掉,重新启动也会继续被屏蔽.这个问题怎么解决呢,
我的想法就是程序暂停10分钟或者更长的时间,继续爬取.
在使用nodejs爬虫的时候,经常会遇到别人的网站对频率的反爬机制, 这个时候如果不做处理程序就会挂掉,重新启动也会继续被屏蔽.这个问题怎么解决呢, 我的想法就是程序暂停10分钟或者更长的时间,继续爬取.
二 方法
其实使用setTimeout就可以实现,只是nodejs异步已经很金字塔了,再加一层会更恐怖,所以 其实使用setTimeout就可以实现,只是nodejs异步已经很金字塔了,再加一层会更恐怖,所以
本文
使用nodejs的第三方模块async来实现,async的目的就是让多个异步的程序,按照开发者 本文 使用nodejs的第三方模块async来实现,async的目的就是让多个异步的程序,按照开发者
想要的顺序来执行,代码书写符合同步风格,其实运行还是异步的,也解决了回调金字塔的问题.
async基础使用 : http://blog..net/zzwwjjdj1/article/details/51857959
想要的顺序来执行,代码书写符合同步风格,其实运行还是异步的,也解决了回调金字塔的问题. async基础使用 : http://blog..net/zzwwjjdj1/article/details/51857959
async基础使用 : http://blog..net/zzwwjjdj1/article/details/51857959
想要的顺序来执行,代码书写符合同步风格,其实运行还是异步的,也解决了回调金字塔的问题. async基础使用 : http://blog..net/zzwwjjdj1/article/details/51857959
三 正常代码
访问3个网站,百度,优酷,腾讯为例.不暂停的代码. 访问3个网站,百度,优酷,腾讯为例.不暂停的代码.
四 测试
执行访问网站需要时间,3个网站访问时间统计254ms. 执行访问网站需要时间,3个网站访问时间统计254ms.
五 暂停代码
比如,访问第一个网站后暂停5秒,访问第二个网站后暂停10秒. 比如,访问第一个网站后暂停5秒,访问第二个网站后暂停10秒.
六 测试
从打印中能看得出,访问第二个网站等待了5秒,访问第三个网站等待了10秒.OK! 从打印中能看得出,访问第二个网站等待了5秒,访问第三个网站等待了10秒.OK!
更多nodejs分享,我的博客 更多nodejs分享,我的博客
