异步爬取+多线程+redis构建一个运转丝滑且免费http-ip代理池 (三)
内容提要:
如果说,爬取网页数据的时候,我们使用了异步,那么将数据放入redis里面,其实也需要进行异步;当然,如果使用多线程或者redis线程池技术也是可以的,但那会造成冗余;
因此,在测试完多线程redis搭配异步爬虫的时候,我发现效率直接在redis这里被无限拉低下来!
因此:
最终的redis库,我选择aioredis(redis的异步库);
效果:
(对上万个ip进行了检测,最终只得到这么几个....)
完成aioredis的时候,肯定会遇到一个bug,我先写在这里;当你们遇到的时候,再回头来看,没遇到前先跳过:
aioredis报错: duplicate base class TimeoutError
</