Python爬虫之Scrapy框架系列（22）——初识分布式爬虫scrapy_redis
目录：
- 分布式爬虫（Scrapy\_redis）：
- 1.简单介绍：
- 2.Scrapy_redis的安装：
分布式爬虫（Scrapy_redis）：
- 官方文档：https://scrapy-redis.readthedocs.io/en/stable/
1.简单介绍：
scrapy_redis是一个基于Redis的Scrapy组件，用于scrapy项目的分布式部署和开发。
特点：
-
分布式爬取：
你可以启动多个spider对象，互相之间共享有一个redis的request队列。最适合多个域名的广泛内容的爬取。 -
分布式数据处理：
爬取到的item数据被推送到redis中，这意味着你可以启动尽可能多的item处理程序。 -
scrapy即插即用：
scrapy调度程序+过滤器，项目管道，base spider，使用简单。