尚硅谷爬虫note14
一、scrapy
scrapy：为爬取网站数据是，提取结构性数据而编写的应用框架
1. 安装
pip install scrapy
或者，国内源安装
pip install scrapy -i https：//pypi.douban.com/simple
2. 报错
报错1）building ‘twisted.test.raiser’ extension
原因：缺少twisted库
解决：下载twisted库：
a）cp是python版本
b）amd是操作系统版本
安装twisted库：
使用：pip install 拖入twisted路径
twisted库安装完成后，再安装scrapy库
报错2）提示python -m pip install --upgrade pid
解决：运行python -m pip install --upgrade pid
报错3）win32错误
解决：pip install pypiwin32
仍然报错）
解决：安装Aanacoda工具
二、创建scrapy项目
1）创建scrapy项目
在终端中创建项目：
scrapy startproject 项目名
2）创建爬虫文件
在spiders文件夹中创建爬虫文件
a）切入spiders目录下：
cd 项目名\项目名\spiders
b） 在spiders文件夹中创建爬虫文件
scrapy genspider 文件名 要爬取的网页
一般情况下，要爬取的网页之前：不需要添加http协议
否则start-urls中的路径不成立
原因：start_urls的值是根据allowed_domains进行修改的，如果添加了http协议，allowed_domains的值需要用户手动修改
import scrapyclass Demo001Spider(scrapy.Spider):# 爬虫的名字：用于运行爬虫时，使用的值name = "demo001"# 允许访问的域名allowed_domains = ["www.baidu.com"]# 起始url地址：指的是第一次要访问的域名# start_urls是在allowed_domains之前添加1个http:// 在allowed_domains之后添加1个/start_urls = ["http://www.baidu.com"]
#执行了 start_urls之后执行的方法 方法中的response就是返回的对象 相当于1)response = urllib.requests.urlopen() 2)response = requests.get()def parse(self, response):pass
3）运行爬虫文件
scrapy crawl 爬虫的名字
做了反扒————
解决：注释掉君子协议：项目下的setting.py文件中的robots.txt协议
注释掉：ROBOTSTXT_OBEY = True
三、scrapy项目结构
项目名
项目名
spider文件夹 （存储爬虫文件）
init
自定义的爬虫文件 （核心功能文件）
init
items （定义数据结构的地方）（爬取的数据包含哪些）
middleware （中间件）（代理）
pipelines （管道）（处理下载的数据）
settings （配置文件）
四、response的属性和方法
3)4)5)常用
1）response.text
获取响应的字符串
2）response.body
获取响应的二进制数据
3）response.xpath
直接使用xpath方法解析response中的内容
4）response.extract（）
提取selector对象中的data属性值
5）response.extract_first（）
提取selector对象的第一个数据
五、scrapy工作原理
1）. 引擎向spiders要url
2）. 引擎将要爬取的url给调度器
3）. 调度器将url生成请求对象，放入指定的队列
4）. 从队列中出队一个请求
5）. 引擎将请求交给下载器进行处理
6）.下载器发送请求，向互联网请求数据
7）. 下载器将数据返回给引擎
8）. 引擎将数据再次给到spiders
9）.spiders通过xpath解析数据
10）. spiders将数据，或者url，给到引擎
11）. 引擎判断该数据，是数据，还是url
a）是数据，交给管道处理
b）还是url，交给调度器处理
六、scrapy shell
scrapy终端
测试xpath和css表达式
免去了每次修改后，运行spiders的麻烦
使用：
终端中直接执行：
scrapy shell 域名
安装ipython（高亮，补全）
pip install ipython
七、懒加载中的src
有data-original，src用data-original替代
替换前：src = // ul[ @ id = "component_59"] / li // img / @ src
替换后：src = // ul[ @ id = "component_59"] / li // img / @ data-original
当当网练习中的第一张图片是none
原因：没有data-original
#有data-original，src用data-original替代src = li.xpath('.//img/@data-original').extract_first()# 第一张图片和其他图片标签不一样，第一张图片的src是可以使用的 其他图片的地址是data-originalif src:src = srcelse:#用srcsrc = li.xpath('.//img/@src').extract_first()当当网：
items.py：
# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html
from urllib import responseimport scrapyclass DemoDdwItem(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()# pass#图片# src = // ul[ @ id = "component_59"] / li // img / @ srcsrc = scrapy.Field()#名字# alt = // ul[ @ id = "component_59"] / li // img / @ altname = scrapy.Field()#价格# price = //ul[@id = "component_59"]/li//p[@class = "price"]/span[1]/text()price = scrapy.Field()# src、name、price都有共同的li标签# 所有的selector对象，都可以再次调用xpath方法li_list = response.xpath('//ul[@id = "component_59"]/li')for li in li_list:#.extract()提取数据#有data-original，src用data-original替代src = li.xpath('.//img/@data-original').extract_first()# 第一张图片和其他图片标签不一样，第一张图片的src是可以使用的 其他图片的地址是data-originalif src:src = srcelse:#用srcsrc = li.xpath('.//img/@src').extract_first()alt = li.xpath('.//img/@alt').extract_first()price = li1.xpath('.//p[@class = "price"]/span[1]/text()').extract_first()print(src,name,price)