爬虫工作量由小到大的思维转变---＜第四十五章 Scrapyd 关于gerapy遇到问题＞
前言:
本章主要是解决一些gerapy遇到的问题,会持续更新这篇!
正文:
问题1:
1400 - build.py - gerapy.server.core.build - 78 - build - error occurred (1, ['E:\\项目文件名\\venv\\Scripts\\python.exe', 'setup.py', 'clean', '-a', 'bdist_uberegg', '-d', 'C:\\Users\\Administrator\\AppData\\Local\\Temp\\gerapy-2ngnjwab'])
INFO - 2024-02-04 15:42:47,928 - process: 1400 - build.py - gerapy.server.core.build - 24 - build - successfully build project jihai to egg file None------就是爬虫项目无法正常打包!
分析问题:
1.一开始以为是python版本的问题,然而不是的! 直接去缓存里面找错误日志:
2.调整思路
检查 setuptools 的版本
有时候问题可能与特定版本的 setuptools 有关。
1.检查依赖包版本号:
pip list
2.升级setuptools试试看:
pip install -U setuptools
3.搞定!
问题2:
描述:项目部署后,运行爬虫启动不起来;报错:
问题分析:
尽管使用的可能是 Twisted（一个异步网络框架，Scrapy 的依赖之一）和 Scrapyd，但在 Windows 系统上运行时，Twisted 需要 pywin32 来正确处理进程的启动。
解决:
环境下安装
pip install pywin32
