当前位置: 首页 > news >正文

python 爬虫的开发环境配置

1、新建一个python项目

2、在控制台中分别安装下面三个包

pip install requests

pip install beautifulsoup4

pip install selenium/

如果安装时报以下错误:

raise ReadTimeoutError(self._pool, None, "Read timed out.")
pip._vendor.urllib3.exceptions.ReadTimeoutError:

HTTPSConnectionPool(host='files.pythonhosted.org', port=443):
Read timed out.

可以多试几次,或者运行以下命令,延长超时时间

# 1000 是超时时间

pip --default-timeout=1000 install -U selenium

我在安装 selenium 时以上方法都不行,最后百度了一下,运行以下命令一下子就可以了!

pip --default-timeout=100 install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple

3、检查是否安装完成

在项目下建一个 test 包。之后在 test 包下新建一个 test_env.py 文件,写入如下代码然后运行,如果没有报错,则证明上述三个包安装成功

import requests
from bs4 import BeautifulSoup
import seleniumprint('ok')

简单的爬虫架构

http://www.lryc.cn/news/165059.html

相关文章:

  • 技术架构图是什么?和业务架构图的区别是什么?
  • 数据增强
  • 【Unity】2D 对话模块的实现
  • laravel安装初步使用学习 composer安装
  • 【VS插件】VS code上的Remote - SSH
  • TensorFlow 02(张量)
  • 513. 找树左下角的值
  • 量化:基于支持向量机的择时策略
  • 成功解决Selenium 中116版本的chromedriver找不到问题
  • PYQT常用组件--方法汇总
  • Linux系统编程(一):文件 I/O
  • OSM+three.js打造3D城市
  • 02JVM_垃圾回收GC
  • ARM Linux DIY(八)USB 调试
  • 编程小白的自学笔记十四(python办公自动化创建、复制、移动文件和文件夹)
  • MySQL使用Xtrabackup备份到AWS存储桶
  • (高阶)Redis 7 第11讲 BIGKEY 优化篇
  • 一阶差分和二阶差分概念及其举例
  • 使用自定义注解和SpringAOP捕获Service层异常,并处理自定义异常
  • Kotlin(六) 类
  • 蓝桥杯官网练习题(灌溉)
  • 数据结构:树的概念和结构
  • 【GIS】栅格转面报错:ERROR 000864输入栅格: 输入不在定义的属性域内。 ERROR 000863: 无效的 GP 数据类型
  • 32 WEB漏洞-文件操作之文件下载读取全解
  • Linux之history、tab、alias、命令执行顺序、管道符以及exit
  • vcomp100.dll丢失怎样修复?5个靠谱的修复方法分享
  • Vue3自定义指令(directive)
  • 大数据课程L9——网站流量项目的实时业务处理代码
  • 【2023最新B站评论爬虫】用python爬取上千条哔哩哔哩评论
  • mysql设置max_sp_recursion_depth,sql_mode