当前位置: 首页 > news >正文

爬虫入门之爬虫原理以及请求响应

爬虫入门之爬虫原理以及请求响应

爬虫需要用到的库, 叫requests.

在导入requests库之前, 需要安装它, 打开cmd:
输入pip install 库名

pip install requests

后面出现successful或requirement already就说明已经下载成功了!!!

下载出现的问题:
1.有报错或者是下载慢
修改镜像(从国内的仓库下载)
一、临时修改:
pip install 库名 -i 国内仓库地址
pip install requests -i https://mirrors.aliyun.com/pypi/simple/
二、永久修改
pip config set global.index-url http://mirrors.aliyun.com/pypi/simple/
pip install requests

导入第三方库

下载好requests第三方库之后, 我们需要导入第三方库

import requests

get请求(获取百度网站的响应):

url = 'http://www.baidu.com'
res = requests.get(url)
# 获取响应输出的时候, 响应数据中有乱码
# 解决办法: 在输出内容之前, 设置响应编码
# 响应对象.encoding = '检查内容中charset的值'
res.encoding = "utf-8"
print(res.text)
# 关闭请求, 不关闭会导致资源浪费
res.close()

控制台输出:

<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下,你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action
http://www.lryc.cn/news/449645.html

相关文章:

  • CTF ciscn_2019_web_northern_china_day1_web1复现
  • docker命令汇总
  • 云计算在现代企业中的应用与优势
  • Android平台GB28181实时回传流程和技术实现
  • Text-to-SQL方法研究
  • 【Router】路由功能之MAC地址过滤(MAC Filter)功能介绍及实现
  • Flink 本地 idea 调试开启 WebUI
  • 如何识别IP地址是独享的还是共享的
  • X-Spreadsheet使用教程:打造你的Web端电子表格应用
  • 订餐点餐|订餐系统基于java的订餐点餐系统小程序设计与实现(源码+数据库+文档)
  • Tkinter制作登录界面以及登陆后页面切换(一)
  • Colorful/七彩虹将星X17 AT 23 英特尔13代处理器 Win11原厂OEM系统 带COLORFUL一键还原
  • 《Ubuntu20.04环境下的ROS进阶学习8》
  • ubuntu24.04 怎么调整swap分区的大小,调整为16G
  • 【论文阅读】视觉里程计攻击
  • 解决 Git LFS 切换分支失败问题
  • BaoStock 的安装
  • 聚势启新 智向未来 | 重庆华阳通用科技有限公司揭牌成立
  • 【数据结构与算法】Z算法(扩展KMP)(C++和Python写法)
  • 免费语音转文字软件全览:开启高效记录新时代
  • PHP“===”的意义
  • Tomcat架构解析
  • 如何在 Kubernetes 上部署和配置开源数据集成平台 Airbyte?
  • 信息技术与商业变革:机遇与挑战
  • JavaWeb之过滤器
  • 学习 笔记
  • Flask-1
  • pve 直通硬盘
  • NLP_情感分类_机器学习(w2v)方案
  • 240929-CGAN条件生成对抗网络