当前位置: 首页 > news >正文

Python爬虫:urllib_post请求百度翻译(06)

#post的请求
import urllib.request
import urllib.parse
import jsonurl = 'https://fanyi.baidu.com/sug'headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36'}data = {'kw' : 'spider'
}#post请求的参数  必须要进行编码data = urllib.parse.urlencode(data).encode('utf-8')#post的请求的参数 是不会拼接在url的后面 而是需要放在请求对象的定制的参数中
#post请求的参数 必须要进行编码
request = urllib.request.Request(url=url, data=data, headers=headers)print(request)#模拟浏览去像服务器发送请求response = urllib.request.urlopen(request)#获取相应的数据content = response.read().decode('utf-8')#字符串 --> json对象obj = json.loads(content)print(obj)
# post请求方式的参数, 必须要编码  data = urllib.parse.urlencode(data).encode('utf-8')
#编码之后,必须调用encode方法
# 参数是放在请求对象定制的方法中  request = urllib.request.Request(url=url, data=data, headers=headers)

这里就有一点要注意的是,要是你爬取下来的网站,你需要在post的请求数据,后面加上encode('utf-8'),防止爬取下来的数据解码,但是要是如果你的网站已经是unicode的格式了,那就不需要在encode('utf-8')这个格式了

http://www.lryc.cn/news/465845.html

相关文章:

  • GPIO输入和输出
  • 时序动作定位 | DDG-Net:弱监督时间动作定位的判别驱动图网络(ICCV 2023)
  • mapbox没有token/token失效,地图闪烁后变空白,报错Error: A valid Mapbox access token is required to use Mapbox GL JS.
  • C#运动控制
  • 监控易监测对象及指标之:Kafka中间件JMX监控指标解读
  • PDF文件为什么不能编辑是?是啥原因导致的,有何解决方法
  • 海螺AI在人类表情刻画中的应用:技术与创新
  • 【Python实战】几种打包python代码的方法!!!
  • (已开源-ECCV2024)BEV检测模型-LabelDistill,使用真值进行知识蒸馏
  • web前端第一次作业
  • CMake 开发者手册
  • Redis入门:在Java程序中高效使用Redis
  • 活着就好20241021
  • 阿里字节技术管理岗位面试要求
  • MySQL !=NULL 与IS NOT NULL
  • [Unity Demo]从零开始制作空洞骑士Hollow Knight第十六集(上篇):制作更多地图,更多敌人,更多可交互对象
  • Soap-UI传参
  • Centos7搭建minio对象存储服务器
  • 递归算法之汉诺塔问题(Tower of Hanoi)详细解读
  • 软件设计模式------工厂方法模式
  • 演示:基于WPF的DrawingVisual开发的高刷新率示波器
  • git入门操作(2)
  • 【AI学习】扩散模型学习总结PPT
  • 【Python】相等性比较运算(==, is)的学习笔记
  • 智慧公厕厂家:智慧公厕建设推动城市公厕智能化变革
  • 大一计算机课程之线性代数
  • 什么是运动控制器?运动控制器的特点
  • [AWS]RDS数据库版本升级
  • (Golang)初识Go语言!!为什么选择Go?如何配置Go的开发环境?VS Code如何配置Go环境?
  • 【人工智能-初级】第15章 TensorFlow 和 PyTorch 的入门:深度学习的利器