当前位置: 首页 > news >正文

【网络安全带你练爬虫-100练】第16练:使用session发送请求

目录

一、目标1:使用seesion进去请求

二、网络安全O


一、目标1:使用seesion进去请求

(1)应用:

通过创建会话(session)对象来请求并爬取返回的数据包

情景:需要登录才能爬取的网站

作用:会话对象可以在多个请求之间保持登录状态


(2)步骤:

第一步:创建session对象

第二步:模拟登录,获取到session

第三步:携带cookie,使用session进行爬取

第四步:数据包的处理


(3)代码部分:

import requestsdata = {}
headers1={}#part1:
# 创建一个session对象
session = requests.Session()#part2:
# 发送POST请求(登录,数据包我就不带了,简写一下)
response = session.post(login_url,json=data)#part3:
#需要携带cookie
headers2={}# 发送GET请求进行爬取
response = session.get('https://baidu.com')
# 设置响应的编码方式为UTF-8
response.encoding = 'utf-8'
# 获取返回的数据包#part4:
data = response.text
print(data)
# 处理数据包
# ...# 关闭session
session.close()



二、网络安全O

README.md · 书半生/网络安全知识体系-实战中心 - 码云 - 开源中国 (gitee.com)https://gitee.com/shubansheng/Treasure_knowledge/blob/master/README.md

GitHub - BLACKxZONE/Treasure_knowledgehttps://github.com/BLACKxZONE/Treasure_knowledge

http://www.lryc.cn/news/106934.html

相关文章:

  • 论文代码学习—HiFi-GAN(3)——模型损失函数loss解析
  • CLion中avcodec_receive_frame()问题
  • Linux安装操作(Mac版本)
  • Linux(四)--包软件管理器与Linux上软件的下载示例
  • HTML <param> 标签
  • 基于ARM+FPGA (STM32+ Cyclone 4)的滚动轴承状态监测系统
  • 二、数据结构10:堆 模板题+算法模板(堆排序,模拟堆)
  • W6100-EVB-PICO做DNS Client进行域名解析
  • 【linux-网络】4层转发方法-iptable以及nginx
  • vue复制文案,复制图片,黏贴图片
  • Web应急思路
  • shell脚本清理redis模糊匹配的多个key,并计算释放内存大小
  • python-MySQL数据库建表语句(需要连接数据库)转存为Excel文档-工作小记
  • iOS Block介绍
  • 小程序安全性加固:如何保护用户数据和防止恶意攻击
  • Ubuntu的tar命令详解
  • 使用elementplus实现文本框的粘贴复制
  • 计算机毕设 深度学习卫星遥感图像检测与识别 -opencv python 目标检测
  • devops(前端)
  • SpringBoot中MongoDB的使用
  • Spring学习之GOF的工厂模式
  • 整数转字符串
  • 【ARM Coresight 系列文章 2.4 - Coresight 寄存器:DEVARCH,DEVID, DEVTYPE】
  • Could not locate supplied template: react+ts搭建
  • fatal error C1128: 节数超过对象文件格式限制: 请使用 /bigobj 进行编译
  • xml文件转成yolo中的txt文件
  • [Linux]手把手教你制作进度条小程序
  • centos 重启 nginx 的三种方式
  • 跨境新手必看,海外推广的7个方式
  • SpringBoot之logback-spring.xml详细配置