当前位置: 首页 > news >正文

04_两种常见的网页反爬措施及应对方法

一、封禁IP地址反爬

1、应对思路:

  • 理解这种反爬方法的含义:当我们用自己电脑的ip地址短时间,高频率访问某个具有此类反爬设置的网站,这种网站就会把我们的ip地址封禁,一般都是封24小时或者其他时间。
  • 解决方案:通过代理ip访问,这种方式只不过就是让你有了重新访问网页的ip地址,但是依然没法避免高频访问之后的封禁,同时这种ip都是有时效性的,当然使用也是付费的,不过学习使用的话,注册之后,送的次数或者积分足够我们了解整个代理ip的使用方法了。

2、(插入知识)如何使用代理ip:

  • 通过我们自己电脑的ip访问网页属于直接访问,而通过代理ip访问,就属于简介访问了。
  • 第一步注册:其实有很多这种代理ip的公司,我这边使用的是 芝麻代理
  • 获取代理ip的接口

在这里插入图片描述
点击生成api链接:
在这里插入图片描述

  • 示例代码:
http://www.lryc.cn/news/92417.html

相关文章:

  • 安装docker环境,并制作docker镜像
  • MySQL数据库 – node使用
  • JAVA使用HTTP代码示例模板
  • elementui tree 支持虚拟滚动和treeLine (下)
  • 富人父母都教给孩子什么样的财富思维?
  • 国内比较火的报表工具测评——Smartbi电子表格软件和Finereport
  • 变电所运维云平台在电力系统中的应用
  • 【51单片机】AT24C20数据帧(I2C总线)
  • Python内置函数isinstance()函数介绍
  • QxRibbon 知:搭建 CMake 构建环境
  • Spring框架-面试题核心概念
  • Tomcat部署及优化
  • C++/C按照时间命名保存bin文件
  • 面向多告警源,如何构建统一告警管理体系?
  • python 面向对象 -- 简单理解版
  • SpringMVC 程序开发
  • 使用单片机遇到的几个问题及解决方案1
  • vue项目中el-upload 组件添加token的方法
  • 独立按键检测短按、长按,松手后响应操作
  • BurpSuite2023测试越权漏洞
  • 申请国家标准项目管理专业人员能力评级(CSPM)报名条件有哪些?
  • 代码随想录算法训练营第五十二天|300.最长递增子序列|674. 最长连续递增序列|718. 最长重复子数组
  • 完全卸载mysql教程
  • 4G开发板-安卓手机开发套件-MTK主板开发板定制
  • 人工智能十大新星揭晓,华人学者占90%
  • ROS学习——通信机制(话题通信①—发布方实现)
  • 【运筹优化】最短路算法之SPFA算法 + Java代码实现
  • linuxOPS基础_linux权限管理
  • linux安装homeassistant(智能设备远程控制开源框架)
  • TensorRT Triton Inference Server: 版本 error魔术标记不匹配 , NGC使用