当前位置: 首页 > news >正文

搜狗爬虫(www.sogou.com)IP及UA,真实采集数据

一、数据来源:

 

1、这批搜狗爬虫(www.sogou.com)IP来源于尚贤达猎头网站采集数据;

 

19c9e85a1d4d48ec8f80c8bdf5db010a.png

 

2、数据采集时间段:2023年10月-2024年7月;

 

3、判断标准:主要根据用户代理是否包含“www.sogou.com”和IP核实。

 

二、搜狗爬虫(www.sogou.com)主要有4个用户代理

1、Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

2、Sogou+web+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

3、Sogou+Push+Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07??)

4、Sogou+web+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07??)

5、Sogou+Pic+Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

 

三、搜狗爬虫(www.sogou.com)IP地址:

 

主要有以下四个网段:

 

1、111.202.101.0/24

2、112.86.225.0/24

3、121.229.156.0/24

4、123.125.109.0/24

5、123.126.50.0/24

6、123.126.68.0/24

7、123.183.224.0/24

8、180.102.110.0/24

9、202.179.154.0/24

10、223.109.252.0/24

11、223.109.255.0/24

12、49.7.20.0/24

13、49.7.21.0/24

14、58.250.125.0/24

15、61.135.159.0/24

四、搜狗爬虫(www.sogou.com)的一些特点:

对网站没什么危害,抓取网站频繁,对资源消耗较大,可为网站带来的客户量次于百度和360.

 

http://www.lryc.cn/news/416230.html

相关文章:

  • 北京青蓝智慧科技ITSS服务经理:长安链ChainBridge“链桥”问世 加速国家级区块链网络互联互通
  • 音视频入门基础:WAV专题(5)——FFmpeg源码中解码WAV Header的实现
  • 爬虫:csv存储:写入和读取
  • Opencv-绘制几何图形
  • ElasticSearch安装与集群部署
  • 盘点12款企业常用源代码加密软件,源代码防泄密很重要!
  • 文件上传和下载
  • 机械学习—零基础学习日志(高数22——泰勒公式理解深化)
  • Java | Leetcode Java题解之第318题最大单词长度乘积
  • 科普文:JUC系列之多线程门闩同步器Condition的使用和源码解读
  • Stable Diffusion绘画 | 图生图-基础使用介绍—提示词反推
  • 正点原子imx6ull-mini-Linux驱动之Linux SPI 驱动实验(22)
  • TypeScript 函数
  • C++ : namespace,输入与输出,函数重载,缺省参数
  • 目标检测 | yolov1 原理和介绍
  • excel中有些以文本格式存储的数值如何批量转换为数字
  • 原神升级计划数据表:4个倒计时可以修改提示信息和时间,可以点击等级、命座、天赋、备注进行修改。
  • YoloV10 论文翻译(Real-Time End-to-End Object Detection)
  • 第R1周:RNN-心脏病预测
  • Golang | Leetcode Golang题解之第321题拼接最大数
  • 远程连接本地虚拟机失败问题汇总
  • WebRTC 初探
  • Python:read,readline和readlines的区别
  • 重生之我学编程
  • 如何将PostgreSQL的数据实时迁移到SelectDB?
  • 关于c语言的const 指针
  • 万能门店小程序开发平台功能源码系统 带完整的安装代码包以及安装搭建教程
  • C#初级——字典Dictionary
  • git版本控制的底层实现
  • 深入解析数据处理的技术与实践