当前位置: 首页 > news >正文

Go语言用Colly库编写的图像爬虫程序

下面是一个使用Colly库编写的Go语言图像爬虫程序,该程序会爬取news.qq上的图片,并使用proxy_host:duoip和proxy_port:8000的爬虫IP服务器进行抓取。

在这里插入图片描述

package mainimport ("fmt""net/http""github.com/crawlab-collective/go-colly"
)func main() {// 创建一个Collector实例c := colly.NewCollector()// 设置爬虫IP服务器c.SetProxy("http", "duoip:8000")// 添加要爬取的URLc.OnRequest(func(r *colly.Request) {r.URL = "news.qq"})// 当抓取到图片时,将其下载到本地c.OnHTML("img", func(e *colly.HTMLElement) {imgURL := e	attr := e.Attr("src")fmt.Println(imgURL)c.Image(imgURL)})// 开始抓取c.Start()
}

这个程序首先创建一个colly.Collector实例,并设置爬虫IP服务器为duoip:8000。然后,它添加要爬取的URL为news.qq

当程序抓取到网页上的图片时,它会打印出图片的URL,并使用c.Image()方法将其下载到本地。

最后,程序使用c.Start()方法开始抓取。

http://www.lryc.cn/news/220655.html

相关文章:

  • 14.2 并发与竞争实验
  • 【MediaTek】T750实现Host 网络和Guest 网络隔离以及各个连接终端间隔离功能
  • 数字滤波器之高通滤波器设计
  • 【leetcode】58.最后一个单词的长度
  • 用Java(C语言也可以看)实现冒泡排序和折半查找(详细过程图)+逆序数组
  • antd本地上传excel文件并读取文件的数据转为json
  • BI数据可视化:不要重复做报表,只需更新数据
  • fiddler抓包拦截请求转发到其他地址
  • 【Shell编程】| if 判断
  • Java手动引入Maven依赖的Jar包
  • 计算机毕设 基于大数据的社交平台数据爬虫舆情分析可视化系统
  • conda取消自动进入base环境
  • 【文生图】Stable Diffusion XL 1.0模型Full Fine-tuning指南(U-Net全参微调)
  • STM32笔记—DMA
  • 机器学习概论
  • 卡尔曼家族从零解剖-(04)贝叶斯滤波→细节讨论,逻辑梳理,批量优化
  • 小菜React
  • 新手用mac电脑,对文件的疑问和gpt回应
  • LeetCode|动态规划|392. 判断子序列、115. 不同的子序列、 583. 两个字符串的删除操作
  • vscode 阅读 android以及kernel 源码
  • Intel oneAPI笔记(3)--jupyter官方文档(SYCL Program Structure)学习笔记
  • verilog——移位寄存器
  • C++11 多线程学习笔记
  • nn.embedding函数详解(pytorch)
  • gitee.com[0: xxx.xx.xxx.xx]: errno=Unknown error
  • bug: https://aip.baidubce.com/oauth/2.0/token报错blocked by CORS policy
  • 简单工厂VS工厂方法
  • 使用VSCODE链接Anaconda
  • Mysql数据库 9.SQL语言 查询语句 连接查询、子查询
  • 二叉树按二叉链表形式存储,试编写一个判别给定二叉树是否是完全二叉树的算法