当前位置: 首页 > news >正文

爬虫 - 爬取王者荣耀所有皮肤图片

结果展示

在这里插入图片描述

安装

pip install requests logger

代码

import json
import os
import re
from concurrent.futures import ThreadPoolExecutorimport requests
from loguru import loggerdef parse_url(url, b=False):try:headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36", }res = requests.get(url, headers=headers)res.encoding = "GBK"assert res.status_code == 200, "Code not is 200"return res.content if b else res.textexcept:passdef download_img(img_url, hero_name, hero_img, num):b_data = parse_url(img_url, b=True)if b_data is None:returnwith open(hero_img, "wb") as f:f.write(b_data)logger.success(f"{hero_name}{num}张皮肤图片 下载完毕")def process_hero(id, name):logger.info(f"{id}\t{name}\t处理中...")hero_dir = f"./英雄皮肤/{name}"if not os.path.exists(hero_dir):os.makedirs(hero_dir, exist_ok=True)with ThreadPoolExecutor(max_workers=20) as pool:for num in range(1, 20):hero_img = f"{hero_dir}/皮肤_{num}.png"if os.path.exists(hero_img):logger.warning(f"{hero_img}已下载过,跳过")continueimg_url = f"https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{id}/{id}-bigskin-{num}.jpg"pool.submit(download_img, img_url, name, hero_img, num)def start():api_url = "https://game.gtimg.cn/images/yxzj/web201706/js/heroid.js"text = parse_url(api_url)search_result = re.search('var module_exports = ({.*?})', text, re.S)hero_info_str = search_result.group(1)hero_info_str = re.sub("'", '"', hero_info_str)hero_info_dict = json.loads(hero_info_str)with ThreadPoolExecutor(max_workers=10) as pool:for hero in hero_info_dict:name, id = hero_info_dict[hero], heropool.submit(process_hero, id, name)if __name__ == '__main__':start()
http://www.lryc.cn/news/511940.html

相关文章:

  • 【畅购商城】购物车模块之查看购物车
  • Spring Boot 学习笔记
  • 快速打造智能应用:从设计到上线的全流程指南
  • Java-将一个大列表均分成多个小列表,每个小列表包含10个元素
  • tcp_rcv_synsent_state_process函数
  • 关于无线AP信道调整的优化(锐捷)
  • C#编写的金鱼趣味小应用 - 开源研究系列文章
  • 计算机网络|数据流向剖析与分层模型详解
  • 某些iphone手机录音获取流stream延迟问题 以及 录音一次第二次不录音问题
  • gazebo_world 基本围墙。
  • Ubuntu 上高效实现 Texlive 安装和管理
  • LeetCOde914 卡牌分组
  • MicroDiffusion——采用新的掩码方法和改进的 Transformer 架构,实现了低预算的扩散模型
  • QWT 之 QwtPlotDirectPainter直接绘制
  • 埃斯顿机器人程序案例多个点位使用变量
  • 【数据分析】贝叶斯定理
  • 学AI编程的Prompt工程,marscode
  • python中的与时间相关的模块
  • 【Python运维】构建基于Python的自动化运维平台:用Flask和Celery
  • Qt 12.28 day3
  • Java爬虫获取速卖通(AliExpress)商品详情
  • Learning Multi-Scale Photo Exposure Correction
  • 【Rust自学】7.4. use关键字 Pt.1:use的使用与as关键字
  • C++ 设计模式:门面模式(Facade Pattern)
  • 从0到100:基于Java的大学选修课选课小程序开发笔记(上)
  • 【算法题解】B. President‘s Office - Python实现
  • 【Spring Boot 】详解
  • Redisson 框架详解
  • 正确导入MapStruct并避免与Lombok编译冲突的深入分析
  • K8S 黑魔法之如何从 Pod 拿到节点的命令行