当前位置: 首页 > news >正文

python并行操作(基于concurrent.futures.ThreadPoolExecutor)

文章目录

  • 一、明确自身cpu可并行的核数
  • 二、根据所有任务计算在各个核上平均跑多少任务
  • 三、最后把任务划分在不同的核上跑
  • 四、拿来主义

此为利用cpu并行计算的能力,充分利用cpu在循环时并行计算。其实也是受C++并行操作的影响,如果需要C++版,可以移步C++thread并行笔记

一、明确自身cpu可并行的核数

max_workers = os.cpu_count()

二、根据所有任务计算在各个核上平均跑多少任务

use_cpu_pre_task = all_task_size // max_workers

三、最后把任务划分在不同的核上跑

def process_function(range_rask, arg1, arg2):for i in range(ranges.start, ranges.stop):XXXwith concurrent.futures.ThreadPoolExecutor(max_workers=max_workers) as executor:for i in range(max_workers):start_idx = i * use_cpu_pre_taskend_idx = all_task_size if i == max_workers - 1 else (i + 1) * use_cpu_pre_taskrange_task = range(start_idx, end_idx)executor.submit(process_function, range_task, arg1, arg2)

四、拿来主义

def process_function(range_rask, arg1, arg2):for i in range(ranges.start, ranges.stop):XXXif __name__ == "__main__":max_workers = os.cpu_count()use_cpu_pre_task = all_task_size // max_workerswith concurrent.futures.ThreadPoolExecutor(max_workers=max_workers) as executor:for i in range(max_workers):start_idx = i * use_cpu_pre_taskend_idx = all_task_size if i == max_workers - 1 else (i + 1) * use_cpu_pre_taskrange_task = range(start_idx, end_idx)executor.submit(process_function, range_task, arg1, arg2)

参考链接:concurrent.futures — 启动并行任务

http://www.lryc.cn/news/139037.html

相关文章:

  • Leetcode.73矩阵置零
  • jdk 04 stream的collect方法
  • 介绍REST API
  • 【leetcode 力扣刷题】反转链表+递归求解
  • 一文读懂Redis配置,史上真香配置
  • maven打出jar中动态替换占位符
  • 【Git游戏】通过游戏重新学习Git
  • 如何通过以太坊JSON-RPC方式获取ERC-20代币的信息?
  • 线性代数的学习和整理4: 求逆矩阵的多种方法汇总
  • 【C#学习笔记】匿名函数和lambda表达式
  • 百度Apollo:引领自动驾驶技术创新的先锋
  • Redis 重写 AOF 日志期间,主进程可以正常处理命令吗?
  • java实现生成RSA公私钥、SHA256withRSA加密以及验证工具类
  • lab7 thread
  • 接口自动化测试:mock server之Moco工具
  • 用python从零开始做一个最简单的小说爬虫带GUI界面(2/3)
  • CEF 缓存处理:清理缓存、禁用缓存、忽略缓存
  • Android 系统桌面 App —— Launcher 开发(1)
  • 一个程序员的工作日记--每天就干两件事,一年后让别人刮目相看
  • Linux虚拟机安装(Ubuntu 20)
  • 1.6 服务器处理客户端请求
  • 火山引擎发布自研视频编解码芯片 压缩效率提升30%
  • 从头开始:将新项目上传至Git仓库的简易指南
  • 数据库的增量备份与差异备份
  • 视频云存储/安防监控视频智能分析网关V3:占道经营功能详解
  • 卡尔曼滤波学习笔记
  • NLP预训练模型超大规模探索
  • OpenCV实战系列总目录(更新中)
  • 《华为认证》6to4自动隧道
  • Java课题笔记~Element UI