当前位置: 首页 > news >正文

python 异步读取文件,速度变快了吗

“python 异步读取文件,速度变快了吗”

当我问出这个问题,大部分人第一反应应该是python新人,不懂异步

首先说一下我对异步的理解:

  1. asyncio 是 gevent + greenlet 的组合
  2. gevent 底层使用了libev、selectors 模块,这两个模块是检测io操作的,selectors 调用了c函数select(),是io多路复用的,其中一个参数的fds,就是等待多个文件就绪,也就是进行多个io等待
  3. gevent用greenlet切换协程任务用的

贴一个select模块的地址:select --- 等待 I/O 完成 — Python 3.13.0rc2 文档

白话:多个协程任务的io等待是可以同时进行的,因此减少了程序运行的总时间

asyncio的教程大致两个示例

1.asyncio.sleep(delay)
2.requests.get(url)

没毛病,时间确实减少了,但是网上没看到文件读取的示例,最后说 你们看,用了异步方式读取文件,时间减少了。测试一下 :

case1:文件大小500kb,数量3个

case2:文件大小500kb,数量500个

case3:文件大小80Mb,数量3个

case4:文件大小80Mb,数量500个

经过我的测试,以上4个case情况一样,异步没有减少读取时间,那就用case3作为例子

异步方式读取文件

jmeter.log 文件大小80Mb,数量3个

async def read_file_async(file_path):print(f'start read {file_path}')async with aiofiles.open(file_path, 'r') as f:content = await f.read()print(f'read finish')async def main():files = ['jmeter.log','jmeter.log','jmeter.log']now = lambda : time.time()start = now()task_list = [read_file_async(file) for file in files]await asyncio.gather(*task_list)print(now()-start)asyncio.run(main())

运行结果

start read jmeter.log
start read jmeter.log
start read jmeter.log
read finish
read finish
read finish
0.25398802757263184

速度没有加快

接下来的问题,什么原因呢,我的答案是 我也不清楚

其实我试了asyncio、gevent、多线程、多进程、同步读取,比较下来,只有多进程会减少时间

不过不用担心,文件读取速度很快,一般情况不用考虑文件读取速度,真想提高,有人跟我说买更贵的ssd

http://www.lryc.cn/news/442841.html

相关文章:

  • 【Python】Anaconda插件:Sublime Text中的Python开发利器
  • Python酷库之旅-第三方库Pandas(123)
  • IEEE投稿 IEEE Geoscience and Remote Sensing Letters
  • 【华为杯】2024华为杯数模研赛D题 解题思路
  • Ubuntu20.04 搜索不到任何蓝牙设备
  • 【2024】MySQL账户管理
  • 轻量级流密码算法Trivium
  • MapReduce基本原理
  • 数据结构之栈(python)
  • 浅谈人工智能之基于HTTP方式调用本地QWen OPenAI接口(Java版)
  • 【python设计模式7】行为型模式2
  • 基于PHP的CRM管理系统源码/客户关系管理CRM系统源码/php源码/附安装教程
  • 【乐企】基础版接口代码实现
  • 题目--力扣----各位相加
  • git 如何基于某个分支rebase?
  • 倒序循环(一)
  • Shell篇之编写apache启动脚本
  • 头条|司法部公法局局长访谈:推进高水平公立鉴定机构建设!加快推进司法鉴定立法!
  • 高密原型验证系统解决方案(上篇)
  • 新产品,推出 MLX90372GVS 第三代 Triaxis® 位置传感器 IC,适用于汽车和工业系统(MLX90372GVS-ACE-308)
  • JAVA毕业设计178—基于Java+Springboot+vue的智能家具管理系统(源代码+数据库+万字论文)
  • 掌握 Python 异步上下文管理器
  • 当你问AI“有点烦”
  • 音视频入门基础:AAC专题(3)——AAC的ADTS格式简介
  • 高可用web集群面经:集群搭建、nginx+keepalived高可用、prometheus+zabbix监控、nfs+dns
  • vue3+ts+supermap iclient3d for cesium功能集合
  • 【案例71】配置https之后 IE打不开登陆页面 Uclient没有问题
  • ROS 设置dhcp option 6 多个地址格式
  • Python 二级考试
  • Linux笔记---简单指令