当前位置: 首页 > news >正文

Python多进程同步——文件锁

多个进程共享同一份资源(共享内存、文件等)时,会涉及到资源竞争问题。为了解决这种问题,一般采取的措施是进程在访问资源前加锁保护,避免多个进程同时读写。本文介绍的Python文件锁可以用来解决多进程的同步问题。

目录

  • 1 Linux下的Python文件锁
  • 2 Windows下的Python文件锁
  • 3 总结
    • 3.1 filelock的使用场景
      • 进程一
      • 进程二


1 Linux下的Python文件锁

Linux下使用文件锁用到了fcntl模块,该模块是标准库,用来对文件描述符执行文件控制和I/O控制。
fcntl的文件锁用到了fcntl.flock(fd, operation)方法,它的官方说明如下:

对文件描述符fd执行锁定操作。
如果flock()失败,将引发OSError异常。

参数含义:
fd:要锁定的文件的描述符。
operation:操作类型,有以下三种。

类型描述
LOCK_UN解锁
LOCK_SH获取共享锁,所有进程都只能读,不能写
LOCK_EX获取独占锁,只有当前进程可以读写
LOCK_NB非阻塞,加锁失败或成功都立即返回,如果不加这个参数,函数会一直阻塞,直到拿到锁。

用法:

def tryLock(f) :try :fcntl.flock(f, fcntl.LOCK_EX | fcntl.LOCK_NB)return Trueexcept Exception as e:return Falsedef tryUnLock(f) :try :fcntl.flock(f, fcntl.LOCK_UN)return Trueexcept Exception as e:return Falsef = open('file.txt', 'w+')
if tryLock(f) == True:f.write('1234')tryUnLock(f)

flock函数在执行失败时,会抛出异常,所以要用try-except来捕捉,避免flock的时候程序退出。
fcntl模块支持在独占模式下写文件。

2 Windows下的Python文件锁

Windows版本的Python没有提供fcntl模块,它使用文件锁时使用的是filelock模块,需要自己安装。
打开命令行安装。

pip install filelock

虽然没找到filelock的官方文档,但可以通过dir函数来看它有些什么方法。

import filelock 
print(dir(filelock))

输出。

['AcquireReturnProxy', 'BaseFileLock', 'FileLock', 'SoftFileLock', 
'Timeout', 'UnixFileLock', 'WindowsFileLock', '_FileLock', '__all__', 
'__annotations__', '__builtins__', '__cached__', '__doc__', '__file__',
'__loader__', '__name__', '__package__', '__path__', '__spec__',
'__version__', '_api', '_error', '_soft', '_unix', '_util', '_windows',
'annotations', 'has_fcntl', 'sys', 'version', 'warnings']

Python里形如__xxx__的一般都是私有成员。

没有直接提供方法,但从中能看到一个FileLock类和__path__路径,打印一下。

import filelock 
print(dir(filelock.FileLock))
print(filelock.__path__)

输出。

['__abstractmethods__', '__call__', '__class__', '__del__', 
'__delattr__', '__dict__', '__dir__', '__doc__', '__enter__', 
'__eq__', '__exit__', '__format__', '__ge__', '__getattribute__', 
'__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', 
'__lt__', '__module__', '__ne__', '__new__', '__reduce__', 
'__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__slots__', 
'__str__', '__subclasshook__', '__weakref__', '_abc_impl', '_acquire', 
'_recreate_cm', '_release', 'acquire', 'is_locked', 'lock_file', 'release', 'timeout']['D:\\xxx\\xxx\\xxx\\site-packages\\filelock']

FileLock提供了acquire、is_locked、release、timeout。按照名称,acquire和release是上锁和解锁的方法,timeout是上锁的超时限制。
进入__path__所在目录,用vscode的全局搜索分别找到FileLock、acquire、release、timeout。
在这里插入图片描述
用这种方法得到以下使用例程。

from filelock import FileLock
import timedef tryLock(locker, timeout = 3):try:locker.acquire(timeout)return Trueexcept Exception as e:return Falsedef tryUnLock(locker):try:locker.release()return Trueexcept Exception as e:return Falselocker = FileLock('file.txt')
if tryLock(locker, 0.1) == True:time.sleep(5)tryUnLock(locker)

filelock同样是通过抛出异常来表示上锁失败。
filelock模块在上锁状态下不允许写文件。
filelock支持在Linux环境下使用。

3 总结

在Linux环境下可以用fcntl或者filelock模块来实现文件锁功能,而在Windows环境下只能用filelock。
fcntl和filelock上锁的区别:

filelockfcntl
可以设置阻塞超时时长可以设置阻塞和非阻塞,没有超时机制
上锁后不能访问文件在LOCK_EX 独占锁模式下,当前进程可以读写文件
需要自行安装Python自带的标准库

3.1 filelock的使用场景

filelock在上锁之后不能访问文件,那么它有什么用呢?
在应用中可以把filelock上锁的文件作为进程间同步的标志物,比如以下例子:
tryLock和tryUnLock使用的是第二节例程的。

进程一

locker = FileLock('lock_file')
while True:if tryLock(locker) == True:## operate1tryUnLock(locker)

进程二

locker = FileLock('lock_file')
while True:if tryLock(locker) == True:## operate2tryUnLock(locker)

以上两个进程同时运行,可以确保操作互不干扰。

http://www.lryc.cn/news/7295.html

相关文章:

  • 实现 element-plus 表格多选时按 shift 进行连选的功能
  • 华为OD机试真题JAVA实现【考古学家】真题+解题思路+代码(20222023)
  • Spring3之基于Aspect实现AOP
  • buctoj-寒假集训进阶训练赛(二十二)
  • 华为OD机试真题JAVA实现【静态扫描最优成本】真题+解题思路+代码(20222023)
  • 汽车装配工厂立库物料运送线PLC无线应用
  • Python雪花代码
  • Numpy基础与实例——人工智能基础
  • MQTT的工作原理
  • iOS开发:UINavigationController自定义返回按钮,系统导航支持侧滑返回
  • 【Kafka进阶】-- unclean.leader.election.enable参数的内涵
  • 基于redis实现分布式锁
  • C#开发的OpenRA动态加载插件DLL里的类实现
  • 网站代理是什么?有什么需要注意的?
  • 动态库和静态库的区别
  • C/C++路径去除前缀
  • Vue2之Vue-cli应用及组件基础认识
  • C 学习笔记 —— 声明、定义、初始化
  • 机械狗控制算法
  • 向量与矩阵 导数和偏导数 特征值与特征向量 概率分布 期望方差 相关系数
  • 记录--前端实现登录拼图验证
  • 【Go语言基础】Go语言中的map集合详细使用(附带源码)
  • C++11 lambda
  • 【新】华为OD机试 - 分苹果(Python)
  • Python 模块
  • gdb调试功能从零到会(Linux详解)
  • 【C语言学习笔记】:数组、指针相关面试题
  • go语言环境配置 项目启动
  • Springboot 使用插件 自动生成Mock单元测试 Squaretest
  • 「JVM 执行引擎」栈架构的字节码的解释执行引擎