当前位置：首页 > news >正文

文件异步多备常用方案

news 2025/7/23 21:42:20

业务需求上经常存在需要对同一个文件进行双上传，上传到不同云存储桶，以防出现某一个云厂商因各种意外导致自身服务出现不可用的情况，当然，还有其他措施可以避免，现在只针对通过程序业务代码而双写存储的这个场景。

业务场景

文件A上传到oss a，同时也需要将这个文件A异步上传到oss b，而文件A在主协程会被remove。

下面有份伪代码去描述这个场景

func ABC() {file, err := os.Open(path)if err != nil {return}defer func() {file.Close()os.Remove(path)}()...// 上传到oss aupload2OssA(file)...// TODO 异步上传到oss b}

我们可以看到主routine打开了一个文件，并且上传到oss a，程序结束后会close文件且remove文件了，现在希望对这个文件异步上传到oss b

方式一

将文件内容读取出来上传

func ABC() {file, err := os.Open(path)if err != nil {return}defer func() {file.Close()os.Remove(path)}()...// 上传到oss aupload2OssA(file)...// TODO 异步上传到oss bmethod1(file)
}func method1(file *os.File) {if _, err := file.Seek(0, 0); err != nil {return}b, err := ioutil.ReadAll(file)if err != nil {return}go upload2OssB(b)
}

在主routine将文件偏移量重置，将文件全都读取到内存了，异步routine上传到oss b

优点：实现简单
缺点：占用资源多
总结：虽然实现简单，但使内存消耗增加

方式二

新创建文件，用新文件句柄去上传

func ABC() {file, err := os.Open(path)if err != nil {return}defer func() {file.Close()os.Remove(path)}()...// 上传到oss aupload2OssA(file)...// TODO 异步上传到oss bmethod2(file)
}func method2(file *os.File) {if _, err := file.Seek(0, 0); err != nil {return}tmpF, err := os.CreateTemp(os.TempDir(), "")if err != nil {return}defer func() {tmpF.Close()os.Remove(tmpF.Name())}()if _, err = io.Copy(tmpF, file); err != nil {return}go upload2OssB(tmpF)
}

在主routine将文件偏移量重置，create了一个临时文件，通过io.Copy将文件内容拷贝到临时文件，异步routine读取新文件上传到oss b

优点：实现简单
缺点：占用资源多
总结：虽然实现简单，但使文件读写io和磁盘占用都增加了

方式三

同文件多句柄操作

func ABC() {file, err := os.Open(path)if err != nil {return}defer func() {file.Close()os.Remove(path)}()// 打开同一个文件，用新句柄去异步上传file2, err := os.Open(path)if err != nil {return}...// 上传到oss aupload2OssA(file)...// TODO 异步上传到oss bmethod3(file2)
}func method3(file *os.File) {go func() {upload2OssB(file)file.Close()}()
}

在主routine打开同一个文件，用新文件的句柄，在异步routine上传到oss b

优点：代码简洁
缺点：需要维护多个句柄
总结：利用了文件系统的引用计数，打开同一个文件，不同的fd，只要新句柄没有被释放，那么就可以进行异步上传

方式四

硬链接文件

unc ABC() {file, err := os.Open(path)if err != nil {return}defer func() {file.Close()os.Remove(path)}()...// 上传到oss aupload2OssA(file)...// TODO 异步上传到oss bmethod4(path)
}func method4(path string) {go func() {if err := os.Link(path, newpath); err != nil {return}file, err := os.Open(newpath)if err != nil {return}defer func() {file.Close()os.Remove(path)}()upload2OssB(file)}()
}