当前位置: 首页 > news >正文

gin框架实现大文件下载

在gin框架中实现大文件下载主要分为两个步骤:

  1. 将文件分块读取

由于大文件一次性读取会占用大量内存,容易导致内存溢出等问题,需要将文件分块读取,逐一发送给客户端。

在gin框架中,可以使用context.File方法向客户端发送文件,该方法需要传入文件路径和文件名。为了实现分块读取,我们可以使用os包中的File类型的Read()方法,该方法可以从文件中读取指定长度的数据。

以下是分块读取文件并发送给客户端的代码:

import ("os""strconv""github.com/gin-gonic/gin"
)
func DownloadFile(c *gin.Context) {filePath := "path/to/file"fileName := "file_name"file, err := os.Open(filePath)if err != nil {c.AbortWithError(404, err)return}defer file.Close()stat, err := file.Stat()if err != nil {c.AbortWithError(404, err)return}c.Writer.Header().Set("Content-Disposition", "attachment; filename="+fileName)c.Writer.Header().Set("Content-Type", "application/octet-stream")c.Writer.Header().Set("Content-Length", strconv.FormatInt(stat.Size(), 10))c.Writer.Flush()var offset int64 = 0var bufsize int64 = 1024 * 1024 // 1MBbuf := make([]byte, bufsize)for {n, err := file.ReadAt(buf, offset)if err != nil && err != io.EOF {log.Println("read file error", err)break}if n == 0 {break}_, err = c.Writer.Write(buf[:n])if err != nil {log.Println("write file error", err)break}offset += int64(n)}c.Writer.Flush()
}

上述代码中,我们首先打开文件并获取文件状态(文件大小),然后设置一些响应头,包括Content-Disposition(告诉浏览器以附件形式下载文件)、Content-Type(告诉浏览器文件类型)以及Content-Length(告诉浏览器文件大小)。

接下来,我们定义一个缓冲区,大小为1MB(根据实际情况可调整)。然后使用循环读取文件并逐一将数据块发送给客户端。

  1. 实现断点续传

断点续传是指当下载文件过程中,如果网络出现问题或者用户暂停了下载,下一次再进行下载时可以从上一次下载的位置继续开始下载,而不需要从头开始下载。

要实现断点续传,我们需要在响应头中添加一个Content-Range字段,该字段表示当前响应数据的范围。例如,如果当前文件大小为100MB,已经下载了20MB,那么响应头中就可以写成:

Content-Range: bytes 20971520-104857599/104857600

其中,20971520-104857599表示当前响应数据的范围,104857600表示文件总大小。

如何获取已下载的位置?可以从请求头中的Range字段中获取。例如,如果客户端已经下载了20MB,那么请求头中可以写成:

Range: bytes=20971520-

以下是实现断点续传的代码:

import ("io""os""strconv""strings""github.com/gin-gonic/gin"
)
func DownloadFile(c *gin.Context) {filePath := "path/to/file"fileName := "file_name"file, err := os.Open(filePath)if err != nil {c.AbortWithError(404, err)return}defer file.Close()stat, err := file.Stat()if err != nil {c.AbortWithError(404, err)return}c.Writer.Header().Set("Content-Disposition", "attachment; filename="+fileName)c.Writer.Header().Set("Content-Type", "application/octet-stream")c.Writer.Header().Set("Content-Length", strconv.FormatInt(stat.Size(), 10))c.Writer.Flush()var offset int64 = 0var bufsize int64 = 1024 * 1024 // 1MBbuf := make([]byte, bufsize)rangeHeader := c.Request.Header.Get("Range")if rangeHeader != "" {parts := strings.Split(rangeHeader, "=")if len(parts) == 2 && parts[0] == "bytes" {rangeStr := parts[1]ranges := strings.Split(rangeStr, "-")if len(ranges) == 2 {offset, _ = strconv.ParseInt(ranges[0], 10, 64)if offset >= stat.Size() {c.AbortWithError(416, errors.New("Requested Range Not Satisfiable"))return}if ranges[1] != "" {endOffset, _ := strconv.ParseInt(ranges[1], 10, 64)if endOffset >= stat.Size() {endOffset = stat.Size() - 1}c.Writer.Header().Set("Content-Range", "bytes "+ranges[0]+"-"+strconv.FormatInt(endOffset, 10)+"/"+strconv.FormatInt(stat.Size(), 10))c.Writer.Header().Set("Content-Length", strconv.FormatInt(endOffset-offset+1, 10))file.Seek(offset, 0)} else {c.Writer.Header().Set("Content-Range", "bytes "+ranges[0]+"-"+strconv.FormatInt(stat.Size()-1, 10)+"/"+strconv.FormatInt(stat.Size(), 10))c.Writer.Header().Set("Content-Length", strconv.FormatInt(stat.Size()-offset, 10))file.Seek(offset, 0)}c.Writer.WriteHeader(206)}}}for {n, err := file.ReadAt(buf, offset)if err != nil && err != io.EOF {log.Println("read file error", err)break}if n == 0 {break}_, err = c.Writer.Write(buf[:n])if err != nil {log.Println("write file error", err)break}c.Writer.Flush()offset += int64(n)}c.Writer.Flush()
}

上述代码中,在读取文件之前我们先从请求头中获取Range字段,如果存在,就解析出当前下载的起始位置并根据需要设置Content-Range字段和Content-Length字段。如果Range字段的值无效,我们返回416状态码,表示当前所请求的范围不符合要求。

之后,我们按照文件分块读取的方式将数据块发送给客户端。在发送每个数据块之后,我们需要及时调用Flush()方法将数据块发送给客户端,否则会导致下载进度无法实时更新的问题。

参考链接

http://www.lryc.cn/news/136497.html

相关文章:

  • 数据可视化-canvas-svg-Echarts
  • 深信服 SG上网优化管理系统 catjs.php 任意文件读取漏洞[2023-HW]
  • java反序列化泛型中json对象
  • Docker Compose一键管理容器
  • API接口文档利器:Swagger 和 接口调试利器:Postman
  • Redis手动实现分布式锁-Demo
  • BBS项目day04 文章详情页、点赞点菜、评论功能(根评论和子评论)、评论分页之刷新评论页面
  • 【带着学Pytorch】1、pytorch的安装与入门
  • smartbi token回调获取登录凭证漏洞
  • SQL注入之堆叠查询
  • java-JVM 类加载机制
  • 前端面试:【网络协议与性能优化】提升Web应用性能的策略
  • 前端面试:【React】构建现代Web的利器
  • 使用mysql:5.6和 owncloud 镜像,构建一个个人网盘。
  • k8s发布应用
  • 微信小程序教学系列(4)
  • Netty核心源码解析(三)--NioEventLoop
  • Vue2学习笔记のVue核心
  • 把matlab的m文件打包成单独的可执行文件
  • redis 6个节点(3主3从),始终一个节点不能启动
  • 单体架构 Monolithic Architecture
  • HCIP的STP总结
  • Post Robot
  • HTML中,常用的布局方式
  • uboot源码结构
  • c++(8.23)类,this指针,构造函数,析构函数,拷贝构造函数
  • 前端网络相关知识(TCP和UDP的区别, TCP的三次握手)
  • 大数据-玩转数据-Flink营销对账
  • 中英双语对话大语言模型:ChatGLM-6B
  • MES生产报工管理