当前位置: 首页 > news >正文

go系列-读取文件

1 概述

2 整个文件读入内存

直接将数据直接读取入内存,是效率最高的一种方式,但此种方式,仅适用于小文件,对于大文件,则不适合,因为比较浪费内存。

2.1 直接指定文化名读取

在 Go 1.16 开始,ioutil.ReadFile 就等价于 os.ReadFile,二者是完全一致的。

2.1.1 os.ReadFile函数

package mainimport ("fmt""os"
)func main() {//func ReadFile(name string) ([]byte, error) {}content, err := os.ReadFile("a.txt")if err != nil {panic(err)}fmt.Println(string(content))
}

2.1.2 ioutil.ReadFile函数

package mainimport ("io/ioutil""fmt"
)func main() {content, err := ioutil.ReadFile("a.txt")if err != nil {panic(err)}fmt.Println(string(content))
}

2.2 先创建句柄再读取

2.2.1 os.OpenFile函数

package mainimport (
"os"
"io/ioutil"
"fmt"
)func main() {/*func Open(name string) (*File, error) {return OpenFile(name, O_RDONLY, 0)}*///Open是一个高级函数,是因为它是只读模式来打开文件/*也可以直接使用 os.OpenFile,只是要多加两个参数file, err := os.OpenFile("a.txt", os.O_RDONLY, 0)*/file, err := os.Open("a.txt")if err != nil {panic(err)}//func (f *File) Close() error {}defer file.Close()//func ReadAll(r io.Reader) ([]byte, error) {}content, err := ioutil.ReadAll(file)fmt.Println(string(content))
}

2.2.2 代码解析

2.2.2.1 os.File结构体

1

2

3

type File struct {

    *file // os specific

}

2.2.2.2 os.OpenFile函数

1

2

func OpenFile(name string, flag int, perm FileMode) (

    *File,   error) {}

2.2.2.3 io.Reader接口

1

2

3

type Reader interface {

    Read(p []byte) (n int, err error)

}

3 每次只读取一行

一次性读取所有的数据,太耗费内存,因此可以指定每次只读取一行数据,方法有三种:

  • bufio.ReadLine()
  • bufio.读取字节("\n")
  • bufio.ReadString("\n")

在 bufio 的源码注释中,曾说道 bufio.ReadLine()是低级库,不太适合普通用户使用,更推荐用户使用 bufio.ReadBytes和bufio.ReadString 去读取单行数据。

3.1 使用bufio.Reader结构体的ReadBytes方法读取字节数

 ReadBytes读取直到第一次遇到delim字节,返回一个包含已读取的数据和delim字节的切片。如果ReadBytes方法在读取到delim之前遇到了错误,它会返回在错误之前读取的数据以及该错误(一般是io.EOF)。当且仅当ReadBytes方法返回的切片不以delim结尾时,会返回一个非nil的错误。

package mainimport ("bufio""fmt""io""os""strings"
)func main() {// 创建句柄fi, err := os.Open("christmas_apple.py")if err != nil {panic(err)}//func NewReader(rd io.Reader) *Reader {},返回的是bufio.Reader结构体r := bufio.NewReader(fi)// 创建 Readerfor {//func (b *Reader) ReadBytes(delim byte) ([]byte, error) {}lineBytes, err := r.ReadBytes('\n')//去掉字符串首尾空白字符,返回字符串line := strings.TrimSpace(string(lineBytes))if err != nil && err != io.EOF {panic(err)}if err == io.EOF {break}fmt.Println(line)}
}

3.2 使用bufio.Reader结构体的ReadString方法读取字符串

ReadString读取直到第一次遇到delim字节,返回一个包含已读取的数据和delim字节的字符串。如果ReadString方法在读取到delim之前遇到了错误,它会返回在错误之前读取的数据以及该错误(一般是io.EOF)。当且仅当ReadString方法返回的切片不以delim结尾时,会返回一个非nil的错误。

package mainimport ("bufio""fmt""io""os""strings"
)func main() {// 创建句柄fi, err := os.Open("a.txt")if err != nil {panic(err)}// 创建 Readerr := bufio.NewReader(fi)for {//func (b *Reader) ReadString(delim byte) (string, error) {}line, err := r.ReadString('\n')line = strings.TrimSpace(line)if err != nil && err != io.EOF {panic(err)}if err == io.EOF {break}fmt.Println(line)}
}

3.3 代码解析

3.3.1 bufio.Reader结构体

type Reader struct {buf          []byterd           io.Reader // reader provided by the clientr, w         int       // buf read and write positionserr          errorlastByte     int // last byte read for UnreadByte; -1 means invalidlastRuneSize int // size of last rune read for UnreadRune; -1 means invalid
}

4 每次只读取固定字节数

每次仅读取一行数据,可以解决内存占用过大的问题,但要注意的是,并不是所有的文件都有换行符 \n;
因此对于一些不换行的大文件来说,还得再想想其他办法

4.1 使用os库

通用的做法是:

  1. 先创建一个文件句柄,可以使用 os.Open 或者 os.OpenFile;
  2. 然后 bufio.NewReader 创建一个 Reader;
  3. 然后在 for 循环里调用 Reader 的 Read 函数,每次仅读取固定字节数量的数据。

Read方法读取数据写入p;本方法返回写入p的字节数;本方法一次调用最多会调用下层Reader接口一次Read方法,因此返回值n可能小于len§;读取到达结尾时,返回值n将为0而err将为io.EOF。

package mainimport ("bufio""fmt""io""os"
)func main() {// 创建句柄fi, err := os.Open("a.txt")if err != nil {panic(err)}// 创建 Readerr := bufio.NewReader(fi)// 每次读取 1024 个字节buf := make([]byte, 1024)for {//func (b *Reader) Read(p []byte) (n int, err error) {}n, err := r.Read(buf)if err != nil && err != io.EOF {panic(err)}if n == 0 {break}fmt.Println(string(buf[:n]))}
}

4.2 使用 syscall库

os 库本质上也是调用 syscall 库,但由于 syscall 过于底层,如非特殊需要,一般不会使用 syscall;

package mainimport ("fmt""sync""syscall"
)func main() {fd, err := syscall.Open("christmas_apple.py", syscall.O_RDONLY, 0)if err != nil {fmt.Println("Failed on open: ", err)}defer syscall.Close(fd)var wg sync.WaitGroupwg.Add(2)dataChan := make(chan []byte)go func() {wg.Done()for {data := make([]byte, 100)n, _ := syscall.Read(fd, data)if n == 0 {break}dataChan <- data}close(dataChan)}()go func() {defer wg.Done()for {select {case data, ok := <-dataChan:if !ok {return}fmt.Printf(string(data))default:}}}()wg.Wait()
}

 

http://www.lryc.cn/news/94074.html

相关文章:

  • 10 编码转换问题
  • Spring MVC获取参数和自定义参数类型转换器及编码过滤器
  • 理想的实验
  • nginx配置开机启动(Windows环境)
  • MySQL 基础面试题02(事务索引)
  • 主从架构lua脚本-Redis(四)
  • maven与idea版本适配问题
  • ChatGPT扫盲知识库
  • chatgpt赋能python:Python轨迹可视化:用数据讲故事
  • K-means
  • 归并排序(基础+提升)
  • MATLAB应用
  • LeetCode --- 1784. Check if Binary String Has at Most One Segment of Ones 解题报告
  • js:javascript中的事件体系:常见事件、事件监听、事件移除、事件冒泡、事件捕获、事件委托、阻止事件
  • 【数据结构】特殊矩阵的压缩存储
  • 在layui中使用vue,使用vue进行页面数据部分数据更新
  • Vue中如何进行数据导入与Excel导入
  • git 的基本操作
  • 搭建Vue项目以及项目的常见知识
  • TypeScript ~ TS Webpack构建工具 ⑦
  • Rust 自建HTTP Server支持图片响应
  • [游戏开发][Unity]UnityWebRequest使用大全
  • 如何使用Fiddler对手机进行弱网测试?(干货教程)
  • 专业科普:什么是单片机?
  • 深度学习-第T11周——优化器对比实验
  • 基于Dlib的疲劳检测系统
  • three.js通过CubeTexture加载环境贴图,和RGBELoader加载器加载hdr环境贴图
  • pycharm中Terminal输入sqlite3,出现无法将sqlite项识别为cmdlet**的解决方法
  • VSCode 安装配置教程详解包含c++环境配置方法
  • Baumer工业相机堡盟工业相机如何通过BGAPISDK将图像放大缩小显示(C#)