当前位置: 首页 > news >正文

使用 deepseek实现 go语言,读取文本文件的功能,要求支持 ascii,utf-8 等多种格式自适应

  • 使用 deepseek实现 go语言,读取文本文件的功能,要求支持 ascii,utf-8 等多种格式自适应
  • 我要用 chatgpt,也问过,但是比 deepseek 还是差一个级别,具体如下:
package mainimport ("bufio""bytes""fmt""golang.org/x/net/html/charset""golang.org/x/text/encoding/unicode""golang.org/x/text/transform""io""os""strings"
)// detectBOM 检测常见的BOM类型并返回编码名称和BOM长度
func detectBOM(b []byte) (enc string, bomLen int) {// UTF-8 BOMif len(b) >= 3 && b[0] == 0xEF && b[1] == 0xBB && b[2] == 0xBF {return "UTF-8 BOM", 3}// UTF-16 LE/BEif len(b) >= 2 {if b[0] == 0xFF && b[1] == 0xFE {return "UTF-16LE", 2}if b[0] == 0xFE && b[1] == 0xFF {return "UTF-16BE", 2}}// UTF-32 LE/BE (可能不常见,但示例处理)if len(b) >= 4 {if b[0] == 0xFF && b[1] == 0xFE && b[2] == 0x00 && b[3] == 0x00 {return "UTF-32LE", 4}if b[0] == 0x00 && b[1] == 0x00 && b[2] == 0xFE && b[3] == 0xFF {return "UTF-32BE", 4}}return "", 0
}// ReadTextFile 逐行读取文本文件,自动处理编码和BOM
func ReadTextFile(filename string) ([]string, error) {file, err := os.Open(filename)if err != nil {return nil, err}defer file.Close()// 读取前4字节用于BOM检测bomBuf := make([]byte, 4)n, err := file.Read(bomBuf)if err != nil && err != io.EOF {return nil, err}bomBuf = bomBuf[:n]enc, bomLen := detectBOM(bomBuf)var source io.Readervar decoder transform.Transformerif enc != "" {// 处理带BOM的情况remaining := bomBuf[bomLen:]source = io.MultiReader(bytes.NewReader(remaining), file)switch enc {case "UTF-8 BOM":decoder = unicode.UTF8.NewDecoder()case "UTF-16LE":decoder = unicode.UTF16(unicode.LittleEndian, unicode.IgnoreBOM).NewDecoder()case "UTF-16BE":decoder = unicode.UTF16(unicode.BigEndian, unicode.IgnoreBOM).NewDecoder()default:return nil, fmt.Errorf("unsupported encoding: %s", enc)}} else {// 无BOM时检测编码source = io.MultiReader(bytes.NewReader(bomBuf), file)br := bufio.NewReader(source)// 读取前1024字节进行编码检测detectBuf, err := br.Peek(1024)if err != nil && err != io.EOF {return nil, err}// 自动检测编码e, _, _ := charset.DetermineEncoding(detectBuf, "")if e == nil {e = unicode.UTF8 // 默认UTF-8}decoder = e.NewDecoder()source = br}// 创建UTF-8转换Readerutf8Reader := transform.NewReader(source, decoder)scanner := bufio.NewScanner(utf8Reader)var lines []stringfor scanner.Scan() {lines = append(lines, scanner.Text())}if err := scanner.Err(); err != nil {return nil, err}return lines, nil
}// 过滤双引号已经前后空格
func Filter(lists []string) []string {r := make([]string, 0, len(lists))for _, list := range lists {item := strings.TrimSpace(list)if len(item) >= 2 {first := item[0]last := item[len(item)-1]if first == last && first == '"' {r = append(r, strings.TrimSpace(item[1:len(item)-1]))} else {r = append(r, item)}} else {r = append(r, item)}}return r
}
func main() {name := "./csv/export.csv"lines, err := ReadTextFile(name)if err != nil {fmt.Println("读取错误:" + err.Error())return}for _, line := range lines {lists := Filter(strings.Split(line, "\t"))fmt.Println(line + "  ==>  " + strings.Join(lists, ","))}}
http://www.lryc.cn/news/541002.html

相关文章:

  • 7.【线性代数】——求解Ax=0,主列和自由列
  • vue3结合后端传递过来的文件进行预览功能
  • 【Python爬虫(39)】掌控全局:分布式爬虫的任务管理与监控之道
  • Jenkins整合Jmeter实现接口自动化测试
  • Web 自动化测试提速利器:Aqua 的 Web Inspector (检查器)使用详解
  • 大语言模型:从开发到运行的深度解构
  • 【GoLang】【算法模板】2、GoLang 算法模板整理
  • 合理建模--最短路径
  • 喜报!博睿数据案例获经观传媒“2024年度数字转型创新案例”!
  • 基于图扑 HT 可视化技术打造智慧地下采矿可视化方案
  • 深度学习(2)-深度学习关键网络架构
  • 【学习笔记】Cadence电子设计全流程(二)原理图库的创建与设计(8-15)
  • 【Linux网络编程】IP协议格式,解包步骤
  • 给老系统做个安全检查——Burp SqlMap扫描注入漏洞
  • Windows 快速搭建C++开发环境,安装C++、CMake、QT、Visual Studio、Setup Factory
  • 开源免费文档翻译工具 可支持pdf、word、excel、ppt
  • 从CNN到Transformer:遥感影像目标检测的未来趋势
  • 【GORM学习笔记】GORM介绍以及增删改查相关操作
  • WebSocket在分布式环境中的局限性及解决方案
  • SIM盾构建安全底座的可行性分析
  • 【Java八股文】10-数据结构与算法面试篇
  • go 并发 gorouting chan channel select Mutex sync.One
  • 亲测Windows部署Ollama+WebUI可视化
  • linux 安装启动zookeeper全过程及遇到的坑
  • 策略模式Spring框架下开发实例
  • DeepSeek模型量化
  • 【练习】【回溯:组合:不同集合】力扣 17. 电话号码的字母组合
  • 分布式文件系统HDFS
  • 从WebRTC到EasyRTC:嵌入式适配的视频通话SDK实现低延迟、高稳定性音视频通信
  • WordPress自定义排序插件:Simple Custom Post Order完全指南(SEO优化版)