Golang文件IO性能差如何优化_缓冲与批量读写策略_技术教程

直接os.Read或io.Copy慢是因为os.File无缓冲，每次调用都触发系统调用，小块读写导致频繁上下文切换和GC开销；用bufio.Reader/Writer可显著提升性能。

为什么直接 `os.Read` 或 `io.Copy` 会慢？

Go 中默认的 os.File 是无缓冲的，每次调用 Read 都可能触发一次系统调用（read(2)），尤其在小块读取（如每次读 1KB）时，上下文切换和内核态开销会急剧放大。即使使用 io.Copy，底层若未配合适当缓冲，也会频繁分配临时切片、触发 GC，实测在 SSD 上小文件随机读场景下，吞吐可能比 C 的 fread 低 3–5 倍。

用 `bufio.Reader` 替代裸 `os.File.Read`

bufio.Reader 本质是加一层用户态缓冲区，把多次小读合并成一次系统调用。关键不是“用了就快”，而是缓冲区大小和读模式要匹配实际负载：

默认 bufio.NewReader(f) 创建 4KB 缓冲，适合文本行读取；若处理大日志或二进制流，建议显式指定更大值，例如 bufio.NewReaderSize(f, 64*1024)
避免混合使用：不要在同一个 *os.File 上既用 bufio.Reader 又直接调 file.Read()，会导致文件偏移错乱
行读取优先用 ReadString('\n') 或 ReadBytes('\n')，而非循环 ReadByte —— 后者绕过缓冲，退化为逐字节系统调用

reader := bufio.NewReaderSize(file, 128*1024)
buf := make([]byte, 0, 64*1024)
for {
    n, err := reader.Read(buf[:cap(buf)])
    if n == 0 { break }
    buf = buf[:n]
    // 处理 buf
    if err == io.EOF { break }
}

批量写入必须用 `bufio.Writer` + `Flush`

写操作比读更敏感：每次 Write 调用都可能触发 write(2)，且默认 os.File.Write 还带锁。不加缓冲时，写 10 万个 16 字节字符串，实测耗时可达 800ms+；加 bufio.Writer 后可压到 12ms 内。

务必调用 Flush()，否则缓冲区内容可能滞留内存，程序退出也不保证落盘（除非 defer w .Flush()）
写入量明确时，用 WriteString 比 Write([]byte(s)) 少一次内存拷贝
避免在循环内反复 new bufio.Writer，复用实例并调 Reset(writableIoWriter)

w := bufio.NewWriterSize(outputFile, 1024*1024)
defer w.Flush()
for _, s := range lines {
    w.WriteString(s)
    w.WriteByte('\n')
}

大文件处理优先考虑 `mmap` 和 `io.ReadFull`

当文件远大于可用内存（如 >512MB）、且需随机访问或整块校验时，bufio 缓冲意义下降，此时应转向系统级优化：

用 syscall.Mmap（Linux/macOS）或 winio.CreateFileMapping（Windows）做内存映射，避免数据在内核/用户空间间拷贝
顺序读大块数据时，用 io.ReadFull(reader, buf) 替代 Read，它保证填满整个 buf 或返回错误，减少边界判断和重试逻辑
注意 ReadFull 在 EOF 时返回 io.ErrUnexpectedEOF，不是 io.EOF，需单独处理