如何在Golang中读取大文件

P粉602998670 2025-11-09 00:00:00 次阅读

使用流式读取避免内存溢出，推荐bufio.Scanner按行处理文本文件，bufio.Reader按块读取二进制数据，禁用ioutil.ReadAll读大文件，合理设置缓冲区并结合性能优化技巧。

在Golang中读取大文件时，不能一次性将整个文件加载到内存中，否则容易导致内存溢出。正确的做法是使用流式读取，逐块处理数据。以下是几种高效、安全的读取大文件的方法。

使用 bufio.Scanner 按行读取

当大文件是文本格式（如日志文件），且需要按行处理时，bufio.Scanner 是最常用的方式。它自动处理缓冲，适合逐行读取超大文件。

默认缓冲区大小为 4096 字节，可通过 scanner.Buffer() 调整
遇到换行符自动分割，适合处理每行数据较小的场景
不适用于超长行（超过缓冲区）的情况，需手动设置更大缓冲区

示例代码：

file, err := os.Open("large.log")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

scanner := bufio.NewScanner(file)
for scanner.Scan() {
    line := scanner.Text()
    // 处理每一行
    processLine(line)
}

if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

使用 bufio.Reader 读取字节块

如果文件不是纯文本或需要更灵活的控制，可以使用 bufio.Reader 手动读取固定大小的字节块。这种方式适用于二进制文件或自定义分隔符的场景。

可设置任意大小的缓冲区，例如 64KB 或 1MB
支持 Read()、ReadByte()、ReadString() 等多种读取方式
适合处理非换行分隔的数据流

示例：按块读取

file, err := os.Open("bigdata.bin")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

reader := bufio.NewReader(file)
buffer := make([]byte, 65536) // 64KB 缓冲

for {
    n, err := reader.Read(buffer)
    if n > 0 {
        // 处理 buffer[0:n]
        processData(buffer[:n])
    }
    if err == io.EOF {
        break
    }
    if err != nil {
        log.Fatal(err)
    }
}