Go语言中批量处理文件需结合os、ioutil、filepath和sync包，使用filepath.Walk遍历目录并读取指定类型文件，通过ioutil.ReadFile和ioutil.WriteFile实现批量读写；对于大数量文件，采用goroutine并发处理，利用sync.WaitGroup协调任务，semaphore控制并发数，避免资源耗尽；涉及共享数据时用sync.Mutex保证线程安全，同时注意错误处理、文件关闭与路径兼容性，推荐分块读取大文件以防止内存溢出。
止内存溢出。在Go语言中进行文件批量操作，比如批量读取和写入，主要依赖于标准库中的 os、io/ioutil（或 os + bufio）、path/filepath 和 sync 等包。实现高效、安全的批量处理需要合理组织代码结构，尤其是面对大量文件时，还需考虑并发控制与资源管理。
批量读取多个文件
要批量读取目录下的多个文件，通常使用 filepath.Walk 遍历目录，结合 os.Open 和 ioutil.ReadAll 读取内容。
示例：读取指定目录下所有 .txt 文件的内容：
package mainimport ( "fmt" "io/ioutil" "log" "os" "path/filepath" )
func readFilesInDir(dir string) map[string][]byte { files := make(map[string][]byte)
err := filepath.Walk(dir, func(path string, info os.FileInfo, err error) error { if err != nil { return err } if !info.IsDir() && filepath.Ext(path) == ".txt" { content, err := ioutil.ReadFile(path) if err != nil { log.Printf("无法读取文件 %s: %v", path, err) return nil // 继续处理其他文件 } files[path] = content } return nil }) if err != nil { log.Fatalf("遍历目录失败: %v", err) } return files}
func main() { dir := "./data" contents := readFilesInDir(dir) for filename, data := range contents { fmt.Printf("文件: %s\n内容: %s\n\n", filename, string(data)) } }
批量写入文件
批量写入时，可以将多个数据写入不同文件，或者合并写入一个文件。使用 os.Create 或 os.OpenFile 创建文件，再用 ioutil.WriteFile 写入数据。
示例：将多个字符串写入独立文件：
func writeFiles(filenameMap map[string][]byte) { for filename, data := range filenameMap { err := ioutil.WriteFile(filename, data, 0644) if err != nil { log.Printf("写入文件失败 %s: %v", filename, err) } else { fmt.Printf("成功写入: %s\n", filename) } } }若需追加写入同一个文件，可使用带 os.O_APPEND | os.O_CREATE | os.O_WRONLY 标志的文件打开方式：
file, err := os.OpenFile("output.log", os.O_APPEND|os.O_CREATE|os.O_WRONLY, 0644) if err != nil { log.Fatal(err) } defer file.Close()writer := bufio.NewWriter(file) for _, data := range contents { writer.WriteString(string(data) + "\n") } writer.Flush()
使用并发提升批量操作效率
当文件数量较多时，串行处理可能较慢。可通过 goroutine 并发读取或写入，但需注意控制并发数，避免系统资源耗尽。
使用 sync.WaitGroup 和带缓冲的 channel 控制并发：
func concurrentRead(files []string, maxWorkers int) map[string][]byte { result := make(map[string][]byte) var mu sync.Mutex var wg sync.WaitGroupsem := make(chan struct{}, maxWorkers) // 控制最大并发数 for _, file := range files { wg.Add(1) go func(f string) { defer wg.Done() sem <- struct{}{} // 获取令牌 defer func() { <-sem }() // 释放令牌 data, err := ioutil.ReadFile(f) if err != nil { log.Printf("读取失败 %s: %v", f, err) return } mu.Lock() result[f] = data mu.Unlock() }(file) } wg.Wait() return result}
注意事项与最佳实践
- 始终检查文件操作的返回错误，避免程序崩溃。
- 大文件读取建议使用 bufio.Scanner 或分块读取，防止内存溢出。
- 并发操作共享变量时，使用 sync.Mutex 保护临界区。
- 及时关闭文件句柄，推荐使用 defer file.Close()。
- 路径拼接使用 filepath.Join，保证跨平台兼容性。
基本上就这些。Golang 的文件批量操作简洁高效，配合并发模型能轻松应对大量文件处理任务。
