如何在 Golang 中实现文件内容统计_Golang 文本处理与统计算法示例_技术教程

首先使用os.Open和bufio.Scanner逐行读取文件，统计行数、字符数和单词数；再通过map实现词频统计，对英文转小写并分割，中文则借助gojieba分词，最终高效完成各类文本分析需求。

在 Golang 中实现文件内容统计是一个常见需求，比如统计行数、单词数、字符数或特定词频。Go 语言标准库提供了 os、bufio 和 strings 等包，可以高效完成文本读取与处理。下面通过一个完整示例展示如何实现常见的文件内容统计功能。

读取文件并统计基础信息

使用 os.Open 打开文件，配合 bufio.Scanner 逐行读取，适合大文件处理，避免内存溢出。

以下代码统计文件的总行数、字符数和单词数：

package main

import (
    "bufio"
    "fmt"
    "os"
    "strings"
)

func countFile(filename string) (lines, words, chars int, err error) {
    file, err := os.Open(filename)
    if err != nil {
        return
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        line := scanner.Text()
        lines++
        chars += len(line)
        words += len(strings.Fields(line))
    }

    if err = scanner.Err(); err != nil {
        return
    }

    return
}

func main() {
    lines, words, chars, err := countFile("example.txt")
    if err != nil {
        fmt.Printf("读取文件失败: %v\n", err)
        return
    }
    fmt.Printf("行数: %d\n", lines)
    fmt.Printf("单词数: %d\n", words)
    fmt.Printf("字符数: %d\n", chars)
}

统计词频（Word Frequency）

若需分析文本中每个词的出现频率，可使用 map 结构进行计数。先将每行文本转为小写并分割成单词，再累加到 map 中。

示例如下：

func wordFrequency(filename string) (map[string]int, error) {
    freq := make(map[string]int)
    file, err := os.Open(filename)
    if err != nil {
        return nil, err
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        line := strings.ToLower(scanner.Text())
        words := strings.Fields(line)
        for _, word := range words {
            freq[word]++
        }
    }

    return freq, scanner.Err()
}

调用后可遍历返回的 map 输出高频词汇：

freq, _ := wordFrequency("example.txt")
for word, count := range freq {
    fmt.Printf("%s: %d\n", word, count)
}

处理中文或复杂分词场景

上述方法基于空格切分，适用于英文。若处理中文或需要更精确分词，建议引入第三方库如 gojieba 进行中文分词后再统计。

安装 gojieba：

go get github.com/yanyiwu/gojieba

简单集成示例：

import "github.com/yanyiwu/gojieba"

func chineseWordCount(filename string) map[string]int {
    x := gojieba.NewJieba()
    defer x.Free()

    freq := make(map[string]int)
    file, _ := os.Open(filename)
    defer file.Close()

    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        words := x.CutForSearch(scanner.Text())
        for _, word := range words {
            word = strings.TrimSpace(word)
            if word != "" {
                freq[word]++
            }
        }
    }
    return freq
}