text/scanner是Go标准库的轻量级词法分析工具，用于分词处理；通过Init设置源文本，Scan逐个读取token，结合fset.Position获取位置信息，支持自定义错误回调和跳过空白与注释，适用于解析表达式、配置文件等场景。
在Go语言中，text/scanner 是标准库 go/scanner 提供的一个轻量级工具，用于对文本进行词法扫描（lexical scanning），适合编写简单的解析器、配置文件读取器或自定义脚本语言的前端处理。它不像完整的解析器生成器那样强大，但对于大多数需要逐词分析文本的场景已经足够高效且易于使用。
初始化 scanner 并设置源文本
要使用 text/scanner，先导入 "go/scanner" 包。虽然名字叫 "go/scanner"，但它可以用于任意文本扫描，不局限于 Go 代码。
创建一个 scanner.Scanner 实例，并通过 Init 方法传入一个 io.Reader 或字节切片作为输入源。
package mainimport ( "fmt" "strings" "go/scanner" "go/token" )
func main() { src := "x := 42 + y
" var s scanner.Scanner fset := token.NewFileSet() // 用于记录位置信息 file := fset.AddFile("", fset.Base(), len(src)) // 创建文件对象 s.Init(file, []byte(src), nil, 0)
for { tok := s.Scan() if tok == scanner.EOF { break } pos := fset.Position(s.Pos()) // 获取当前 token 的位置 fmt.Printf("%s: %s\n", pos, scanner.TokenString(tok)) }}
"
var s scanner.Scanner
fset := token.NewFileSet() // 用于记录位置信息
file := fset.AddFile("", fset.Base(), len(src)) // 创建文件对象
s.Init(file, []byte(src), nil, 0)输出示例：
1:1: IDENT 1:3: DEFINE 1:5: INT 1:8: ADD 1:10: IDENT
可以看到每个 token 的位置和类型被依次打印出来。
识别标识符与自定义处理
默认情况下，scanner 会将关键字、操作符、数字、字符串等识别为对应 token。如果想捕获标识符的具体内容，可以通过 s.TokenText() 获取原始文本。
for {
tok := s.Scan()
if tok == scanner.EOF {
break
}
text := s.TokenText()
switch tok {
case scanner.IDENT:
fmt.Printf("变量或关键字: %s\n", text)
case scanner.INT:
fmt.Printf("整数: %s\n", text)
case '+', '-', '*', '/':
fmt.Printf("运算符: %s\n", text)
default:
fmt.Printf("其他: %s\n", text)
}
}
这样可以根据 token 类型做进一步处理，比如构建抽象语法树的节点，或者执行简单计算逻辑。
处理错误与跳过空白字符
scanner 支持错误回调机制，在遇到非法字符时调用指定函数。同时可以通过设置 Mode 来控制哪些 token 被忽略（如空格、注释）。
例如，只关注标识符和数字，忽略空格和换行：
s.Init(file, []byte(src), func(pos token.Position, msg string) {
fmt.Printf("扫描错误: %s: %s\n", pos, msg)
}, scanner.SkipComments)
常用 Mode 标志包括：
- scanner.ScanComments：返回注释作为 token
- scanner.SkipComments：自动跳过注释
- scanner.GoTokens：仅识别 Go 语言关键字（可选）
实际应用场景举例：简易表达式解析
假设你要解析类似 a + b * 10 这样的算术表达式，可以用 scanner 拆分成 token 流，再配合简单的递归下降解析逻辑处理优先级。
扫描阶段只需完成“分词”任务：
tokens := []string{}
for {
tok := s.Scan()
if tok == scanner.EOF {
break
}
tokens = append(tokens, s.TokenText())
}
fmt.Println("Token 列表:", tokens) // 输出: [a + b * 10]
后续可用栈或优先级表法进行求值，而扫描部分由 text/scanner 稳定支持。
基本上就这些。对于大多数轻量级文本分析需求，text/scanner 提供了简洁高效的接口，无需引入复杂依赖即可实现可靠的词法分析功能。
