Golang Web项目如何记录访问日志_访问日志设计与存储方案_技术教程

应使用结构化JSON日志中间件，通过包装responseWriter获取状态码，异步批量写入并脱敏敏感字段，配合lumberjack实现文件轮转。

用 `net/http` 中间件记录结构化访问日志

Go 标准库没有内置访问日志中间件，必须自己封装。关键不是“打日志”，而是避免阻塞请求、不丢失字段、不拖慢响应。

常见错误是直接在 HandlerFunc 里调用 log.Printf，这会导致日志写入磁盘时阻塞 goroutine；更糟的是，如果用 time.Now() 记录开始时间但没在 defer 里捕获结束时间，会漏掉耗时和状态码。

用 http.ResponseWriter 包装器（如 responseWriter 结构体）拦截 WriteHeader 和 Write，确保能拿到真实 status code
记录字段至少包含：remote_addr、method、path、status、latency_ms、user_agent（可选）、referer（可选）
日志输出走 io.Writer 接口，不要硬编码到 os.Stdout 或文件 —— 后续可无缝切到 lumberjack.Logger 或 Kafka

func loggingMiddleware(next http.Handler) http.Handler { return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { start := time.Now() lw := &loggingResponseWriter{ResponseWriter: w, status: 200} next.ServeHTTP(lw, r)

    log.Printf("%s %s %d %dms %s",
        r.RemoteAddr,
        r.Method+" "+r.URL.Path,
        lw.status,
        time.Since(start).Milliseconds(),
        r.UserAgent(),
    )
})

}

日志格式选 JSON 还是文本？优先 JSON

文本日志看着简单，但后续做聚合分析、接入 ELK 或 Loki 时，字段提取极易出错 —— 比如 User-Agent 里含空格或引号，正则一崩全崩。

JSON 日志天然结构化，且 Go 的 encoding/json 性能足够应付万级 QPS（实测单核 3–5k 条/秒无压力），关键是字段名统一、可嵌套、易扩展。

避免用 map[string]interface{} 动态拼 JSON，字段顺序不可控，且反射开销大；定义结构体 + json:"field_name" 标签更稳
敏感字段如 Authorization 头、cookie 值必须脱敏（置空或哈希），不能原样记录
时间字段用 time.Time 类型，序列化时指定 RFC3339 或 Unix 毫秒，别用字符串拼接

type AccessLog struct {
    Time     time.Time `json:"time"`
    IP       string    `json:"ip"`
    Method   string    `json:"method"`
    Path     string    `json:"path"`
    Status   int       `json:"status"`
    Latency  float64   `json:"latency_ms"`
    UserAgent string   `json:"user_agent,omitempty"`
}
// 使用示例
logEntry := AccessLog{
Time:     time.Now(),
IP:       r.RemoteAddr,
Method:   r.Method,
Path:     r.URL.Path,
Status:   lw.status,
Latency:  time.Since(start).Seconds() * 1000,
UserAgent: r.UserAgent(),
}
enc := json.NewEncoder(os.Stdout)
enc.Encode(logEntry)

本地文件滚动：用 `lumberjack.Logger` 而非自实现

自己写文件 rotate 逻辑容易出错：竞态条件导致日志丢失、rename 失败卡死、inode 泄露。社区成熟的 lumberjack 已覆盖所有边界场景。

它不是日志框架，只是一个符合 io.WriteCloser 接口的轮转文件写入器，可直接传给 log.SetOutput 或任何需要 io.Writer 的地方。

MaxSize 建议设为 100（MB），太大难排查，太小频繁切换影响性能
MaxBackups 控制保留几个历史文件，线上建议 7（一周）
MaxAge 是按天清理，和 MaxBackups 是“或”关系，两个都设更稳妥
注意：它不支持按小时切分，如需小时级归档，得配合外部脚本或换用 file-rotatelogs

logWriter := &lumberjack.Logger{
    Filename:   "/var/log/myapp/access.log",
    MaxSize:    100, // MB
    MaxBackups: 7,
    MaxAge:     7, // days
    Compress:   true,
}
log.SetOutput(logWriter)