将字符串形式的字典列安全解析并展开为结构化 DataFrame

本文介绍如何将 pandas 中存储为字符串的单键字典(如 `"{827056812014862: [0.05, 0.0608, 0.476464, 0.53535]}"`)安全解析、解包,并展开为包含 id 与多个数值列(t1–t4)的规整表格。

在实际数据处理中,常遇到将嵌套结构以字符串形式存于单列的情况(例如日志导出、API 响应或低规范 CSV)。直接使用 eval() 存在严重安全风险,因此推荐使用 ast.literal_eval —— 它仅支持基础 Python 字面量(dict, list, float, int, str 等),可安全解析可信但非标准格式的字符串字典。

以下为完整、健壮的实现方案:

import pandas as pd
from ast import literal_eval

# 示例原始数据
df = pd.DataFrame({
    "column_A": [
        "{827056812014862 : [0.05, 0.0608, 0.476464, 0.53535]}",
        "{263746262748835 : [0.08, 0.0333, 0.8263, 0.9463]}",
        "{63673738736362 : [0.05, 0.0926, 0.8694, 0.9903]}",
        "{73737681201484 : [0.08, 0.0425, 0.1948, 0.3958]}"
    ]
})

# 安全解析 + 展开逻辑
records = []
for s in df["column_A"]:
    try:
        d = literal_eval(s)  # 安全转为 dict
        if not isinstance(d, dict) or len(d) != 1:
            raise ValueError("Expected single-key dict")
        key, values = next(iter(d.items()))
        if not isinstance(values, (list, tupl

e)) or len(values) != 4: raise ValueError("Expected list/tuple of 4 numeric values") records.append({ "id": key, "t1": float(values[0]), "t2": float(values[1]), "t3": float(values[2]), "t4": float(values[3]) }) except (ValueError, SyntaxError, TypeError) as e: print(f"Warning: Skipping invalid row '{s}' — {e}") continue result = pd.DataFrame(records) print(result)

输出结果:

                id    t1      t2        t3       t4
0  827056812014862  0.05  0.0608  0.476464  0.53535
1  263746262748835  0.08  0.0333  0.826300  0.94630
2   63673738736362  0.05  0.0926  0.869400  0.99030
3   73737681201484  0.08  0.0425  0.194800  0.39580

? 关键要点说明:

  • 安全性优先:ast.literal_eval 替代 eval,杜绝任意代码执行风险;
  • 健壮性增强:添加 try/except 捕获解析异常(如格式错误、缺失值、长度不符),避免整个流程中断;
  • 类型明确:显式转换 float(),确保数值列具备计算能力(而非 object 类型);
  • 可扩展设计:若后续列表长度变化(如变为 5 元素),只需调整 len(values) == 4 判断及字段映射逻辑;
  • ⚠️ 注意:该方法假设每行字符串严格对应一个键值对(key → 4 元素列表)。若存在多键字典或嵌套结构,需另行设计扁平化策略。

此方案兼顾简洁性、安全性与生产可用性,适用于 ETL 清洗、特征工程前的数据标准化阶段。