如何按“Combi”分组汇总“time in minutes”列的数值

本文介绍在pandas中对存在空单元格(即跨行合并逻辑)的“combi”列进行前向填充分组,并精准汇总对应“time in minutes”列数值的完整方法,适用于工业日志、设备运行记录等典型场景。

在实际数据处理中,常遇到类似Excel中“合并单元格”的语义结构:Combi列仅在每组首行有值(如 300244871),后续行为空(或空字符串),而同一组内其他列(如 Tons、time in minutes)具有独立数值。此时不能直接用常规 groupby('Combi'),因为空值会导致分组失效——必须先还原逻辑分组关系。

核心思路是:用前向填充(ffill)将空值补全为上一个有效 Combi 值,再以此为分组键进行聚合

✅ 正确实现步骤

1. 数据预处理:清洗并转换数值类型

time in minutes 列含逗号小数点(如 "70,05"),需统一替换为英文小数点后转为数值:

import pandas as pd
import numpy as np

# 示例数据(注意:原始表格中 Combi 列存在空单元格)
df = pd.DataFrame({
    'Combi': ['300244871', '', '', '300244871', '300244881', '', '', '300244881'],
    'Tons': [23.080, 0.000, 22.790, 0.000, 23.080, 0.000, 22.790, 0.000],
    'time in minutes': ['70,05', '0,00', '71,98', '0,00', '77,05', '0,00', '5,98', '0,00']
})

# 清洗并转为浮点数
df['time in minutes'] = pd.to_numeric(
    df['time in minutes'].str.replace(',', '.', regex=False)
)

2. 构建逻辑分组键

关键一步:对 Combi 列执行前向填充。若空值为 NaN,直接 ffill();若为空字符串 '',则先替换为 NaN 再填充:

# 若 Combi 中为空字符串(常见于读取CSV时),使用:
grouper = df['Combi'].replace('', np.nan).ffill()

# 若已为 NaN,可简写为:
# grouper = df['Combi'].ffill()

3. 分组聚合:一次性获取多维度统计

使用 groupby().agg() 同时计算起止时间(time列最小/最大值)与 time in minutes 总和:

# 假设原始DataFrame还包含 'time' 列(如 '05:12:30' 字符串)
# 注意:此处需确保 'time' 列为字符串类型(非datetime),否则 min/max 可能异常
out = df.groupby(grouper).agg(
    start=('time', 'min'),
    end=('time', 'max'),
    total_time_minutes=('time in minutes', 'sum')
).round(2)  # 保留两位小数,匹配业务精度

print(out)

输出示例:

                start       end  total_time_minutes
Combi                                               
300244871  05:12:30  07:34:32                142.03
300244881  05:12:30  07:34:32                 83.03
✅ 验证:300244871 组的 70.05 + 0.00 + 71.98 + 0.00 = 142.03,完全符合预期。

4. (可选)逐组打印结果

如需调试或生成日志式输出,可用迭代方式:

for combi_id, group in df.groupby(grouper):
    total = group['time in minutes'].sum()
    time_start = group['time'].min()
    time_end = group['time'].max()
    print(f"Combi {combi_id}: {time_start} → {time_end} | Total time (min): {total:.2f}")

⚠️ 注意事项

  • 空值类型判断:务必确认 Combi 列中空单元格是 NaN 还是空字符串 '',二者处理方式不同;推荐统一用 df['Combi'].replace('', np.nan).ffill() 更鲁棒。
  • 时间列类型:若 time 列已转为 datetime64,min()/max() 仍有效;但若含非法时间(如 '07:34:325,98' ——原文本中的笔误),需先清洗。
  • 性能提示:ffill() + groupby 是向量化操作,远快于手动循环,适合万行级以上数据。
  • 扩展性:agg() 支持任意聚合函数组合(如 'count', lambda x: x.nunique()),便于后续扩展分析维度。

通过该方法,你不仅能准确汇总 time in minutes,还能同步提取每组的时间跨度,为产线节拍分析、设备利用率计算等提供结构化基础。