Pandas教程：合并具有重叠日期区间的两个DataFrame_技术教程

本文介绍如何使用pandas将两个按州和日期区间（start_date/end_date）划分的数据集进行精细化合并，自动拆分重叠与非重叠时段，并为每个最小时间单元（天）匹配对应字段，最终聚合为连续、无冗余的区间结果。

在实际数据分析中，常需融合多个按时间区间标记的业务表（如政策生效期、服务覆盖期、区域运营周期等），而这些区间往往存在部分重叠、错位或跨州差异。直接使用pd.merge基于端点匹配会丢失中间重叠逻辑；正确做法是以“日粒度”展开区间 → 外连接对齐 → 按状态组合聚合回最优区间。下面分三步详解实现过程。

✅ 第一步：标准化日期并展开为日粒度序列

首先确保日期格式统一（注意原始数据中 31/05/2025 是无效格式，应修正为 05/31/2025）。我们定义通用函数 expand_dates_df，将每行的 [START_DATE, END_DATE] 区间展开为每日一行的长格式 DataFrame：

import pandas as pd

def expand_dates_df(
    df,
    date_format="%m/%d/%Y",
    start_date_col="START_DATE",
    end_date_col="END_DATE",
    data_col_name="data_val"
):
    # 强制转为 datetime，避免解析歧义
    df = df.copy()
    df[start_date_col] = pd.to_datetime(df[start_date_col], format=date_format)
    df[end_date_col] = pd.to_datetime(df[end_date_col], format=date_format)

    expanded_rows = []
    for _, row in df.iterrows():
        # 生成包含首尾的日序列（inclusive）
        dates = pd.date_range(start=row[start_date_col], end=row[end_date_col], freq="D")
        for d in dates:
            expanded_rows.append({
                "STATE": row["STATE"],
                "Date": d,
                data_col_name: row[data_col_name]
            })

    return pd.DataFrame(expanded_rows)

# 应用展开（注意 ops 中日期已修正）
expanded_dds = expand_dates_df(dds, data_col_name="data_val")
expanded_ops = expand_dates_df(ops, data_col_name="data_val2")

⚠️ 注意事项： pd.date_range(..., freq="D") 默认包含起止日，无需额外 + pd.Timedelta(days=1)；若数据量极大（如十年+百万级区间），逐行循环效率较低，可改用 pd.concat + pd.date_range 向量化构造（进阶优化见文末提示）。

✅ 第二步：外连接对齐所有日期-州组合

使用 how='outer' 进行全外连接，确保：

dds 有但 ops 没有的日期 → data_val2 为 NaN
ops 有但 dds 没有的日期 → data_val 为 NaN
两者共有的日期 → 字段同时保留

joined_df = expanded_dds.merge(
    expanded_ops,
    how='outer',
    on=['STATE', 'Date']
)

此时 joined_df 每行代表某州在某一天的完整视图（含可能缺失值）。

✅ 第三步：按状态组合聚合为最小区间

核心逻辑：相同 STATE + 相同 data_val + 相同 data_val2 的连续日期，应合并为单个 [min(Date), max(Date)] 区间。由于日期已离散化，只需按三字段分组，取 Date 的极值即可：

result = (joined_df
          .fillna({'data_val': 'None', 'data_val2': 'None'})  # 统一空值标识（可选）
          .groupby(['STATE', 'data_val', 'data_val2'], dropna=False)
          .agg(START_DATE=('Date', 'min'),
               END_DATE=('Date', 'max'))
          .reset_index()
          .sort_values(['STATE', 'START_DATE'])
          .assign(
              START_DATE=lambda x: x['START_DATE'].dt.strftime('%m/%d/%Y'),
              END_DATE=lambda x: x['END_DATE'].dt.strftime('%m/%d/%Y')
          )
)

✅ 输出即为题目所求结构（STATE, START_DATE, END_DATE, data_val, data_val2），且区间严格互斥、无缝覆盖全时间轴。

? 补充说明与优化建议

性能提示：对超大区间（如10年×1000州），逐日展开可能导致内存爆炸。此时推荐使用「区间树」（intervaltree）或 piso 库进行高效区间交集计算，避免显式展开。
边界处理：本方案默认区间闭合（含首尾日）。若业务要求左闭右开（如 2025-04-01 至 2025-04-30 不含30日），需在 pd.date_range 中设置 inclusive='left' 并调整 END_DATE 计算逻辑。
扩展性：该模式可轻松支持 ≥3 个 DataFrame 合并——只需依次 merge(..., how='outer') 即可。

通过这一流程，你不仅能解决当前重叠日期合并问题，更掌握了处理任意“区间-属性”映射类任务的标准范式。