如何高效判断交易日期在其他数据框中是否存在匹配的过去两年内日期_技术教程

本文介绍一种基于向量化操作的高效方法，替代低效的 `apply` 函数，用于在大规模 dataframe 中快速判断某证券代码对应的交易日期是否在另外两个数据框（如分红日、截止日）中存在满足“过去两年内”的匹配记录。

在金融数据分析中，常需基于时间窗口（例如“过去两年”）跨表关联证券事件（如交易、分红、到期）。原始方案使用 df1.apply(check_condition, axis=1) 逐行计算，对百万级数据（如 df1 含 382 万行）极易导致性能瓶颈——因每次调用均需重复过滤 df2/df3，时间复杂度接近 O(n×m)，且无法利用 Pandas 底层优化。

核心优化思路：避免逐行扫描，改用向量化连接 + 时间区间布尔索引。但需注意：原始答案中的示例代码存在关键逻辑错误（如直接用 pd.to_datetime('today') 而非每行动态计算基准日期，且未按 securityCode 对齐匹配），实际不可用。以下是修正后的专业实现：

✅ 正确高效的解决方案

import pandas as pd
from datetime import datetime

# 确保日期列为 datetime 类型（关键前提！）
for df in [df1, df2, df3]:
    if 'tradeDate' in df.columns:
        df['tradeDate'] = pd.to_datetime(df['tradeDate'], format='%Y%m%d')
    if 'payoutDate' in df.columns:
        df['payoutDate'] = pd.to_datetime(df['payoutDate'], format='%Y%m%d')
    if 'endDate' in df.columns:
        df['endDate'] = pd.to_datetime(df['endDate'], format='%Y%m%d')

# 步骤1：为 df1 添加 'two_years_ago' 列（向量化计算每行的起始时间）
df1['two_years_ago'] = df1['tradeDate'] - pd.DateOffset(years=2)

# 步骤2：分别与 df2、df3 做左连接（按 securityCode），并筛选时间窗口内记录
merged_df2 = df1.merge(
    df2.rename(columns={'payoutDate': 'date'}), 
    on='securityCode', 
    how='left'
)
valid_df2 = merged_df2[
    (merged_df2['date'] >= merged_df2['two_years_ago']) & 
    (merged_df2['date'] <= merged_df2['tradeDate'])
]

merged_df3 = df1.merge(
    df3.rename(columns={'endDate': 'date'}), 
    on='securityCode', 
    how='left'
)
valid_df3 = merged_df3[
    (merged_df3['date'] >= merged_df3['two_years_ago']) & 
    (merged_df3['date'] <= merged_df3['tradeDate'])
]

# 步骤3：标记存在任一匹配的行
df1['condition'] = 0
df1.loc[df1.index.isin(valid_df2.index) | df1.index.isin(valid_df3.index), 'condition'] = 1

# 清理临时列
df1.drop(columns=['two_years_ago'], inplace=True)

⚠️ 关键注意事项

日期格式必须统一：务必用 pd.to_datetime(..., format='%Y%m%d') 显式解析，避免自动推断失败或性能损耗；
不能直接跨表广播比较：df2['payoutDate']
内存权衡：merge 会产生中间笛卡尔积（若某 securityCode 在 df2 中有 N 条记录，则该代码在 df1 中每行将扩展为 N 行），但相比 apply 的千万次循环，仍快一个数量级以上；
进一步加速（可选）：对 df2/df3 按 securityCode 预分组，并使用 pd.concat([g[g['date'].between(two_yr, trade_dt)] for ...])，适用于 securityCode 分布极不均衡的场景。