题干与适用场景
一个欺诈识别模型在随机切分的离线验证中表现异常出色，上线后效果却明显下降。每一行样本代表一笔交易，模型需要在交易发生时决定是否拦截；标签是交易后 30 天内是否确认拒付。候选特征来自交易事件、账户历史聚合、最终拒付结果和人工审核状态。
请解释什么是数据泄漏，排查目标、时间、实体重复与预处理四类泄漏，并重新设计特征生成、训练/验证/测试切分、交叉验证和最终评估流程。还要说明怎样区分泄漏、训练—服务偏差和真实分布漂移。
这类问题常见于机器学习工程、数据科学、风控和推荐系统面试。面试官通常不满足于“先切分再预处理”这一句，而会追问某个特征在真实预测时刻是否已经存在、同一实体能否跨集合，以及团队是否借测试集反复调过模型。
面试官考察点
第一，看候选人能否给出可操作的定义。数据泄漏是模型开发或评估使用了真实预测时不可获得的信息，或者让验证/测试集合的信息反向影响了训练、特征选择或模型选择。它通常让离线指标过于乐观，但线上下降本身不能证明泄漏；数据漂移、标签定义不一致和线上特征计算错误也会产生相似现象。
第二，看是否先定义预测契约。对每一行样本，都要明确 prediction_at、标签观察窗口、允许使用的数据截止时间和线上服务对象。没有这个边界，“过去七天交易数”也可能偷偷包含预测之后的事件；一个业务字段是否泄漏，取决于它何时可用，而不取决于字段名看起来多么合理。
第三，看切分是否复刻部署方式。独立同分布样本才适合普通随机切分；有时间顺序时应做前向验证，有用户、设备、商户等组结构时应做分组隔离或至少增加分组压力测试。缩放、填补、特征选择和编码必须在每个训练折内拟合，最终测试集不能参与调参。
最后，看诊断是否有证据链：点时重放、特征可用性台账、跨集合重复检查、可疑特征消融、标签置乱负对照，以及随机切分与部署一致切分的差异。高质量回答还会承认更严格的评估通常降低指标、减少可训练数据，却换来更可信的泛化估计。
回答前需要澄清的问题
- 预测发生在什么时候？ 本题假设交易到达时立即评分，之后产生的信息一律不能进入该行特征。
- 标签什么时候成熟？ 本题以交易后 30 天内确认拒付为正例；靠近数据截止日、尚未走完观察窗口的样本不能当作负例。
- 模型服务旧实体还是新实体？ 若线上会重复看到老账户，时间切分是主评估；若要泛化到新商户或新设备，还需要按实体隔离的测试。
- 历史聚合按什么时间计算？ 必须用事件时间和当时可见的数据做 point-in-time/as-of 计算，不能从今天的仓库快照回填历史。
- 是否有重复或近重复样本？ 同一交易重试、镜像日志、同一案件的多条记录和高度相似文本都可能跨集合。
- 哪些步骤从数据中学习参数？ 缺失值、归一化、词表、特征选择、降维、目标编码和阈值选择都算；不能只检查最终模型。
- 测试集看过多少次？ 若团队依据测试结果改过特征或超参数，它已经参与模型选择，需要重新建立未触碰的最终留出集。
- 线上下降的具体形态是什么？ 要同时比较输入分布、特征缺失率、标签延迟、离线重放和线上服务日志，避免把所有问题都叫作泄漏。
30 秒回答框架
“我先定义预测时刻和 30 天标签窗口，逐项确认特征当时确实可用；再排查事后结果、未来数据、跨集合重复，以及在全量数据上拟合预处理这四条泄漏路径。开发集按时间前向验证，需要时隔离实体，所有可学习转换只在训练折拟合。模型和阈值锁定后，最终测试集只评一次。我再用点时重放、重复审计、特征消融和标签置乱定位问题，并单独检查线上计算偏差与分布漂移。”
分步骤深入解答
先写预测契约，而不是先挑切分函数。每一行至少记录：业务实体、事件时间 eventat、系统实际看见该事件的时间 availableat、预测时间 predictionat、标签成熟时间 labelreadyat。一项特征只有在 availableat <= prediction_at，且其所有上游数据也满足这个条件时，才能用于该行预测。
本题的特征审查可以这样做：
| 候选特征 | 交易发生时能否使用 | 处理规则 | |---|---:|---| | 本笔交易金额、渠道 | 是 | 以线上请求实际携带的值为准 | | 账户过去 7 天交易数 | 有条件 | 只统计该笔交易前且当时已到达的事件 | | 最终拒付原因 | 否 | 它是标签形成过程的一部分，必须删除 | | 人工审核最终状态 | 否 | 预测之后才产生，必须删除 | | 设备风险分 | 有条件 | 读取当时版本的快照，不能用今天重算的值 |
接着按信息穿越边界的方式分类。目标泄漏包括直接放入标签、标签代理变量或事后处置结果，例如拒付原因、退款完成状态。时间泄漏包括未来事件、用全时间段计算的滚动聚合、晚到数据回填，以及“先聚合再按时间切分”。实体泄漏包括同一交易的副本、同一案件的多行记录、近重复文本，或模型通过账户 ID 记住了验证样本。预处理泄漏发生在全量数据上拟合填补值、缩放参数、词表、特征选择或目标编码；即使最终分类器从未见过测试标签，整条训练流程仍已看见评估集合。
切分方案要由上线问题决定：
- 先按
prediction_at排序，把较早时间段作为开发数据，把最新且标签已成熟的连续时间段封存为最终测试集。 - 在开发数据上做前向交叉验证：每一折只用更早数据训练，用随后时间段验证。标签观察窗口可能跨过边界时，在训练尾部与验证开头之间做 purge/gap，避免训练样本的标签信息来自验证期。
- 在切分前建立重复簇和实体组。目标是新实体泛化时，让同组样本只出现在一侧；线上会反复服务旧实体时，时间切分仍是主指标，但要额外报告按账户、设备或商户隔离的压力测试。
- 只有训练折可以调用
fit。验证折和测试集只允许调用由该训练折参数执行的transform。目标编码在训练数据内部使用交叉拟合，让每一行的编码来自不包含自身标签的其他折。 - 用交叉验证选择特征、超参数和决策阈值。全部决策冻结后，在完整开发集上重新拟合一次，再对最终测试集评估一次；若看完结果继续改模型，就需要新的测试集。
流程可以用下面的伪代码表达。forwardsplits 负责时间顺序和标签窗口隔离，makepipeline 把全部可学习转换与模型绑在一起：
dev, test = point_in_time_split(rows, test_period="latest_mature_period")
for train_idx, valid_idx in forward_splits(
dev,
time="prediction_at",
purge="label_horizon",
):
pipeline = make_pipeline(
imputer="fit_on_train_fold",
scaler="fit_on_train_fold",
target_encoder="out_of_fold",
model="candidate",
)
pipeline.fit(dev[train_idx].X, dev[train_idx].y)
record(pipeline, dev[valid_idx])
locked_pipeline = select_and_lock()
locked_pipeline.fit(dev.X, dev.y)
final_result = evaluate_once(locked_pipeline, test)然后做诊断。第一层是静态血缘审计：为每个特征记录来源表、事件时间、可用时间、聚合窗口、更新延迟和标签依赖，自动拒绝截止时间之后的数据。第二层是集合审计：比较精确哈希、近重复指纹和实体 ID 的交集；重复簇应作为一个切分单位。第三层是实验性负对照：移除最可疑特征、把标签在合法分组内置乱、把随机切分替换为时间/分组切分。置乱后结果应回到无信号基线；部署一致切分大幅下降是泄漏警报，但不是单独的定罪证据。
第四层是点时重放。选取历史交易，把特征服务的时钟固定在当时，比较离线训练行与线上日志中真实可见的字段。若离线值使用了之后回填的数据，这是时间泄漏；若两边的计算规则、默认值或版本不同，则属于训练—服务偏差。即使这些都正确，用户结构或欺诈手法随时间改变仍会产生分布漂移，所以还要按时间队列比较输入分布、标签率和分段指标。
最后把防线产品化：数据集快照不可变，切分清单可复现，特征定义带可用时间，训练 pipeline 有版本，最终测试集有访问记录。每次新增特征都要回答一句话：“对这一行预测，在 prediction_at 当时能否真实算出完全相同的值？”回答不清楚就不能进入训练。
高质量示范回答
“数据泄漏的核心是信息越过了我们声称的预测边界。这里模型在交易发生时评分，所以我会先定义每行的 prediction_at，标签则要等 30 天拒付窗口结束才成熟。最终拒付原因和人工审核终态是明显的结果泄漏；账户过去 7 天交易数看似合理，但若从今天的仓库快照回算，可能包含晚到或预测后的事件，同样是泄漏。
我会为每个特征建立 event time、available time、聚合窗口和标签依赖台账，用 as-of join 重建当时可见值。数据先按预测时间切出最新的成熟时间段作为封存测试集，开发集用前向交叉验证；若标签窗口跨越折边界，就在边界做 purge。重复交易、同一案件和近重复记录先组成簇再切分。是否把账户完全隔离，取决于线上是预测旧账户还是新账户，我会把部署一致评估作为主指标，实体隔离作为泛化压力测试。
填补、缩放、特征选择和编码都放进 pipeline，每折只在训练部分拟合。目标编码用交叉拟合，不能让一行自己的标签参与自己的编码。验证结果用于选特征、超参数和阈值；选择完成后锁定流程，在完整开发集重训，只看一次最终测试集。
排查时我会查跨集合哈希、近重复和实体交集，做可疑特征消融、合法分组内的标签置乱，并比较随机切分与时间/分组切分。再用历史时钟重放特征，核对线上日志。随机切分分数下降只能说明原评估边界可疑；如果点时数据无穿越但线上计算不一致，是训练—服务偏差；两边一致而后续时间段持续变差，才进一步检查真实分布漂移。更严格的流程可能让离线分数变低，却给出了可以拿去做上线决策的估计。”
常见错误
- 只把“测试标签进入训练”叫泄漏 → 会漏掉未来特征、重复样本和全量预处理 → 审计从原始数据到模型选择的整条信息流。
- 看到线上下降就断言泄漏 → 漂移、标签偏差和线上实现错误也会下降 → 分别检查点时血缘、离线重放和时间分段分布。
- 先在全量数据上缩放或选特征再切分 → 评估集合影响了转换参数 → 先切分，并让 pipeline 在每个训练折内拟合。
- 所有数据都随机切分 → 未来样本和同实体副本可能进入训练 → 按部署的时间与实体结构选择切分器。
- 历史聚合只过滤
event_at→ 晚到或回填记录在当时可能尚不可见 → 同时约束事件时间与可用时间。 - 按行去重但忽略近重复和案件组 → 模型仍能记住几乎相同的样本 → 先生成重复簇和业务组，再整体分配。
- 目标编码直接在整份训练集上计算 → 每行标签会进入自己的特征 → 使用折外编码或带内部交叉拟合的实现。
- 反复查看测试集并据此改模型 → 测试集逐渐变成验证集 → 保留访问受控的最终留出集，决策冻结后只评一次。
- 用固定“随机分数”判断标签置乱测试 → 不同指标和类分布的无信号基线不同 → 与该指标在相同采样规则下的基线比较。
- 为了消除泄漏删除所有实体历史 → 可能丢掉线上真实可用的有效信号 → 保留预测时可用的信息，用正确边界评估而非机械删特征。
追问及应对
追问一：什么时候随机切分是合理的？
当样本确实近似独立同分布，生产流量与收集数据来自同一生成过程，而且没有时间、用户、设备、实验批次或重复簇结构时，随机切分可以给出合理估计。仍应先检查重复和预处理边界。若生产目标是预测未来，时间留出通常更接近真实部署。
追问二：为什么标签延迟需要 purge 或 gap？
一笔训练交易的标签可能在之后 30 天才确定。若训练期紧贴验证期，这个训练标签会使用验证时间段内发生的结果；团队在真实验证起点并不拥有它。边界隔离应覆盖标签观察窗口，或只纳入在每个训练截止点已经成熟的样本。
追问三：同一账户的历史能否作为特征？
可以，前提是线上在预测时确实拥有这段历史，并且聚合只使用当时可见的过去事件。是否让同一账户跨训练和测试取决于目标：服务回访账户时可以跨时间保留，评估新账户泛化时必须按账户隔离。最好分别报告两种场景，避免一个分数回答两个问题。
追问四：交叉拟合怎样防止目标编码泄漏？
把训练数据分成若干折。每一折的类别统计只由其他折的标签计算，再用于编码该折；因此一行自己的标签不会直接参与自己的特征。验证集和测试集则使用对应训练数据学到的映射。交叉拟合只能解决编码内部的标签泄漏，不能替代正确的外层时间或分组验证。
追问五：怎样区分数据泄漏与分布漂移？
先用点时重放证明每个离线特征在预测时都可用，再核对线上与离线的同一批样本是否算出相同值。前者失败是泄漏，后者失败是训练—服务偏差。两者都通过后，再观察不同时间段的输入、标签率和分段指标是否变化；这才是漂移证据。几个问题也可能同时存在。
追问六：预训练模型或大模型会带来什么额外泄漏？
评测样本或近重复内容可能已经出现在预训练语料、检索库或提示示例中，传统的本地 train/test 清单未必能看到这条路径。可以使用时间上晚于训练截止点、私有生成或经过近重复审计的留出集，并记录检索索引和提示版本。无法证明预训练语料完全无重合时，应把结果表述为受污染风险约束的估计，而不是绝对泛化能力。