题目与适用场景
一款企业日历产品准备上线“时间可用性投票”：组织者创建若干候选时段，受邀者标记可用时间，最后确认会议。当前对照流程是由组织者手动提出时间，再通过消息往返协调。请定义这项新功能的目标、主指标、诊断指标和护栏指标，说明如何验证，并给出上线决策规则。
这是一道产品分析题。它考察的核心不是能否罗列 DAU、点击率和留存率，而是能否把一个模糊的“功能成功”翻译成可观测的用户结果。一个完整答案需要交代人群、分析单位、分子、分母、观察窗口、实验方法和取舍规则。
下文为便于推导采用一组面试假设：一次“符合条件的排期尝试”指组织者选择至少 3 位参与者并进入多人排期流程；“7 天内确认”指最终时段已写入所有参与者可见的日历事件。这些定义是案例设定，不是行业基准。真实面试中应先向面试官确认产品形态、业务目标和现有埋点，再明确说出必须补充的假设。
面试官在评估什么
第一，候选人能否先说清用户价值。投票创建量很容易增长，但它只说明有人操作过功能。此处真正要解决的问题是：多人会议能否用更少的协调成本成功确定时间。目标应围绕“更高的排期成功率与更短的确认时间”，而不是“让更多人点击投票”。
第二，候选人能否做出优先级。官方产品经理面试指引会直接追问产品目标与指标，并要求候选人优先说明少量关键指标及选择理由。把十几个数字平铺出来会隐藏判断。更好的做法是选一项主指标负责最终结论，再用诊断指标解释漏斗，用护栏指标约束副作用。
第三，指标是否能被复算。同一个“确认率”，分母可以是全部活跃用户、看到入口的人、创建投票的人，或所有符合条件的排期尝试，结论会完全不同。候选人要把人群、事件、窗口和排除规则写成数据团队可以直接实现的定义。
第四，能否区分相关性和因果性。高活跃团队可能更愿意使用新功能，也更容易完成排期。上线后比较“使用者”和“未使用者”会混入自选择偏差。若条件允许，应通过随机对照实验判断功能带来的增量，并为不宜实验的场景给出分阶段发布或匹配队列方案。
回答前需要澄清的问题
- 业务目标是什么？ 是增加已确认会议、降低协调时间、提升团队留存，还是减少客服问题？本题假设首要目标是帮助多人更快完成排期。
- 用户与市场范围是什么？ 企业工作区、个人用户、移动端和桌面端的行为可能不同。本题先聚焦已有日历使用记录的企业工作区。
- 现有对照流程是什么？ 若用户此前只能离开产品协调，基线可能缺少完整事件；本题假设当前手动提议与最终确认都可观测。
- 谁算符合条件？ 把没有多人排期需求的用户放入分母会稀释效果。本题以进入至少 3 人排期流程的尝试为符合条件事件。
- 随机化单位是什么？ 同一工作区成员会互相邀请，按个人随机化容易让两个版本相互污染。本题优先按工作区分组，并在统计分析中保留这种聚类结构。
- 决策时间有多长？ 7 天可观察一次排期是否成功，但无法证明长期留存。本题把短期上线判断与 4 周复用观察分开。
30 秒回答框架
“目标是降低多人排期摩擦。主指标是每 1,000 次符合条件的排期尝试中，7 天内确认会议的次数。入口曝光、投票创建、受邀者响应和确认耗时负责诊断；通知数、24 小时内取消或改期率及客服投诉负责护栏。我会按工作区随机分组，并预先锁定口径、数据检查和门槛。主指标达标、护栏通过且数据可信才分阶段扩大，否则迭代或停止。”
这个开场先给目标、主指标和决策逻辑。面试官追问时，再展开指标合同、实验设计和数字示例。
深度回答步骤
先画出价值链：组织者有多人排期需求 → 进入流程 → 创建候选时段 → 受邀者响应 → 确认会议 → 以后再次使用。每一环都能产生数字，但各数字承担的责任不同。入口曝光和创建率解释发现与启动，响应率解释协作，确认结果才回答用户是否完成任务。
主指标可定义为：
7 天确认率 = 7 天内成功确认的符合条件排期尝试数 ÷ 符合条件排期尝试总数
对外表达时可换算成“每 1,000 次尝试的确认数”，便于理解绝对影响。分析单位是排期尝试；符合条件要求至少 3 位参与者；窗口从组织者进入多人排期流程开始计算 7 天；机器人流量、内部测试工作区和重复上报事件在实验前按固定规则排除。失败尝试仍留在分母，避免只统计创建了投票的人而美化结果。
然后建立三组辅助指标：
- 诊断指标：入口曝光率、曝光后的投票创建率、每次投票的受邀者响应率、从开始到确认的中位数与 p90 耗时、失败发生在哪一步。它们解释主指标为什么变化，不能各自取代主指标。
- 持续价值指标：有第二次符合条件需求的组织者中，4 周内再次使用投票的比例；以及工作区层面的多人排期留存。它们用于检查新奇效应，成熟时间晚于 7 天主指标。
- 护栏指标：每位受邀者收到的排期通知数、确认后 24 小时内取消或改期率、静音或举报率、相关客服请求，以及核心日历事件创建是否下降。护栏回答“是否以打扰用户或制造低质量会议换取确认量”。
每项指标都写成一份小型合同：名称、业务解释、分析单位、分子、分母、时间窗口、事件来源、排除规则、负责人和刷新延迟。尤其要锁定“曝光”“创建”“响应”“确认”的事件语义。若移动端离线提交可能重复上报，就先定义去重键；若确认事件会被编辑，就明确第一次确认还是最终状态。口径没有锁定前，精确到小数点后的结果也不可信。
验证方案优先采用按工作区随机分组的 A/B 测试。工作区内成员会共同参与排期，按工作区分组可减少同一协作关系跨版本造成的干扰。实验前固定假设、主指标、护栏上限、分析窗口和最小样本要求；启动后先检查样本比例是否符合分流设计、事件丢失和版本曝光是否异常，再看业务结果。不要因为前两天曲线好看就提前宣布成功；提前查看需要匹配相应的统计方法，常规回答可以坚持预定观察期。
最后写清楚决策矩阵：
- 主指标达到最低提升且全部护栏通过：分阶段扩大，并继续观察 4 周复用与分群结果。
- 主指标提升但护栏越界：不全面上线，定位通知、取消或服务质量问题后重测。
- 主指标未提升但漏斗中某一步明显改善：判断该改善是否接近用户价值；若只是点击增长，不据此上线。
- 数据质量检查失败或样本比例异常：实验无效，修复测量后重跑，不能把结果解释成“没有影响”。
高质量示范回答
以下数字全部是面试演算假设，用于展示回答方式，不代表真实产品基准。
“我会先把成功定义为：有多人排期意图的组织者，更可能在 7 天内确认会议，而且没有用更多打扰换取结果。主指标是 7 天确认率，分母是进入至少 3 人排期流程的全部尝试，分子是 7 天内写入参与者日历的已确认会议。失败尝试必须留在分母。投票创建率只负责解释漏斗，不能承担最终结论。
我会按工作区随机分组，因为同一工作区成员会互相邀请。实验前锁定最低实际提升为 2 个百分点；护栏上限是每位受邀者增加不超过 0.5 条通知，以及确认后 24 小时内取消或改期率增加不超过 0.5 个百分点。这些都是案例门槛，真实值应由基线、成本和机会规模确定。
假设对照组和实验组各有 20,000 次符合条件的尝试。对照组 8,400 次确认，确认率是 8,400 ÷ 20,000 = 42.0%；实验组 9,200 次确认，确认率是 9,200 ÷ 20,000 = 46.0%。绝对提升 4.0 个百分点，相对提升约 9.5%。确认耗时中位数也从 31 小时降到 24 小时，减少 7 小时。
护栏方面，人均通知从 1.8 增至 2.1，增加 0.3；24 小时内取消或改期率从 6.0% 增至 6.4%，增加 0.4 个百分点。两个点估计都没有越界，但取消或改期已经接近上限，所以我不会只看主指标就全面上线。
我会先检查样本比例、事件丢失和版本曝光，再按工作区聚类计算置信区间，并坚持预定观察期。若主指标的区间仍超过 2 个百分点、护栏区间不越界，我会扩大到下一发布阶段，并等待 4 周复用指标成熟。若取消或改期的区间可能跨过上限，我会保留当前流量，按工作区规模和通知类型定位低质量确认，再调整提醒机制并重测。”
常见错误
- 把投票创建量当作成功 → 创建只证明功能被尝试，可能没有人响应，也没有会议确认 → 以最终用户结果作为主指标，把创建率留作诊断。
- 用全部活跃用户作分母 → 大量没有多人排期需求的人稀释结果 → 先定义符合条件的排期尝试，并保留未完成尝试。
- 同时给出多个“北极星” → 指标冲突时没有决策依据 → 指定一项主指标，其余明确为诊断、长期或护栏。
- 只比较使用者和未使用者 → 高意愿、高活跃用户会造成自选择偏差 → 优先随机分组；无法实验时说明因果限制。
- 按个人随机化协作功能 → 同一工作区成员会跨版本互动，污染实验 → 根据干扰边界选择工作区等聚类单位。
- 结果出来后再定门槛 → 团队可以挑一个有利标准解释结果 → 实验前记录最低提升、护栏上限和观察期。
- 只看平均确认耗时 → 少量拖延很久的排期会被掩盖 → 同时看中位数和 p90，并按工作区规模分层。
- 短期提升等同长期价值 → 新入口或通知可能带来一次性试用 → 把 7 天任务结果与 4 周复用分开汇报。
追问与回答
追问 1：为什么不用投票采用率作为主指标？
采用率适合判断发现和尝试，不足以证明问题被解决。组织者可能创建投票后无人响应，也可能因为默认入口或强提醒而误触。主指标应尽量靠近“成功确认多人会议”的用户结果；采用率留在漏斗中，用来解释确认率变化来自入口、创建还是协作阶段。
追问 2：如果新功能无法做随机实验怎么办？
先说明无法实验的约束，例如合同、技术依赖或网络干扰。再选择分阶段发布、等待名单或匹配工作区队列，使用上线前后的同周期基线，并控制工作区规模、历史排期频率和地区等已知差异。结论应写成关联证据并明确残余偏差，不能把观察性比较包装成因果提升。
追问 3：确认率提高，但通知也明显增加，怎么决定？
回到预先设定的护栏和用户价值。若通知增长超过上限，就不应仅凭确认率全面上线。先按通知类型、工作区规模和受邀者参与度分解，尝试合并提醒、允许静默响应或调整频率，再重新验证。护栏不是报表备注，而是发布条件。
追问 4：如何选择 2 个百分点的最低提升？
它应来自基线、实现与维护成本、可覆盖的符合条件人群、机会成本和业务所需的实际价值，而不是事后从结果中挑选。本题的 2 个百分点只是演算假设。真实工作中，产品、数据和工程团队应在实验前共同确认最低可接受效果，并据此做样本量与周期规划。
追问 5：面试时间不够，哪些内容必须说？
至少说清用户目标、一项带分子分母与窗口的主指标、两类关键护栏、验证单位和上线规则。若还有时间，再补诊断漏斗、数据质量、分群和长期指标。少量可执行定义比一长串未经排序的指标更能体现产品判断。