1. 題目與適用場景
一款 SaaS 產品準備把月費從 49 元提高到 59 元。團隊預計短期收入會上升，但擔心轉化、退款和續費率下降。請設計一個價格實驗，說明實驗對象、分組、核心指標、長期護欄、樣本量、停止條件、客戶溝通和實驗結束後的 rollout。假設企業客戶和個人客戶的合約週期不同。
2. 面試官考察點
- 是否把價格變數與包裝、功能、行銷活動和付款流程隔離。
- 是否同時衡量轉化、ARPU、淨收入、毛利和留存，而非只看付款率。
- 是否能為退款、投訴、續費和流失定義有業務意義的護欄門檻。
- 是否理解樣本量、顯著性、分群、網路效應和長期觀察窗口的限制。
3. 回答前需要釐清的問題
- 實驗面向新使用者、續費使用者，還是現有客戶的合約更新？
- 價格變化是否同時改變功能、折扣、帳期或稅費展示？
- 企業合約、地區、幣別和銷售談判是否需要排除或分層？
- 使用者看到價格後多久會購買、續費或流失，最短觀察窗口多長？
4. 30 秒回答框架
先提出可證偽假設，例如提高價格 20% 後，淨收入提升至少 8%，且 90 天續費率下降不超過 2 個百分點。隨機把符合條件的使用者分到控制價和實驗價，保持功能、結帳和行銷一致。核心指標同時看淨收入或每訪客收入、轉化、ARPU 和毛利；留存、退款、投訴和付款失敗作為護欄。上線前做功效分析，預設明顯回歸的自動停止門檻；除嚴重故障外不因早期波動提前下結論，結束後按分群和長期結果決定 rollout。
5. 分步驟深入解答
第一步：定義假設與實驗單位
價格實驗的變數應盡量只有價格。明確實驗單位是使用者、帳戶、合約還是工作階段，避免同一帳戶的成員看到不同價格。對企業客戶，按合約或續費事件分配通常比按頁面工作階段更穩定；對新使用者，可以按穩定的使用者 ID 分配並保持整個購買流程一致。
第二步：設計控制組和實驗組
控制組繼續看到 49 元，實驗組看到 59 元。隨機分配應在定價頁之前完成，並把分組結果寫入報價、結帳、發票和客服脈絡，避免重新整理或跨裝置導致漂移。對地區、幣別、稅費和折扣規則使用預先確定的分層，不能在結果出來後臨時挑選有利群體。
eligible user -> stable assignment -> price_id
control -> 49 CNY -> control checkout -> invoice
treatment -> 59 CNY -> treatment checkout -> invoice第三步：建立指標樹與護欄
主指標應對應假設，例如每個合格訪客的淨收入，或每個帳戶在觀察窗口內的毛利。輔助指標包括轉化率、ARPU、折扣使用和付款成功率。護欄關注長期健康：續費率、退款率、投訴率、客服工單、活躍度和流失率。每個護欄都要有最小可檢測變化和停止門檻，避免堆幾十個噪聲指標造成誤判。
第四步：估算樣本量與觀察窗口
先指定基線、最小可檢測變化、顯著性水準、統計功效和分組比例，再計算所需樣本。價格對續費的影響可能晚於首次轉化，因此至少覆蓋一個完整續費週期；如果企業合約週期更長，應把續費隊列作為後續分析，而不是把短期結果當成最終答案。實驗期間持續監控明顯付款故障，主指標按預設時長讀取。
第五步：控制風險、溝通與 rollout
先用小流量驗證 price ID、稅費、優惠、發票和客服腳本，再擴大比例。不要讓同一市場的使用者因截圖或連結產生無法解釋的不公平感；必要時限制實驗對象、使用明確的試用或續費規則，並準備支援團隊話術。實驗結束後先鎖定分析腳本和資料版本，再按總體與關鍵分群結果決定全量、局部 rollout 或回滾。
6. 高品質示範回答
我會先把問題寫成可證偽假設：59 元是否讓每個合格訪客的淨收入提升，同時把 90 天續費下降控制在門檻內。按穩定使用者或帳戶隨機分組，只改變價格，保證結帳、發票和折扣邏輯一致。主指標看淨收入或毛利，轉化、ARPU 和付款成功率做輔助，續費、退款、投訴、流失和客服負擔做護欄。上線前完成功效分析和最短觀察窗口，嚴重故障觸發自動停止，普通波動不提前窺視。結束後按預先登記的分群和長期結果決定 rollout，並記錄價格、樣本、估計區間和未決風險。
7. 常見錯誤
- 只看短期收入 → 把折扣獵手或提前購買當成長期價值 → 加入續費、退款和流失護欄。
- 同時改價格和功能 → 無法歸因 → 一次只改變一個主要變數。
- 按工作階段隨機且不持久化 → 使用者重新整理後價格漂移 → 使用穩定使用者或帳戶分配。
- 看見早期顯著就停止 → 放大噪聲和季節性 → 預先規定時長，只有故障門檻可提前停止。
- 加入過多護欄 → 噪聲指標觸發錯誤回滾 → 選擇少量關鍵指標並做功效評估。
8. 追問及應對
追問一：如何處理現有客戶與新客戶？
分開定義人群和假設。新客戶實驗關注購買和早期啟用，現有客戶應按續費或合約更新事件分配，避免打破已承諾價格；兩者不能直接合併為一個平均效果。
追問二：如果轉化下降但淨收入上升，如何決策？
先檢查毛利、退款、續費和關鍵分群。如果淨收入提升來自短期高價購買，卻伴隨超過門檻的留存或信任損失，不能直接全量；可以縮小人群、調整包裝或繼續觀察完整續費週期。
追問三：什麼時候允許提前停止？
付款故障、錯誤計費、投訴激增或明顯超過預設護欄的回歸可以觸發安全停止。普通主指標波動應繼續按設計運行；若要持續監控並頻繁讀取結果，應事先採用支援序貫檢驗的方法。
追問四：怎樣避免價格實驗污染帳單系統？
給每個變體穩定的 price ID，在報價、結帳、發票、退款和分析中傳遞實驗分組。做端到端回歸，驗證重新整理、跨裝置、升級、降級、優惠和續費都不會跨組或錯誤計費。