1. 題目與適用情境
這題考察資料工程師處理實體解析（entity resolution）或紀錄連結（record linkage）的能力。公開面試題要求從多個來源合併帶有雜訊的人員紀錄，並關注標準化、衝突處理、資料品質，以及 precision 與 recall。題目適合資料平台、主資料管理和客戶資料整合職位。
2. 面試官考察重點
- 能否先定義「同一個人」的業務規則，再選擇匹配訊號。
- 能否用候選生成降低全量兩兩比較的成本，並說明漏掉候選的風險。
- 能否用自動合併、人工複核與拒絕匹配三個區間控制誤合併。
- 能否保留來源、證據與版本，讓主紀錄可以回溯、修正與重放。
- 能否用標註集分別衡量 precision 與 recall，而不是只報一個準確率。
3. 回答前需要釐清的問題
- 哪些欄位具備穩定識別性？電子郵件與電話是否已驗證，姓名是否允許同音或不同語言寫法？
- 誤合併與漏合併哪個代價較高？結果用於行銷、付款、合規還是客服？
- 需要一次性回填歷史，還是每天增量接入？來源系統是否提供更新時間和刪除事件？
- 發生衝突時哪個來源較可信？是否必須顯示每個欄位的原始值與來源？
4. 30 秒回答框架
我會先定義匹配對象、錯誤代價和可稽核輸出。接著按欄位做確定性標準化，用電子郵件、電話或複合鍵建立候選區塊，避免全量兩兩比較。對候選計算帶有正負證據的匹配分數，設定自動合併、人工複核與不匹配三個門檻。合併後依來源優先級、驗證狀態與新鮮度產生主紀錄，同時保留所有來源值。最後用人工標註集測量 precision、recall 和複核量，並監控增量漂移與誤合併。
5. 分步驟深入解答
第一步：定義紀錄與正規化
每筆來源紀錄保留 source、source_id、抵達時間和原始欄位。姓名統一 Unicode、大小寫、空白與標點；電子郵件去除首尾空白，並依業務規則處理大小寫；電話轉成統一國碼格式。正規化結果要能重放，不能覆蓋原始值。欄位缺漏應表示未知，不能把空字串當成相同證據。
第二步：候選生成與匹配評分
為正規化電子郵件、電話，或姓名加郵遞區號建立索引，並用多個 blocking pass 覆蓋不同缺漏模式。候選生成後再比較編輯距離、共享欄位、驗證狀態與負面證據；例如兩個已驗證的不同電話應降低分數。只在同一候選區塊內評分，可把全量 O(n²) 比較降為接近候選數的成本，但必須抽樣檢查 blocking 漏召回。
第三步：門檻與安全合併
把分數劃分為自動合併、人工複核與拒絕匹配三段。門檻應從帶標籤的正負樣本和錯誤代價確定，而不是憑感覺。自動合併要記錄匹配規則與分數；複核任務顯示衝突欄位與證據；拒絕結果保留原因，避免下次重複計算。使用並查集或連通分量時，要阻止一串低信心邊把多個不同的人串成一人。
第四步：主紀錄、增量與監控
主紀錄依已驗證來源、業務優先級和更新時間選擇欄位，並保留每個欄位的 provenance、舊值與生效時間。新紀錄只與相關區塊比較，規則或來源資料變更時支援重跑。定期抽樣人工複核，按來源、語言、地區與時間視窗監控 precision、recall、複核率及元件大小；發現誤合併上升就暫停自動發佈並回溯受影響主鍵。
6. 高品質示範回答
我會先把每筆紀錄設計為「原始值加正規化值」，並記錄來源、來源主鍵、驗證狀態與事件時間。姓名、電子郵件、電話依可解釋規則標準化，再用電子郵件、電話和姓名加地區的多路 blocking 產生候選。候選之間計算共享欄位、編輯距離、驗證狀態與衝突懲罰，分成自動合併、人工複核與不匹配三個區間。門檻用人工標註集和業務錯誤代價校準。
合併時我不會只保留一行。主紀錄的每個欄位都記錄所選來源、規則版本、生效時間和被捨棄的值；只有強證據形成的連通分量才能合併，弱邊只能進入複核。離線評估同時報告 precision、recall、F1、複核率和誤合併樣本，增量執行則監控各來源和時間視窗的漂移。如此既能擴展到新來源，也能在發現誤合併時定位規則、拆分實體並重放結果。
7. 常見錯誤
- 直接用姓名相等判斷身分，忽略同名、轉寫、別名和共用聯絡方式。
- 對所有紀錄做兩兩比較，未說明候選生成與漏召回監控。
- 把模糊分數當成事實，缺少人工複核區間與衝突懲罰。
- 只輸出一行主紀錄，遺失來源值、規則版本和可追溯證據。
- 只看 accuracy；在類別不平衡時沒有分別報告 precision、recall 和錯誤代價。
- 用一條弱匹配邊連接大型連通元件，造成不可逆的過度合併。
8. 追問及應對
追問一：為什麼不直接訓練一個分類器？
有足夠標註資料時可以學習匹配分數，但仍需要可解釋特徵、門檻校準、人工複核和版本化回溯。規則、模型和人工決策都應輸出證據，方便處理新來源和合規申訴。
追問二：precision 和 recall 如何取捨？
把誤合併與漏合併的業務損失寫成可比較的成本，再用驗證集觀察門檻曲線。付款或合規情境通常先保護 precision，客戶去重可能接受較高 recall，但都要保留人工複核帶與抽樣稽核。
追問三：如何發現過度合併？
監控連通元件大小、低分邊比例、跨來源衝突和人工拆分率；對異常大型元件抽樣展開證據圖。發現問題後暫停自動合併，依規則版本拆分受影響實體並重放增量結果。