如何安全接收不可信的 Apache Arrow IPC 資料？

1. 場景與威脅模型

分析服務從外部租戶接收 Arrow IPC stream，再交給 Python、Rust 和 Java 消費者。攻擊者可能構造不一致的 schema、超大長度、越界 offset、遞迴巢狀、惡意字典，或讓接收端配置遠超預算的 buffer。目標是保持批次吞吐，同時確保解析失敗只影響目前請求。

先劃分信任邊界：網路位元組、IPC metadata、buffer 內容和業務 schema 都是不可信輸入；已驗證租戶不等於資料安全。安全模型要覆蓋 Arrow Columnar Format、C Data Interface 和 IPC，而不是只依賴某個語言綁定的預設解析器。

Arrow 的欄式格式描述 buffer、長度、offset、null bitmap、字典和巢狀布局。零拷貝可減少複製，但也代表消費者可能直接讀取由外部輸入描述的記憶體區域。安全實作必須驗證 metadata 與實際 buffer 一致，再把資料交給計算引擎。

不要把「格式規範正確」當成「輸入已驗證」。協定版本、擴充型別和實作語言會產生不同邊界；接收端應固定支援的版本與型別集合，並對未知欄位採用明確策略。

第一階段只解析有限 metadata，檢查欄位數量、巢狀深度、資料型別、字典引用和 batch 列數上限。對每個 buffer 驗證 offset + length 不溢位且落在實際配置範圍內；對可變長字串和列表驗證 offset 單調、不超出 values buffer。

text

if offset < 0 or length < 0: reject
if offset > buffer_size: reject
if length > buffer_size - offset: reject
if nesting_depth > MAX_DEPTH: reject

算術使用防溢位型別，拒絕負數、異常大的整數和不符合 schema 的 null count。不要先依攻擊者聲明的長度配置記憶體，再在後續階段驗證。

為單一請求設定 metadata 位元組數、欄數、列數、總 buffer 位元組、巢狀深度、字典大小和 CPU 時間預算。把預算傳給每個批次解析器，超過門檻立即取消目前請求，並釋放已配置資源。

IPC stream 使用有界讀取和批次背壓，不把整個上傳一次載入記憶體。對壓縮、字典和重複引用設定展開後上限，防止小輸入放大成大配置。配額按租戶隔離，避免惡意請求擠佔所有 worker。

只有在 buffer 所有權、生命週期和邊界已驗證，且下游不會修改資料時，才保留唯讀零拷貝。網路接收緩衝、暫時 mmap 或跨語言 FFI 記憶體若可能提早釋放、重用或被寫入，應複製到受控 arena。

複製不是失敗；它是把不可信生命週期轉換為受控生命週期的安全邊界。可以按欄選擇：數值欄在驗證後共享，字串、字典和巢狀欄在預算允許時複製。記錄複製位元組與延遲，避免用「全量零拷貝」掩蓋風險。

解析器執行在受限 worker 或程序中，設定 CPU、記憶體、檔案描述元和執行時間限制。解析錯誤只回傳結構化原因（版本不支援、schema 不匹配、offset 越界、預算超限），不要回顯原始 payload 或內部位址。

對擴充型別、未知 metadata 和未來欄位採用白名單；需要相容時先轉換到內部 schema，再進入查詢引擎。升級 Arrow 25 或語言綁定前，使用同一組惡意 corpus 做差分測試，確認錯誤分類、峰值記憶體和結果一致。

記錄租戶、格式版本、schema hash、拒絕原因、輸入大小、解析耗時、峰值記憶體、複製位元組和取消次數；對 payload 做雜湊而非記錄敏感內容。為每類驗證失敗設定告警門檻，區分誤配客戶端與持續攻擊。

模糊測試產生隨機 schema、offset、null bitmap、字典和截斷 stream，並用 AddressSanitizer、MemorySanitizer 或語言等價工具檢查崩潰和越界。保留最小化樣本，修復後回歸。發現生產異常時先隔離租戶或格式版本，再分析樣本和輪換受影響憑證。

優秀答案會把格式驗證、資源治理、記憶體所有權和執行證據連成閉環：先拒絕不可能的布局，再按預算消費批次，最後用隔離、模糊測試和指標證明不可信輸入不會擴散成服務級故障。