题目与范围
表按天追加写入，但 account_id 未聚簇；等值查询通常命中远低于 1% 的行。请说明如何在不改变结果的前提下跳过行组或页面、如何验证读写端支持，以及何时元数据和写入成本不值得。容量和选择率是面试假设，核心能力是概率型文件布局优化，因此分类为 data。
面试官考察点
优秀回答会区分概率成员测试与精确索引：负结果证明不存在，正结果只表示需要保留候选。还应说明目标实现的过滤粒度和存储位置，处理 null 与编码，并保留普通读取回退。必须提出相同快照、缓存条件和读者版本的对照实验。
先澄清的问题
- 线上 Parquet 写入器和读取器及其版本是否支持 Bloom filter？
- 谓词只有等值，还是还要支持
IN列表和键规范化？ - 当前实现按列块、行组还是页面附加过滤器？
- 每个受保护单元的基数分布和目标误报率是多少？
- 旧读者能否忽略元数据并返回相同结果？
- 文件是否不可变，压缩和重写会带来多少持续 CPU 成本？
30 秒答题框架
“先确认端到端读写支持，并检查样本 footer 中过滤器偏移与大小。只对高选择性的等值列启用，根据真实分布设定误报目标，并保留禁用过滤器的对照组。灰度期间比较读取单元、字节、CPU、延迟、过滤器字节和准确结果。只有确定的负结果才能跳过；正结果仍执行精确谓词。若读取器不支持或查询很宽，继续普通 Parquet 过滤。”
分步作答
步骤 1：确认能力和粒度
阅读 Apache Parquet Bloom-filter 规范及当前库的实现状态。验证写入器持久化过滤器、读取器按目标谓词消费过滤器，并记录偏移、长度和保护的数据单元；不能假设所有引擎粒度一致。
步骤 2：选择列并确定容量
估计每个受保护单元的基数和查询选择率。依据明确的误报目标确定容量，再测量内存、footer 增长和写入 CPU。过小会产生大量正结果，过大则增加元数据 I/O，却未必改善宽扫描。
步骤 3：保持概率语义
查询值得到负成员结果时可安全跳过单元；得到正结果只代表“可能存在”，读取器仍须解码并执行精确谓词。不能直接用 Bloom filter 返回空结果，并分别测试 null 与键规范化。
步骤 4：带对照灰度
先为一个分区或文件批次写入过滤器，同时保留等价的无过滤器批次。对同一快照、工作负载、并发度和读取器版本运行点查找、长 IN、缺失键、热点键及低选择率查询。
步骤 5：定义验收与回滚
记录测试单元数、负结果、误报、读取单元、读取字节、过滤器字节、CPU、p50/p95 延迟和写入吞吐。比较过滤器开关两组的完整结果、计数和聚合；若结果不同、元数据开销升高或跳过率无意义，停止写入或禁用消费。
参考答案
“当等值谓词选择性高且值分散时，Bloom filter 有价值。我会先验证部署中的 Parquet 读写器支持，检查过滤器偏移和粒度，并按真实误报目标定容量。在灰度分区设置无过滤器对照，控制快照、缓存和资源。负成员结果可跳过单元，正结果必须执行精确谓词。验收要求结果完全一致，同时读取单元、字节和 p95 下降，并监控 footer 增长、CPU 与写吞吐。不支持的旧读者继续普通读取，发布可回退。”
常见错误
- 把“可能包含”当成确定包含 → 会丢失匹配行 → 正结果后解码执行精确谓词。
- 默认所有读取器支持 → 元数据被忽略或行为不一致 → 按版本建立读写矩阵。
- 按全表基数定容量 → 局部单元分布不同 → 测量每个受保护单元的基数。
- 只测点查找 → 宽扫描可能承担额外开销 → 加入低选择率负对照。
- 使用不同快照比较 → 结果和缓存效应混杂 → 固定快照、资源和工作负载。
- 忽略 null 与规范化 → 边界语义未验证 → 覆盖 null、大小写、编码和
IN。
追问
追问 1：误报会改变正确性吗？
不会，误报只增加读取。只有把正结果当证明，或在元数据损坏时错误信任负结果，才会造成正确性问题。
追问 2：何时不值得写 Bloom filter？
全表扫描、低选择率、小文件以及读取器忽略过滤器时收益很小。应比较过滤器字节、写入 CPU 与实际跳过收益。
追问 3：如何验证缺失键？
选取快照中不存在的键，确认多数受保护单元返回负结果，再比较开关过滤器时完整查询均为空。
追问 4：读取器不支持怎么办？
读取器应忽略可选元数据并执行普通行组或页面过滤。保留兼容性测试，不能把过滤器存在作为正确性的前置条件。