Rescoring fewer full-precision vectors significantly reduced disk read I/O by up to 80% on a production cluster, boosting query throughput, particularly on smaller VMs where memory is limited. By using binary quantization, more vectors can be stored in RAM, while high recall is maintained by rescoring full-precision candidates from SSD. This approach reduced vector search latency by up to 4.3 times on low-memory VMs by dynamically pruning rescore candidates, leading to fewer SSD reads and faster searches. Charts showed variations in VM disk read throughput, highlighting improvements in query latency and throughput after optimization. #### 内容简介 推文描述了一种在线上集群中通过减少对全精度向量的重评分（rescore）来大幅降低磁盘读取 I/O 的实践：在一个生产集群上，减少重评分将 SSD 读取量最多降低了约 80%。他们用二值量化（binary quantization）把更多向量放在 RAM 中进行初筛评分，然后只把少量候选项从 SSD 读出并用全精度重评分以保持召回。对小内存 VM 效果尤其明显，因为全精度向量无法全部驻留内存；通过动态裁剪需要重评分的候选数，向量检索延迟在低内存环境中最高降低了 4.3 倍。结论是：更少的重评分→更少的 SSD 读写→更快的检索吞吐与更低延迟。 #### 社区观点 观点1：很多人赞同混合策略（量化初筛 + 全精度重评分）是工程上常见且有效的折中，可显著减少磁盘 I/O 并提高小机型性能； 观点2：有人担心过度裁剪候选会降低召回率，特别是对长尾或微妙相似度差异的查询，需要严格评估 recall-vs-latency 的权衡； 观点3：有讨论指出动态裁剪的核心在于选择合适的阈值和候选数，这通常依赖于查询分布、向量维度和量化误差统计； 观点4：部分评论关注实现复杂度——维护两套向量表示、异步读取 SSD、并发控制与监控都增加工程成本； 观点5：有人提出要关注硬件细节（如 SSD 类型、带宽、IOPS 与 NUMA 拆分），因为不同存储配置下收益会有较大差异； 观点6：还有建议在生产验证时用端到端指标（p99 延迟、查询吞吐、实际召回、成本）而非仅看单点指标，便于判断优化是否值得； 观点7：有评论提到可扩展性与弹性问题：当查询量或数据规模增长时，需要评估量化表示与重评分策略的长期可维护性。 #### 内容导读 理解这则推文，应把注意力放在“用量化表示做内存内初筛 + 有选择地用全精度重评分”这一设计思想上。关键点是：通过把大部分向量以二值化或低精度形式放进 RAM，可以在内存中完成快速粗排，只有少量最有希望的候选从 SSD 读出并用全精度重评分以恢复召回，从而大幅减少 SSD 读取，提升弱内存机器的吞吐与延迟表现。要评估和复现这类优化，需要关注几项要素：量化方法与误差、初筛候选数与动态裁剪策略如何影响召回、目标硬件的内存/SSD 特性，以及端到端指标（吞吐/延迟/成本/召回）。在实践中，先做小范围 A/B 测试并收集 p50/p95/p99、召回率和磁盘 I/O 指标，逐步调整候选阈值与量化参数，是把该优化安全落地的常用路径。