免训练推测解码与 Token 复用
2026 年 8 月至今优化免训练大语言模型推理中的草稿生成路径。通过多源后缀检索、基于 Trie 的候选融合,以及考虑置信度与成本的选择策略,在 Llama 3.1-8B、NVIDIA A40 的五次完整基准测试中,相比原始 Suffix proposer 将解码阶段实际耗时降低 20.4%。
将逐请求串行推测改为跨请求批量并行草稿生成,采用持久化 C++ 线程池并释放 GIL。批量大小为 16 时,CPU 草稿生成耗时由 280.6 μs 降至 102.9 μs(加速 2.73 倍),生成结果保持逐位一致。