面向分层语言模型的动态多字节预测

摘要

字节级分层语言模型（LM）近期作为子词分词模型之外的一种稳健替代方案而兴起。然而，逐字节生成仍是推理速度的一大瓶颈。为此，我们提出多字节预测（MBP），可并行生成多个字节，在最小化性能影响且不增加参数的同时加速推理。MBP基于流行的多标记预测（MTP）范式，并进行两项关键创新：一是引入与分层LM的潜在标记（即段）对齐的变长预测窗口；二是实现一种新颖的注意力掩蔽方案，使并行字节预测在不违反因果性的前提下成为可能。我们表明，多字节预测在多种生成任务（指令跟随、问答、摘要和机器翻译）中实现了帕累托最优权衡，取得了性能与推理吞吐量之间的最佳平衡。