量化ASR模型中的基准优化

摘要

公共基准是衡量自动语音识别（ASR）模型能力的重要手段，但模型可能针对基准进行优化，导致在真实数据上泛化不佳。本文提出一种量化基准优化的方法，聚焦于音频不足以确定参考转录文本的情况。研究者设计了三种行为探针：参考分歧、掩码数字恢复和正字法切换，以探测模型在音频不明确时复现基准参考片段的能力。结果发现，得分最高的开源模型即使在音频矛盾、掩码或模糊时也会输出逐字参考转录。通过多种机制探针，表明模型依赖狭窄的声学线索，覆盖音频的真实表征，转而采用基准优化策略。这些行为可通过低秩线性引导或音频拼接进行因果操控。总体而言，高性能模型表现出基准条件性行为，可能虚增基准分数，而不反映通用转录能力的提升。