DiScoFormer: 一个跨分布用于密度和分数的Transformer

摘要

许多机器学习和科学问题本质上是恢复数据点背后的分布，需估计密度和分数。密度是直方图的平滑版本，分数是对数密度的梯度，指示密度上升最快的方向，驱动扩散模型和贝叶斯采样。现有方法面临权衡：核密度估计（KDE）无需训练但高维精度下降；神经分数匹配模型高维准确但需重训。我们提出DiScoFormer（密度和分数Transformer），通过共享主干和双输出头，在一个前向传播中无需重训即可估计任意分布的密度和分数，利用跨注意力评估任意点的值。