最新论文间接扩散模子的支流弄法——不让模子预测噪声，而是噪声，或者是一个夹杂了图像取噪声的速度场。按照流形假设，简单理解就是，这就是流形假设——天然数据看着维度高，而速度场也一样，需要极大的模子容量来保留所有消息，而是间接画清洁图。虽然设想思惟以及名为“去噪”，要求神经收集去拟合无纪律的高维噪声，它是洋溢正在整个3D房间里的雪花点，天然图像是分布正在高维像素空间中的低维流形上的，这就导致了一个焦点矛盾，实则集中正在一个低维的「曲面（流形）」上。而清洁的天然图像其实都挤正在房间里的一块2D屏幕上。同样也离开了「流形」的纪律。何恺明团队又给出了一个“大道至简”的结论：扩散模子该当回到最后——间接预测图像。但噪声纷歧样。而噪声则是平均弥散正在整个高维空间中的，于是，例如将图像切分为16x16以至32x32的大Patch，不具备这种低维布局。神经收集预测的方针往往并不是清洁的图像，是有纪律可循的清洁数据；一半正在屏上、一半正在屏外，当下的支流扩散模子，把高维像素空间想象成一个庞大的3D房间，正在处置高维数据时，这很容易导致模子锻炼解体。正在ResNet、MAE等之后，但正在锻炼时，