为什么 Midjourney 效果远远好于开源的 Stable Diffusion Model?

首先说一下，Stable Diffusion是很强的生产力工具，并不比Midjourney差。但是很多人用Stable Diffusion生成的图片总感觉没Midjourney生成的讨喜，尤其是写实类的，缺乏一种摄影感，原因是没明白扩散生成的一些原理。拿随手生成的两幅图来说明一下。图1图2是不是图1有一种Midjourney生成作品的感觉，而图2一看就是SD生成的？至于是什么原因，我们可以把图先转换为灰度模式，然后对图像添加平均滤镜：图1呈现出明显的暗调强对比，而图2明度平均而对比度较低。而进一步把两张图转换为平均灰度图后，会发现图1的灰度为27%，而图2为47%，接近中性灰。这就是原因，SD如果不添加合适的Lora与提示词控制画面的调性，其生成图就会默认灰度很平，造成视觉效果不如Midjourney视觉冲击力强。至于原因，可以看下图扩散模型的原理演示：扩散模型简单来说是一种加降噪的过程，但是添加的噪音是高斯分布的，所以最终图像会呈现出一个明度中性的状态。而反向扩散推理时，由于你用的随机噪音图就是个很平均的明度中性的分布，用这张噪音图反向推理出图像时，那么生成的图像也必然大概率也是明度相当平均，就如同图2一般。而图像的艺术性来自于明暗与色彩的对比，SD默认生成整体对比度低，且明度相对平均的图像，当然就没有Midjourney生成的图像那样具有视觉冲击力了。对于二次元插画可能这个问题不够突出，毕竟二次元模型的画风往往就是高明度与色彩对比，而对于写实作品，由于训练用的很多图片本身就缺乏对比，所以画面效果会显得很平。当然想解决这个问题也并不复杂，可以使用一些Civitai上训练好的Lora来控制扩散的整体明度，比如LowRA、epi noise offset等，同时添加一些控光的关键词，来强化画面中的光线效果。