人工智能篇---图像生成
一、图像生成：从随机噪声创造视觉内容
图像生成是指让模型从无到有创造新的、逼真的图像。核心思想是让模型学习真实图像的统计分布，然后从这个分布中采样。
主流技术路线
1. 生成对抗网络
核心思想：两个网络博弈对抗。生成器负责“伪造”图像，判别器负责识别“赝品”。两者相互促进，最终生成器能创造出以假乱真的图像。
关键演进：
DCGAN：将 CNN 引入 GAN，奠定了图像生成的基础架构。
StyleGAN 系列 (NVIDIA)：将生成过程解耦为“粗糙风格—中等风格—精细细节”等层级，实现了对发型、肤色、姿态等属性的解耦控制，直到今天仍是高质量人脸生成的标杆。
代表应用：人脸生成、超分辨率、风格迁移。
2. 扩散模型
核心思想：受非平衡热力学启发，分为前向加噪和反向去噪两个过程。
前向过程：不断向一张真实图像上添加随机噪声，直到它变成完全的纯噪声。
反向去噪：训练一个 U-Net 网络，学习如何从纯噪声中，一步步“去噪”，还原出清晰的图像。
关键演进：
DDPM：为扩散模型奠定了质量标杆，但采样非常慢。
Stable Diffusion：把扩散过程搬到低维潜空间进行，大幅降低计算量，让消费级显卡也能运行。同时支持用文本（通过 CLIP 编码器）来控制生成过程。
DiT/Sora：用 Transformer 架构取代传统的 U-Net 骨干，用更强的模型扩展性把生成质量推向了新高度。
代表应用：文生图、图生图、图像超分、3D 生成。
3. 自回归模型
核心思想：像 GPT 写作文一样，把图像切成小块，然后一个接一个地“预测”下一个图像块，将图像生成为序列建模问题。
代表：VQGAN、DALL·E (早期版本)。
主要短板：逐块生成导致速度很慢，现在逐渐被扩散模型的光芒盖过。
核心应用场景
创意设计：为设计师提供概念图、海报等灵感素材。
内容创作：游戏资产、电影特效的背景或道具批量生成。
数据增强：为下游任务生成多样化的训练样本，解决数据不足问题。
二、图像修复：让残缺的画面重归完整
图像修复是在图像有缺失部分时，根据剩余像素，对缺失区域进行合理的内容重建。它本质上可以看作是一种以既有图像为条件的受限生成。
主要方法分类
1. 基于快速行进法
原理：从破损边缘由外向内逐像素扩散。用周围已知像素的加权平均来填补。
缺点：纯数学平滑，无法重建纹理或结构，结果非常模糊。只适合极细的划痕。
2. 基于传统纹理合成
原理：在已知区域搜索最相似的纹理块，直接“搬”过来填补。
缺点：没有语义理解，会闹出“眼睛补在额头上”的笑话。
3. 基于深度学习
上下文编码器：面对大面积缺失，网络必须理解图像全局语义，才能推理出那里应该是什么，然后用解码器重建出缺失区域。
部分/门控卷积：普通卷积会把掩码当成真实像素来计算。部分卷积只对有效像素区域做归一化，仅从真实像素中学习特征，能有效避免产生伪影。
LaMa：Meta 提出的方案，使用快速傅里叶卷积，是当前高效且效果优秀的技术路线。
基于扩散模型的修复：像 Stable Diffusion Inpainting，在去噪过程中，以未掩码区域为条件来引导生成。这是目前生成效果最好、泛化能力最强的修复路径。
两大修复场景
去除物体：指定要移除的物体蒙版，模型自动用合理背景填充。
老照片修复：修复折痕、霉斑，甚至着色的组合应用。
三、两者关系与核心挑战
关系：图像修复本质上是一种强条件下的局部图像生成。因此，生成模型越强大，修复能力的天花板也越高。扩散模型的出现就同时拉高了两个领域的上限。
共同核心挑战：
语义一致性：修复的缺失部分需要符合全局上下文。
纹理细节逼真：避免模糊和人工痕迹。
多样性：给定相同输入/掩码，能否产生多种合理结果。
可控性：能否精确局部修改而不改变背景。
四、总结框图
这张图展示了两条并列的技术路线：图像生成从随机噪声走向新图像，图像修复从残缺图像走向完整图像。而扩散模型作为当前最强技术，像一座桥梁一样连接了二者，深刻地推动了两个领域的边界融合。