信息论与编码篇---DLM

DLM是一位患了"强迫症"的细节控，它的使命是揪出每一个"本该在却不见了"的细节。

一、什么是DLM？

DLM的全称是细节损失度量，它由加州大学圣塔芭芭拉分校的图像质量评估实验室提出，是一种专门用于评估图像细节丢失程度的客观质量评价指标。

DLM要回答的核心问题是：这张失真图像，相比原始图像，丢了多少本该存在的细节？

这个问题看似简单，实则复杂，因为：

• 不是所有区域丢失细节都会被同等扣分（纹理区和平坦区不一样）

• 不是所有细节丢失人眼都能察觉（对比度掩蔽效应）

• 细节丢失可能发生在不同尺度上（从整体轮廓到细微纹理）

DLM正是为了解决这些复杂性而设计的。

二、为什么要单独关注"细节损失"？

在图像失真中，有两类性质完全不同的问题：

DLM专门负责前者——细节损失。

为什么要把细节损失单独拎出来？因为人眼对细节损失极其敏感，而且这种敏感度会随着图像内容变化：

1. 纹理区域：这里本来就很"乱"，如果细节丢失导致纹理变平滑，人眼会立刻察觉（草地变成绿毯）

2. 边缘区域：这里是视觉焦点，如果边缘变模糊，人眼会立刻察觉（轮廓不清晰）

3. 平坦区域：这里本来就没细节，所以细节损失问题不适用（天空本来就平滑）

所以，DLM的设计思路是：把图像分成不同区域，用不同方法评估细节损失。

三、DLM的核心原理（通俗版）

DLM的工作流程可以分为五个关键步骤：

第一步：图像分解——把图像拆开看

DLM首先将图像分解成多个子带（不同频率和方向的通道），就像用不同倍数的放大镜观察图像：

• 低频子带：包含整体轮廓、大尺度结构

• 中频子带：包含主要纹理、中等细节

• 高频子带：包含细微纹理、边缘细节

这样分解的好处是：不同频段的细节丢失，可以用不同方式处理。

第二步：区域分类——把图像分区管

DLM把每个子带中的图像区域分成三类：

1. 纹理区域：像草地、毛发、布料纹路这些地方。特点是：本身就有丰富的细节变化。

2. 边缘区域：像物体轮廓、文字笔画这些地方。特点是：亮度突变明显。

3. 平坦区域：像天空、墙面这些地方。特点是：亮度变化平缓。

为什么分类？因为在这三类区域中，细节损失的表现完全不同：

• 纹理区域：细节损失表现为"纹理平滑化"

• 边缘区域：细节损失表现为"边缘模糊化"

• 平坦区域：本来就没细节，所以DLM不关心（这是ADM2的战场）

第三步：对比度掩蔽建模——考虑人眼的"宽容度"

这是DLM最精妙的部分。它考虑了一个重要的视觉特性：对比度掩蔽。

简单来说：在纹理丰富的区域，人眼对额外的失真不太敏感，因为"乱中更难看出乱"。

举个例子：

• 在茂密的草地上加一点模糊，你可能看不出来——因为草地本来就"乱"，再加点乱也察觉不到

• 在纯净的天空上加同样程度的模糊，一眼就能看出来——因为天空太"平"了，任何变化都很明显

DLM会为每个区域计算一个"掩蔽系数"：

• 纹理越丰富，掩蔽系数越高 → 同样的细节损失，扣分越少

• 纹理越简单，掩蔽系数越低 → 同样的细节损失，扣分越多

第四步：细节损失检测——找出"丢了什么"

有了前面的准备，DLM开始真正检测细节损失。它比较原始图像和失真图像在每个子带、每个区域的统计特性：

对于纹理区域：

• 计算原始图像的纹理强度（有多"乱"）

• 计算失真图像的纹理强度（还剩多"乱"）

• 差值就是纹理细节损失

对于边缘区域：

• 计算原始图像的边缘锐度（有多清晰）

• 计算失真图像的边缘锐度（还剩多清晰）

• 差值就是边缘细节损失

第五步：池化与综合——汇总分数

最后，DLM把所有子带、所有区域的细节损失分数汇总，得到最终的DLM指数：

• DLM分数 = 0：完美，没有任何细节损失

• DLM分数越大：细节损失越严重

• DLM分数通常归一化到[0,1]区间，便于与其他指标比较

四、DLM的数学表达（简单版）

虽然DLM的实际计算涉及复杂的统计模型，但其核心思想可以简化为：

DLM = 1 - (失真图像的感知细节量) / (原始图像的感知细节量)

或者更精确地说：

DLM = Σ [ 区域类型权重 × 掩蔽系数 × (原始细节强度 - 失真细节强度) ]

其中：

• 区域类型权重：不同区域（纹理/边缘）对整体质量的影响不同

• 掩蔽系数：考虑对比度掩蔽效应，调节扣分力度

• 细节强度：通过统计模型计算出来的细节丰富程度

五、DLM在VMAF中的角色

在VMAF这个"复仇者联盟"里，DLM扮演着重要角色：

1. 与VIF互补：

   • VIF：评估整体信息保真度（"信息总量"）

   • DLM：专门评估细节损失（"该有的细节"）

2. 与ADM2互补：

   • DLM：负责"缺了什么"

   • ADM2：负责"多了什么"

3. 多尺度处理：DLM在多个尺度上计算细节损失，确保从整体轮廓到细微纹理都被覆盖

4. 特征输入：DLM的输出作为特征之一，输入VMAF的机器学习模型，与其他特征（VIF、ADM2、Motion）一起，共同预测主观质量分数

六、实际应用中的价值

1. 编码器调优：

   • DLM分数高 → 编码器过度平滑，细节丢太多

   • 调优方向：提高码率、调整量化参数

2. 去噪算法评估：

   • 好的去噪算法应该保持DLM低（不丢细节）

   • 差的去噪算法虽然去除了噪声（ADM2降了），但把细节也磨掉了（DLM升了）

3. 超分辨率评估：

   • 好的超分算法应该降低DLM（恢复细节）

   • 差的超分算法只是简单放大，DLM可能不降反升

4. 图像增强验证：

   • 验证锐化、对比度增强等算法是否真的增强了细节，还是只是"假细节"

七、DLM总结框图 (Mermaid)

下面这张流程图可以帮助你理解DLM的完整工作逻辑：

框图解读：

1. 输入与多尺度分解：输入原始图像和失真图像，通过滤波器组分解成多个频率/方向子带。

2. 区域分类：在每个子带上，将图像区域分为纹理区、边缘区和平坦区（平坦区转给ADM2处理）。

3. 视觉掩蔽建模：

   • 纹理区：计算对比度掩蔽系数，纹理越丰富，对细节损失的容忍度越高

   • 边缘区：计算边缘掩蔽系数，边缘附近有一定掩蔽效应

4. 细节损失计算：

   • 纹理区：比较原始和失真图像的纹理强度变化

   • 边缘区：比较原始和失真图像的边缘锐度变化

5. 多尺度池化：汇总各尺度的纹理损失和边缘损失。

6. 加权融合：考虑区域类型权重和掩蔽系数，综合得到最终DLM指数。

7. 输出：DLM指数作为特征，输入VMAF的机器学习模型。

八、DLM与其他指标的对比

总结

简单来说，DLM是一位"细节守卫"，它的工作流程是：

1. 把图像拆开（多尺度分解）

2. 把区域分类（纹理区/边缘区）

3. 考虑人眼宽容度（对比度掩蔽）

4. 找出丢了什么（细节损失检测）

5. 汇总打分（多尺度池化）

在VMAF这个团队里，DLM负责回答："这张图，该有的细节还在不在？"它的答案，和VIF（信息总量）、ADM2（附加损伤）、Motion（运动掩蔽）一起，共同构成了最接近人眼感受的质量评价。