PATE —— 新的 “时序异常” 评估指标

如有侵权或其他问题，欢迎留言联系更正或删除。

出处：KDD 2024

代码链接： https://github.com/Raminghorbanii/PATE

一 动机介绍

(1) “时序异常检测” 任务应该关注的要点：

① 早期检测（Early Detection）：如上图的 a1 与 p11；

基于数据模式在时间维度上的微妙变化，潜在的时序异常在其完全显现前被检测出；

② 延迟检测（Delayed Detection）：如上图的 a1 与 p12；

当异常事件未被立即检测到，而在稍后被检测出；

③ 启动响应时间（Onset Response Time）：如上图的 a2 与 p21、p22，p21更优；

指异常检测与事件开始间的距离；（* PS. 跟 Imdiffusion 内的 ADD差不多？）

④ 预测覆盖级别（Coverage level of Predictions）：如上图的 a3 与 p31、p32，p31更优；

指预测覆盖实际异常的范围，预测的有效性可通过它成功捕获了多少异常来衡量；

(2) PATE 与现有指标的全面比较：

二 Method

(1) 事件分类：

① 预测事件分类（Prediction events categories）：

Ⅰ True - Detection：准确检测且无任何遗漏，如：p1、p6-2；

Ⅱ Post - Buffer - Detection：延后预测，预测事件落入 “后缓冲区”，如：p2、p6-3；

缓冲区大小可由专家根据具体应用需求相应调整，若缺乏专家知识，可设定一系列长度的缓冲区；

Ⅲ Pre-Buffer Detection：提前预警预测，预测事件落入 “前缓冲区”，如：p4、p6-1；

缓冲区大小可由专家根据具体应用需求相应调整，若缺乏专家知识，可设定一系列长度的缓冲区；

注意：“前缓冲区” 不与 “后缓冲区” 重叠，“后缓冲区” 优先级高于 “前缓冲区”；

个人理解：这代表 PATE 更重视对 时序异常 的 “全部检出”；

Ⅳ Outside：完全处于缓冲区外的预测事件，如：p3、p7（此处p7可能绘制错误）

② 异常事件分类（Anomaly events categories）：

Ⅰ Total Missed Anomalies：完全遗漏异常，如：a4 和 p7；

Ⅱ Partial Missed Anomalies：部分检出异常，如：a2 和 p5；

(2) 各类事件 对应的权重分配：

Ⅰ True - Detection：

Ⅱ Post - Buffer - Detection：

针对 TP 的计算：

公式解读：

* 核心思想：

① 考虑整个异常事件的影响：传统的异常检测方法可能只关注异常事件的起点或终点，而这种方法通过计算点 t 与异常事件中所有点的距离，全面考虑了异常事件的影响；

② 权重随距离减递：点 t 距离异常事件越远，其权重越低，反映了异常事件的影响随时间逐渐减弱；

③ 归一化处理：通过分母的归一化，确保权重值在合理范围内，便于后续分析。

针对 FP 的计算：（直接与 TP 相反）

Ⅲ Outside Weights：

Ⅳ Pre-Buffer Detection Weights：（与 Ⅱ 思想雷同，此处仅展示公式）

针对 TP 的计算：

针对 FP 的计算：

Ⅴ Total Missed Anomalies Weights：

Ⅵ Partial Missed Anomaly Weights:

(3) PATE 的最终分数：

具体实验一：

部分重要结论：（其余结论较为符合直觉）

① s1 和 s5 对比，s5 分数更高，是因为 s5 更可能为滞后预测，而 s1 更可能是随机噪音；（几乎为0）

① s2 和 s4 对比，s2分数更高，是因为 s2 更靠前，异常检测的实时性极为重要；

具体实验二：不同的数据集由于其数据特性，应当被选择不同长度的缓冲区，而 PATE 的先进之处还在于缓冲区大小的选择只会影响绝对值，不会影响模型评估时的 “相对排名”：

PS. 在本文的附录内，还介绍了一种新颖指标：PATE - F1 ！

另外， VUS 系列指标通过更改原始标签，给出了不切实际的分数，另外，使用 VUS 评估理论最优时序异常分数，未达理论最大值1 ！