机器学习模型评估：如何量化聚合指标的不确定性？

1. 项目概述与核心问题

在机器学习的日常工作中，我们经常面临一个看似简单实则棘手的问题：如何判断一个模型真的比另一个模型“更好”？尤其是在多任务基准测试（Benchmark）中，我们习惯性地将模型在各个任务上的表现（如准确率、F1分数）取个平均值，然后根据这个单一的汇总分数进行排名。排行榜上，第一名和第二名之间那0.5%的微小差距，常常被我们视为决定性的优势。但这里隐藏着一个巨大的陷阱——我们完全忽略了统计不确定性。

想象一下，你让两个学生做同一套包含19道题的试卷（对应VTAB基准的19个任务）。学生A平均分68.0，学生B平均分67.6。你能斩钉截铁地说A比B优秀吗？如果这套试卷的题目每次都是从一个大题库里随机抽取的，那么下次抽题，结果会不会反转？这个由于“抽样”带来的波动，就是统计不确定性。在模型评估中，我们的测试集就是从真实数据分布中的一个“抽样”，基于此计算的任何指标（准确率、召回率）都是一个点估计，它本身是有误差的。忽略这个误差，就像只看一次抽样的成绩就给学生定终身一样武断。

这个问题在评估预训练模型或基础模型时尤为突出。这类模型通常在一个庞大语料库上预训练，然后被微调以适应一系列下游任务。为了给出一个整体评价，我们会将模型在各个任务上的指标聚合起来，比如计算平均准确率。然而，不同任务的难度、数据量、评价尺度千差万别。一个在“结构化图像”任务上表现惊艳的模型，可能在“自然图像”任务上平平无奇，简单的平均可能会掩盖其专项优势。更重要的是，当两个模型的聚合分数非常接近时，我们无法确定这微小的差异是模型能力的真实体现，还是仅仅因为测试数据的随机波动。

因此，本文的核心目标，就是为机器学习基准测试中的聚合性能指标，引入一套系统性的不确定性量化方法。我们将深入探讨两种主流统计方法——自助法和贝叶斯层次模型——的原理、实现与优劣，并展示如何通过可视化技术，洞察不同任务权重对模型排名的影响。我们将以经典的视觉任务适应基准VTAB为例，手把手带你复现分析过程，让你在下次看到排行榜时，能多一份审慎，多一份洞察。

2. 不确定性量化的核心原理与价值

2.1 为什么聚合指标需要不确定性？

首先，我们需要明确一个基本事实：任何基于有限测试数据集计算出的性能指标，都是一个随机变量的观测值。设模型i在任务j上的真实性能参数为 θᵢⱼ（例如，在所有可能数据上的真实准确率）。我们通过测试集观测到的是它的一个估计值，记为 Yᵢⱼ。当我们聚合多个任务的表现时，例如计算未加权的平均性能 θ̄ᵢ. = (1/J) Σ θᵢⱼ，我们实际上是在估计这个聚合参数。

不确定性就来源于这里：Yᵢⱼ 是 θᵢⱼ 的有噪声估计。因此，基于 Yᵢⱼ 计算出的聚合分数（例如 Sᵢ = (1/J) Σ Yᵢⱼ）也是 θ̄ᵢ. 的有噪声估计。如果我们只比较 S_A 和 S_B 这两个点估计值，就完全忽略了它们各自的标准误以及二者之差的抽样分布。这可能导致两种错误：

1. 假阳性（False Positive）：认为模型A显著优于模型B，但实际上差异可能完全由随机波动引起。
2. 假阴性（False Negative）：认为两个模型没有显著差异，但实际上模型A确实更优，只是由于测试数据不够多或任务难度差异，导致其优势未被充分体现。

2.2 核心挑战与统计视角

从统计学的视角看，多任务基准测试的模型比较问题，可以转化为基于相关观测数据估计函数参数，并量化其不确定性的问题。这里的函数就是我们的聚合规则（如加权平均）。挑战主要来自三个方面：

1. 任务异质性：不同任务的数据量（Nⱼ）差异巨大。一个只有200个测试样本的任务，其准确率的估计方差会远大于一个有20,000个样本的任务。在聚合时，小样本任务的噪声会被带入总分数中。
2. 指标尺度不一：不同任务的评价指标可能具有不同的范围和分布。直接平均可能不公平。例如，一个任务上准确率从95%提升到96%非常困难，而另一个任务上从60%提升到70%相对容易。
3. 相关性：模型在不同任务上的表现可能相关（例如，两个模型在“细粒度分类”任务上都表现不佳），任务之间的表现也可能相关。传统的独立假设会低估聚合指标的不确定性。

量化不确定性的价值在于，它将一个武断的“点估计排名”转变为一个更科学的“概率性比较”。它告诉我们：“在95%的置信度下，模型A的平均性能优于模型B”，或者“尽管模型A的点估计分数更高，但我们有相当大的把握认为两者的真实性能没有区别”。这对于资源有限的团队选择部署模型、对于学术研究得出可靠结论、对于竞赛组织者设计更稳健的评估流程，都具有至关重要的意义。

3. 方法论详解：自助法 vs. 贝叶斯层次模型

3.1 自助法：基于重采样的非参数估计

3.1.1 基本原理与步骤自助法是一种强大且直观的非参数统计方法，其核心思想是“把自己举起来”——通过从原始样本中有放回地重复抽样，来模拟数据的抽样分布。在模型评估的语境下，我们自助的对象是每个任务j的测试集。

具体操作流程如下：

1. 对于每个任务j：设其测试集有 Nⱼ 个样本。我们进行B次（例如B=1000）自助抽样。每次抽样，我们从该任务的 Nⱼ 个测试样本中有放回地随机抽取 Nⱼ 个样本，构成一个自助样本。
2. 计算任务指标：对于每个自助样本b(b=1,...,B)，我们用训练好的模型i进行预测，计算其在该任务上的性能指标 Yᵢⱼ⁽ᵇ⁾（如准确率）。
3. 聚合：对于每个自助样本b，按照预定的聚合规则（如简单平均、加权平均），将所有任务上的指标 Yᵢⱼ⁽ᵇ⁾ 合成为模型i的一个聚合分数 Sᵢ⁽ᵇ⁾。
4. 构建分布：这样，我们就得到了模型i的聚合分数 Sᵢ 的一个经验分布，包含B个样本 {Sᵢ⁽¹⁾, Sᵢ⁽²⁾, ..., Sᵢ⁽ᴮ⁾}。
5. 推断：
   • 点估计：可以用这B个样本的均值作为聚合分数 θ̄ᵢ. 的估计。
   • 置信区间：取该经验分布的 2.5% 和 97.5% 分位数，即可得到 θ̄ᵢ. 的一个 95% 自助置信区间。
   • 差异比较：要比较模型 A 和 B，我们可以计算每一对自助样本下的分数差 D⁽ᵇ⁾ = S_A⁽ᵇ⁾ - S_B⁽ᵇ⁾。基于 {D⁽¹⁾, ..., D⁽ᴮ⁾} 的分布，我们可以构建 θ̄_A. - θ̄_B. 的置信区间。如果该区间不包含0，则说明在相应置信水平下，差异是显著的。
   • 排名分布：我们还可以对每个自助样本b中的所有模型根据 Sᵢ⁽ᵇ⁾ 进行排名，从而得到每个模型排名的概率分布（例如，模型A有70%的概率排第一，30%的概率排第二）。

3.1.2 优势与局限

• 优势：
  • 无需分布假设：不依赖于任何参数分布假设，适用于各种复杂的指标和聚合方式。
  • 直观易实现：概念简单，计算过程直接，易于并行化。
  • 条件于已训练模型：自助法评估的是给定训练好的模型在测试数���上的性能波动。这符合我们常见的评估场景：我们关心的是这个特定模型部署后的表现，而不是重新训练带来的变化。
• 局限与注意事项：
  • 计算成本：需要对每个模型、每个任务进行B次前向传播预测。对于大型模型或巨大测试集，计算开销可观，但通常仍可接受。
  • 忽略模型训练方差：自助法只量化了测试数据的抽样不确定性，没有涵盖因训练数据、随机种子不同导致的模型性能方差。这在比较算法而非特定模型实例时是一个不足。
  • 置信区间解释：标准的自助置信区间（百分位数法）在某些情况下可能存在偏差。更稳健的方法如偏差校正加速自助法可以考虑，但实现更复杂。
  • 重叠区间误解：一个常见的误区是，如果两个模型的95%置信区间有重叠，就认为它们没有显著差异。这是不准确的。正确的做法是直接检查差异的置信区间是否包含0。为了避免这种误解，在展示多个模型的区间时，有时会采用更窄的区间（如83.4%置信区间），使得区间不重叠能近似对应于α=0.05的显著性水平。

实操心得：在实际操作中，自助次数B通常设置为1000到10000次。对于初步探索，1000次足以给出稳定的分位数估计。为了获得差异的置信区间，务必直接对自助样本的差值进行统计，而不是比较各自单独的区间。

3.2 贝叶斯层次模型：引入先验的参数化方法

3.2.1 模型构建贝叶斯层次模型为不确定性量化提供了一个强大的参数化框架。它通过引入先验分布和层次结构，能够自然地处理任务间异质性和小样本问题。我们以二分类任务的准确率指标为例，构建一个Beta-Binomial层次模型。

• 数据层（似然）：对于模型i在任务j上的表现，我们观测到的是正确分类的样本数 Yᵢⱼ（例如，1000个样本中正确950个）。我们假设 Yᵢⱼ 服从二项分布： Yᵢⱼ | θᵢⱼ ~ Binomial(Nⱼ, θᵢⱼ) 其中，θᵢⱼ ∈ [0, 1] 是模型i在任务j上的真实准确率。

• 第一层先验：对于每个 θᵢⱼ，我们为其指定一个共轭先验——Beta分布： θᵢⱼ | αᵢ, βᵢ ~ Beta(αᵢ, βᵢ) 这里 αᵢ 和 βᵢ 可以理解为模型i在所有任务上“先验成功次数”和“先验失败次数”的某种集中趋势。这个层次是关键：它假设同一个模型在不同任务上的准确率 θᵢⱼ 都来自一个共同的、模型特定的分布。这允许信息在不同任务间“收缩”：一个在小样本任务上估计不准的 θᵢⱼ，会被拉向该模型在所有任务上的整体平均水平。

• 第二层先验（超先验）：我们对 αᵢ 和 βᵢ 再设置先验分布，通常选择弱信息先验，例如： αᵢ ~ Exponential(λ_α), βᵢ ~ Exponential(λ_β) 其中 λ_α 和 λ_β 是较小的值（如1/10000），表示我们对模型i的整体成功/失败率没有很强的先验信念。

3.2.2 推断与优势通过马尔可夫链蒙特卡洛方法（如Gibbs抽样）从后验分布 p({θᵢⱼ}, {αᵢ}, {βᵢ} | {Yᵢⱼ}, {Nⱼ}) 中采样，我们可以得到：

1. 后验分布：每个 θᵢⱼ 的后验分布，它综合了数据信息和先验信息。
2. 聚合参数的后验：通过对后验样本进行聚合计算（如平均），我们可以得到聚合参数 θ̄ᵢ. 的后验分布，进而计算其可信区间（Bayesian Credible Interval）。
3. 后验预测分布：我们甚至可以模拟在新数据上模型的表现，获得更稳健的性能预测。

BHM的核心优势在于“收缩估计”。考虑一个极端案例：模型在任务1（N=200）上准确率为100/200=50%，在任务2（N=10000）上准确率为5000/10000=50%。单纯从点估计看，两个任务上都是50%。但任务1的估计方差很大。在BHM框架下，任务1的 θ 估计会被“收缩”向模型整体的先验中心（由其他任务的数据共同影响），其最终的后验估计可能不再是严格的50%，且不确定性区间会更合理地反映其信息量不足的情况。这使得BHM在面对样本量极度不平衡的任务时，能提供更稳定、更现实的估计。

3.2.3 与自助法的对比

• 信息利用：BHM可以融入先验知识（例如，基于领域知识认为某个模型的准确率不太可能低于某个值），而自助法完全依赖观测数据。
• 处理小样本：BHM通过层次先验天然地处理了小样本任务估计不稳定的问题，而自助法对小样本任务估计的方差本身可能就很大。
• 计算与复杂性：BHM需要更复杂的建模和计算（MCMC采样），对使用者的统计建模能力要求更高。自助法则更简单粗暴。
• 相关性建模：BHM可以相对容易地扩展以建模任务间或模型间的相关性（例如，通过引入多元先验），而自助法在原始形式下假设每次重采样是独立的。

注意事项：BHM的结论对先验分布的选择可能敏感。虽然使用弱信息先验可以减轻这种影响，但在报告结果时，说明先验选择并可能进行敏感性分析是良好的实践。对于没有明确先验信息的场景，自助法因其无分布特性可能更受青睐。

4. 实战应用：以VTAB基准为例的完整分析流程

4.1 数据准备与模拟

VTAB（Visual Task Adaptation Benchmark）是一个包含19个多样化视觉任务的基准，用于评估预训练模型经过微调后的泛化能力。它分为三大类：自然图像、专业图像和结构化图像。原始论文提供了每个模型在19个任务上的平均准确率。

由于我们通常无法获得每个样本级别的预测结果（即每个测试样本是对是错），我们需要根据已公布的总计正确数和测试集大小来模拟出符合二项分布的数据。这是进行分析的第一步，也是关键假设。

操作步骤：

1. 获取数据：从VTAB官网或论文附录获取以下信息：
   • 模型列表（如 Sup-Rotation-100%, Sup-Exemplar-100% 等）。
   • 每个模型在每个任务上的准确率（或正确数/总数）。
   • 每个任务的测试集大小Nⱼ。
2. 模拟样本级数据：对于模型i在任务j，假设其报告准确率为 pᵢⱼ，测试集大小为 Nⱼ。我们可以认为其观测到的正确数 Yᵢⱼ 服从 Binomial(Nⱼ, pᵢⱼ)。虽然我们不知道真实的 pᵢⱼ，但我们可以用报告值作为其最大似然估计。为了进行自助法，我们需要一个“伪”测试集。一个合理的方法是：生成一个长度为 Nⱼ 的数组，其中约有 pᵢⱼ * Nⱼ 个元素为1（正确），其余为0（错误）。这为我们提供了重采样的基础。
3. 处理缺失：如果只有准确率没有正确数，且 Nⱼ 很大，pᵢⱼ * Nⱼ 可能不是整数。这时可以四舍五入，或更精确地，在每次自助抽样时，以概率 pᵢⱼ 将样本标记为正确。

4.2 实施自助法分析

假设我们已经为每个（模型，任务）对生成了伪测试集列表data[i][j]（一个由0和1组成的数组，长度为 Nⱼ）。

import numpy as np def bootstrap_aggregate_score(models_data, B=10000, agg_func=np.mean): """ models_data: dict, key为模型名���value为list of arrays，每个array对应一个任务的伪测试集(0/1) B: 自助次数 agg_func: 聚合函数，默认是简单平均 """ results = {} for model_name, task_data_list in models_data.items(): bootstrap_scores = [] num_tasks = len(task_data_list) for _ in range(B): # 对每个任务，进行有放回抽样 task_scores = [] for task_data in task_data_list: # task_data 是一个0/1数组 bootstrap_sample = np.random.choice(task_data, size=len(task_data), replace=True) task_accuracy = np.mean(bootstrap_sample) # 计算本次自助样本的准确率 task_scores.append(task_accuracy) # 聚合所有任务的准确率 aggregate_score = agg_func(task_scores) bootstrap_scores.append(aggregate_score) bootstrap_scores = np.array(bootstrap_scores) point_estimate = np.mean(bootstrap_scores) ci_lower = np.percentile(bootstrap_scores, 2.5) ci_upper = np.percentile(bootstrap_scores, 97.5) results[model_name] = { 'point_estimate': point_estimate, 'ci_95': (ci_lower, ci_upper), 'bootstrap_distribution': bootstrap_scores } return results # 计算模型间差异的置信区间 def bootstrap_difference_ci(model_a_scores, model_b_scores, alpha=0.05): """ model_a_scores: 模型A的自助分数分布数组 model_b_scores: 模型B的自助分数分布数组 """ differences = model_a_scores - model_b_scores ci_lower = np.percentile(differences, (alpha/2)*100) ci_upper = np.percentile(differences, (1-alpha/2)*100) point_estimate = np.mean(differences) return point_estimate, (ci_lower, ci_upper)

关键输出解读： 运行上述代码后，我们会得到每个模型的平均准确率及其95%置信区间。例如，对于VTAB中的顶级模型，我们可能得到：

• Sup-Rotation-100%: 68.0 (67.8, 68.1)
• Sup-Exemplar-100%: 67.6 (67.4, 67.9)

仅看区间，它们有重叠。但更关键的是计算差异的区间：SR-100% - SE-100%的差异为 0.3，其95%置信区间为 (-0.1, 0.8)。因为区间包含0，我们不能断定SR-100%显著优于SE-100%。这个简单的分析已经推翻了仅凭点估计（68.0 > 67.6）得出的草率结论。

4.3 实施贝叶斯层次模型分析

使用概率编程语言（如PyMC）可以相对方便地实现BHM。以下是一个简化的PyMC模型示例：

import pymc as pm import arviz as az # 假设我们有 M 个模型，J 个任务 # Y 是一个 M x J 的矩阵，记录每个模型在每个任务上的正确数 # N 是一个长度为 J 的向量，记录每个任务的测试集大小 # model_index 和 task_index 是用于索引的变量 with pm.Model() as beta_binomial_hm: # 超先验：模型级别的成功/失败率参数 # 使用弱信息先验，均值较大，方差也较大，允许很大的范围 alpha_hyper = pm.Exponential('alpha_hyper', lam=1/10000, shape=M) beta_hyper = pm.Exponential('beta_hyper', lam=1/10000, shape=M) # 模型-任务层面的准确率 theta # 为每个模型i，其所有任务的theta共享同一个Beta(alpha_i, beta_i)先验 theta = pm.Beta('theta', alpha=alpha_hyper[model_index], # 形状为 (M*J, )，通过索引广播 beta=beta_hyper[model_index], shape=(M*J,)) # 似然：二项分布 Y_obs = pm.Binomial('Y_obs', n=N[task_index], p=theta, observed=Y.flatten()) # Y需要展平以匹配形状 # 推断 trace = pm.sample(2000, tune=1000, chains=4, return_inferencedata=True) # 后验分析：计算每个模型的平均准确率 # 从后验中提取 theta 的样本，其形状为 (n_samples, M*J) theta_samples = trace.posterior['theta'].values.reshape((-1, M, J)) # 计算每个模型在所有任务上的平均准确率（后验样本） model_avg_accuracy_samples = theta_samples.mean(axis=2) # 形状 (n_samples, M) # 计算每个模型平均准确率的点估计（后验均值）和95%可信区间 model_avg_accuracy_mean = model_avg_accuracy_samples.mean(axis=0) model_avg_accuracy_hdi = az.hdi(model_avg_accuracy_samples.T, hdi_prob=0.95) # 对每个模型计算 # 计算模型间差异的后验分布 diff_samples = model_avg_accuracy_samples[:, idx_A] - model_avg_accuracy_samples[:, idx_B] diff_hdi = az.hdi(diff_samples, hdi_prob=0.95)

BHM结果解读： BHM给出的结果是可信区间，其解释与频率学派的置信区间略有不同：我们可以说“根据观测数据和模型，我们有95%的把握认为参数的真实值落在这个区间内”。在VTAB示例中，BHM的结果与自助法通常非常接近，但在任务样本量差异极大时，BHM提供的区间可能更合理，因为它通过层次先验平滑了小样本任务的极端估计。

4.4 指标归一化与排名聚合

4.4.1 为什么需要归一化？直接平均准确率假设所有任务的“1%提升”具有相同价值。但这显然不合理。在VTAB中，有些任务可能非常困难，最佳模型的准确率也只有60%，而有些任务很简单，基准准确率就能达到95%。在困难任务上从55%提升到60%的难度和价值，可能远高于在简单任务上从95%提升到96%。因此，我们需要将不同任务的指标映射到可比较的尺度。

常用方法：

1. Min-Max归一化：如BigBench所采用的(raw - low) / (high - low)。
   • raw: 模型在该任务上的原始得分。
   • low: 该任务的“地板”性能（如随机猜测的准确率、一个简单基线的性能）。
   • high: 该任务的“天花板”性能（如人类水平性能、或当前SOTA性能）。
   • 挑战：合理定义low和high有时很困难。一个实用方法是使用自助法估计：high取所有模型在该任务上所有自助样本中的最大值，low取最小值。这相当于将性能映射到当前模型池在该任务上的表现范围内。
2. 排名法：放弃绝对分数，只关心模型在每个任务上的相对排名。然后将所有任务上的排名进行聚合（如平均排名）。这种方法完全消除了量纲问题，但丢失了分数差异的信息。

4.4.2 排名聚合的不确定性即使使用排名，不确定性依然存在。我们可以利用自助法：

1. 对每个自助样本b，计算每个模型在每个任务上的表现，得到排名矩阵。
2. 按照预定的排名聚合规则（如平均排名、几何平均排名）计算每个模型在该自助样本下的总排名。
3. 重复B次，得到每个模型最终排名的分布。

在VTAB分析中，作者尝试了多种排名聚合策略（平均准确率排名、几何平均排名、先分桶后排名等），并给出了排名95%置信区间。结果可能显示，某个模型的排名在95%区间内是 [3.0, 4.0]，这意味着它稳定在第三或第四名，而另一个模型的排名区间可能是 [1.0, 3.0]，说明其榜首位置并不稳固。

4.5 任务权重可视化：洞察模型优势领域

这是本文最具洞察力的部分之一。很多时候，我们对不同任务的重视程度并不相同。例如，一个医疗影像模型，在“肺炎检测”任务上的表现权重，理应远高于“皮肤痣分类”任务。但如何设定具体的权重（0.7 vs 0.15 vs 0.15）往往缺乏依据。

解决方案：权重空间可视化我们考虑将任务按类别分组（如VTAB的自然、专业、结构化图像三类）。设这三类的权重分别为 w₁, w₂, w₃，且 w₁ + w₂ + w₃ = 1。我们可以在一个二维单纯形（一个等边三角形）上可视化整个权重空间。三角形的每个顶点代表100%的权重分配给某一类任务，边上的点代表两类任务的混合，内部点代表三类任务都有权重。

可视化步骤：

1. 在权重空间（三角形）内密集采样大量点 (w₁, w₂, w₃)。
2. 对于每个权重组合，计算每个模型的加权聚合分数Sᵢ = Σ wⱼ * Yᵢⱼ。
3. 同时，计算该加权分数的不确定性（标准误）。这需要考虑任务间的协方差（公式见原文）。
4. 对于每个权重组合，找出得分最高的模型（点估计），但只有当它与第二名的分数差大于z * SE_diff（例如z=2）时，才认为该模型“显著”最优。否则，该区域标记为“不确定”（灰色）。
5. 用不同颜色填充三角形，表示在不同权重偏好下，哪个模型是（显著）最优的。

解读与价值： 通过这种可视化，我们可以一目了然地看到：

• 模型的特长领域：例如，在VTAB中，尽管Rotation模型总体排名靠后，但当权重极度偏向“结构化图像”任务时，它成为了最优模型。这揭示了该模型在特定领域的潜在价值。
• 决策的稳健性：如果大部分区域都是灰色（不确定），说明模型排名对权重选择非常敏感，仅凭一个平均分数做决策风险很高。如果某个模型在很大一片连续区域都保持最优，说明其优势相对稳健。
• 沟通工具：这种图形是向非技术利益相关者展示模型比较复杂性的绝佳工具，可以直观地说明“没有绝对最好的模型，只有最适合特定任务组合的模型”。

5. 常见问题、避坑指南与实操建议

5.1 方法论选择：我该用自助法还是BHM？

这是一个实践中的常见问题。以下决策树可供参考：

1. 数据形态：如果你的数据是样本级别的（即每个测试样本的对错记录），自助法是直接且无假设的首选。如果你只有汇总统计（如正确数/总数），两种方法都可模拟，但BHM处理小样本更优雅。
2. 计算资源：自助法需要重复运行模型预测B次，如果模型推理成本极高（如超大语言模型），可能难以承受。BHM的MCMC采样虽然也可能很耗时，但一旦模型拟合，后验采样相对廉价。对于超大模型，有时只能基于汇总统计进行分析。
3. 先验信息：如果你对模型的性能有较强的领域知识（例如，准确率不可能低于某个基线），BHM可以优雅地融入这些信息。如果没有，自助法更“客观”。
4. 汇报对象：对于更熟悉频率统计的受众，自助法及其置信区间可能更容易被接受。贝叶斯结果（可信区间）的解释需要更多的背景知识。
5. 任务样本量均衡性：如果任务间测试集大小差异悬殊（几个数量级），强烈建议尝试BHM，因为它能通过收缩效应提供更稳定的估计。自助法下，小样本任务的波动会主导聚合结果的不确定性。

建议：在资源允许的情况下，同时运行两种方法。如果它们结论一致，你的结果将非常稳健。如果结论不一致，深入分析差异原因（如某个任务样本量极小）本身就能提供深刻的见解。

5.2 置信区间重叠与统计显著性

这是最容易犯的错误之一。切记：两个单独参数的置信区间重叠，不能直接推断参数间无显著差异。

• 错误做法：模型A的95% CI为 [65.0, 70.0]，模型B为 [66.0, 71.0]。因为区间重叠，所以认为A和B没有差异。
• 正确做法：必须直接计算差异(A - B) 的置信区间。如果差异的95% CI为 [-1.0, 2.0]，包含0，则说明在α=0.05水平上差异不显著。

在可视化多个模型的区间时，为了快速判断，可以采用“83.4%经验法则”。Goldstein和Healy指出，当两个独立估计值的83.4%置信区间刚好接触时，其差异大约在α=0.05水平上显著。因此，在并列展示多个模型的性能区间时，使用83.4% CI可以更直观地判断：如果区间不重叠，则差异很可能是显著的。但这只是一个经验法则，最终结论仍应基于差异的正式检验或区间。

5.3 处理任务间相关性

在计算加权聚合分数 S = Σ wⱼ Yⱼ 的方差时，如果任务表现 Yⱼ 之间存在相关性，公式为：Var[S] = Σ wⱼ² Var[Yⱼ] + 2 Σ Σ_{j<k} wⱼ w_k Cov[Yⱼ, Y_k]

• 忽略相关性（假设独立）：会低估Var[S]，从而使置信区间过窄，错误地增加宣称显著性的风险。这是一个保守性错误（更可能犯第一类错误）。
• 实践中：估计任务间的协方差矩阵需要样本级数据，且要求同一批数据上评估所有模型，这在很多基准测试中难以满足。一个可行的方案是进行敏感性分析：假设一个合理的相关系数范围（如0到0.5），观察标准误和结论如何变化。在VTAB的可视化中，作者就展示了假设独立（z=2）和假设中等正相关（z=1.4）两种情景下的结果。

5.4 多重比较问题

当我们同时比较多个模型（例如6个模型，两两比较共15对）时，犯至少一次“假显著”错误（族错误率）的概率会大大增加。需要进行多重比较校正。

• 常用方法：Bonferroni校正。如果要做m次比较，则将显著性水平 α 调整为 α/m。例如，进行3次计划内的比较（如前三名模型的两两比较），若想保持整体α=0.05，则每次比较应使用 α‘ = 0.05/3 ≈ 0.0167，对应使用98.33%的置信区间。
• 注意：Bonferroni校正非常保守，尤其是当比较次数很多时。它适用于计划内的、有限的比较。如果进行所有可能的两两比较，可以考虑更高效的方法如Holm校正或基于自助法的同步置信区间。

5.5 实操建议与代码检查清单

1. 数据基础：确保你拥有每个任务上每个模型的样本级预测结果（或至少是正确/错误列表）。只有汇总准确率会极大限制分析深度。
2. 自助法实现：
   • 使用np.random.choice进行有放回抽样。
   • 自助次数B建议至少1000次，报告关键分位数时最好增加到5000或10000次以确保稳定。
   • 计算差异的CI时，务必直接对自助样本的差值进行计算。
3. BHM实现：
   • 使用PyMC、Stan或TensorFlow Probability等概率编程框架。
   • 始终进行后验诊断：检查MCMC链的收敛性（az.plot_trace，R-hat ≈ 1.01），有效样本量是否充足。
   • 进行先验敏感性分析：尝试不同的弱信息先验（如HalfNormal, Gamma），看后验结论是否发生本质变化。
4. 结果报告：
   • 永远同时报告点估计和区间估计（例如，67.6% [67.4%, 67.9%]）。
   • 在比较模型时，优先展示差异的置信/可信区间。
   • 如果使用了归一化或排名，明确说明方法及其理由。
   • 考虑提供任务权重敏感性分析的可视化图。
5. 工具与复现：
   • 整理分析代码，使其可复现。将数据预处理、自助法、BHM拟合、可视化等步骤模块化。
   • 考虑开发一个简单的库或脚本，输入模型预测结果和任务分组，自动输出关键图表和表格。

将不确定性量化纳入机器学习评估流程，不再是可有可无的“高级技巧”，而是做出可靠决策的必要步骤。它迫使我们从“寻找第一名”的思维定式中跳出来，转向更细致、更稳健的“理解模型性能分布”。通过自助法和贝叶斯层次模型，我们可以量化测试数据随机性带来的噪声；通过权重可视化，我们可以理解模型优势对评价标准的依赖性。下次当你看到一个模型以微弱优势领先时，不妨问一句：“这个差异，确定吗？”