论文的实验设计原则：控制变量、样本量与统计功效的平衡方法

论文的实验设计原则：控制变量、样本量与统计功效的平衡方法

一、实验设计在机器学习研究中的特殊挑战

机器学习的实验设计与传统统计学和医学研究中的实验设计有着共通的方法论基础，但面临几个独特的挑战。在医学实验中，一次随机对照试验（RCT）的样本量通常在数百到数千之间，实验成本主要在受试者招募和数据收集。在机器学习实验中，算力预算限制了可执行的实验次数——每一个消融维度乘以每一个随机种子就是一个独立的训练运行，在大型模型上单次运行可能耗费数百GPU-hours。

这种算力约束迫使研究者在实验设计阶段做出艰难的取舍：应该投入更多算力在更多消融维度上（增加自变量的广度），还是在更多随机种子上（增加统计的可靠性），还是在更大规模的模型和数据上（增加实验的生态效度）？这三者之间的最优分配没有普适公式，但有一些可操作的原则。

二、控制变量法的严格实施

控制变量法（The Method of Controlled Variables）是实验科学的基础原则：在探究某个因素（自变量）对结果（因变量）的影响时，必须保持其他所有因素恒定。在机器学习实验中，违反控制变量原则的最常见方式包括：

隐性变量污染：使用不同的随机种子来"公平对比"两个方法，但随机种子本身就是一个自变量——更好的做法是跨相同的随机种子集合对比，然后报告均值和标准差。例如："方法A在种子[42, 123, 999]上的准确率分别为82.1, 81.8, 82.3；方法B在相同种子上的准确率分别为83.5, 83.1, 83.7。"这比"A平均82.1±0.25, B平均83.4±0.30"提供了更多信息。

超参数搜索预算不对称：在对比方法A和方法B时，如果A的超参数经过了充分调优（100次搜索），而B只使用了默认参数，对比就不公平。控制变量原则要求两种方法在调优预算上对称——要么都经过充分搜索，要么都在相同搜索预算下自动调优（如相同的Optuna trial次数）。

数据划分不一致：即使使用相同的数据集，不同的训练/验证/测试划分也会导致不可比的实验结果。统一使用K-fold交叉验证（同时报告均值和标准差）是解决这一问题的标准方案。

""" 实验设计工具：控制变量法与统计功效分析 """ import numpy as np from scipy import stats from dataclasses import dataclass from itertools import product from typing import Callable @dataclass class ExperimentConfig: """实验配置：定义自变量和因变量的结构化描述""" name: str variables: dict # {"learning_rate": [1e-4, 3e-4, 1e-3], ...} fixed_params: dict # 所有对比中保持不变的参数 seeds: list[int] # 随机种子列表 metrics: list[str] # 要记录的指标名称 @dataclass class ExperimentResult: """单个实验运行的结果""" config: dict # 该次运行的参数配置 {"lr": 1e-4, "seed": 42} metrics: dict # {"accuracy": 0.823, "f1": 0.791} def run_controlled_experiment( config: ExperimentConfig, train_fn: Callable[[dict, int], dict], # (params, seed) -> metrics ) -> dict: """执行控制变量法实验：系统性地遍历所有参数组合 × 随机种子。 关键设计决策： 1. 所有参数组合使用完全相同的随机种子集合 2. 固定参数在整组实验中保持不变 3. 每个配置在每个种子上独立运行，互不干扰 Args: config: 实验配置 train_fn: 训练函数，(参数字典, 随机种子) -> 指标字典 Returns: dict: { "results": [ExperimentResult, ...], "summary": {param_combo: {metric: (mean, std)}, ...} } """ # 生成所有参数组合 var_names = list(config.variables.keys()) var_values = list(config.variables.values()) results = [] for combo in product(*var_values): params = dict(zip(var_names, combo)) # 合并变量参数和固定参数 full_params = {**params, **config.fixed_params} for seed in config.seeds: metrics = train_fn(full_params, seed) results.append(ExperimentResult( config={**params, "seed": seed}, metrics=metrics )) # 汇总统计：按参数组合（跨种子）计算均值和标准差 summary = {} # 按参数组合分组 from collections import defaultdict groups = defaultdict(list) for r in results: # 使用参数组合（不含seed）作为分组键 key = tuple(sorted( (k, v) for k, v in r.config.items() if k != "seed" )) groups[key].append(r) for key, group_results in groups.items(): summary_key = dict(key) summary[summary_key["lr"] if "lr" in summary_key else str(summary_key)] = { metric: { "mean": np.mean([r.metrics[metric] for r in group_results]), "std": np.std([r.metrics[metric] for r in group_results], ddof=1), "n": len(group_results), } for metric in config.metrics } return {"results": results, "summary": summary} def compute_effect_size_and_power( group_a: list[float], # 方法A的指标值（各种子或各fold的结果） group_b: list[float], # 方法B的指标值 alpha: float = 0.05, ) -> dict: """计算效应量和统计功效。 Args: group_a: 方法A在各次独立运行中的指标值 group_b: 方法B在各次独立运行中的指标值 alpha: 显著性水平 Returns: dict: { "cohens_d": float, # Cohen's d 效应量 "p_value": float, # Welch's t-test p值 "power": float, # 统计功效 (1-β) "required_n_for_80pct": int # 达到80%功效所需的样本量 } """ n_a, n_b = len(group_a), len(group_b) mean_a, mean_b = np.mean(group_a), np.mean(group_b) std_a, std_b = np.std(group_a, ddof=1), np.std(group_b, ddof=1) # Cohen's d（合并标准差） pooled_std = np.sqrt(((n_a - 1) * std_a**2 + (n_b - 1) * std_b**2) / (n_a + n_b - 2)) cohens_d = abs(mean_a - mean_b) / pooled_std if pooled_std > 0 else 0 # Welch's t-test t_stat, p_value = stats.ttest_ind(group_a, group_b, equal_var=False) # 统计功效计算（使用非中心t分布） # 非中心参数 = d / sqrt(1/n_a + 1/n_b) from scipy.stats import nct df = n_a + n_b - 2 nc = cohens_d / np.sqrt(1/n_a + 1/n_b) critical_t = stats.t.ppf(1 - alpha/2, df) power = 1 - nct.cdf(critical_t, df, nc) + nct.cdf(-critical_t, df, nc) # 估计达到80%功效所需的样本量 # 基于公式: n ≈ 2 * (z_{1-α/2} + z_{1-β})² / d² z_alpha = stats.norm.ppf(1 - alpha / 2) z_beta = stats.norm.ppf(0.80) required_n = int(np.ceil(2 * (z_alpha + z_beta)**2 / (cohens_d**2 + 1e-10))) return { "cohens_d": cohens_d, "p_value": p_value, "power": power, "required_n_for_80pct": required_n, "significant_at_5pct": p_value < alpha, } # 使用示例 # group_a = [0.821, 0.818, 0.823, 0.819, 0.822] # 方法A的5次独立运行 # group_b = [0.835, 0.831, 0.837, 0.833, 0.836] # 方法B的5次独立运行 # result = compute_effect_size_and_power(group_a, group_b) # print(f"Cohen's d: {result['cohens_d']:.3f}") # print(f"p-value: {result['p_value']:.4f}") # print(f"Statistical Power: {result['power']:.2%}") # print(f"Required n for 80% power: {result['required_n_for_80pct']}")

三、样本量与统计功效的平衡

在ML实验中，随机种子和交叉验证折数构成了"样本量"——每个独立的训练运行提供一个观测值。但不同于医学实验（增加样本量只需招募更多受试者），增加ML实验的样本量意味着成倍增加GPU计算时间。

统计功效（Statistical Power = 1-β）反映了当两个方法之间存在真实差异时，实验能够检测到这一差异的概率。功效取决于三个因素：效应量（两个方法的真实性能差距）、样本量（独立运行次数）、显著性水平α。

在ML实验中，一个常见但未被充分讨论的决策是：当效应量很小（如0.3%的准确率提升）但研究者认为这一提升是有意义的时，需要多少随机种子才能有80%的统计功效来检测到它？假设两个方法的准确率标准差均为0.2%，效应量d=0.3%/0.2%=1.5（大效应量），仅需约8个种子即可达到80%功效。但如果效应量d=0.5（中等效应量），则需要约64个种子——对于大模型训练来说这是不现实的。

这一计算揭示了：许多ML论文中"3个随机种子"的报告传统，仅对效应量>1.5的大差异具有足够的统计功效。对于效应量<0.8的中等差异，3个种子下II型错误率（β）可能高达60-70%——即由于统计功效不足，大量真实存在的方法改进被错误地标记为"不显著"。

四、实验设计的可复现性保障

可复现性是实验设计的底线要求。在ML实验中，以下实践构成了可复现性的基础保障：

随机性控制：所有随机性来源（随机种子、数据shuffle、dropout mask、参数初始化）都应通过全局随机种子和确定性算法设置来控制。PyTorch的torch.manual_seed(seed)和torch.use_deterministic_algorithms(True)是必要但不充分的——cuDNN的benchmark模式会在运行时选择不同算法，也需要通过torch.backends.cudnn.benchmark = False来固定。

实验配置版本化：每个实验运行的完整配置（超参数、数据版本、代码commit hash）应被记录。建议将实验配置保存在与实验结果相同的目录中（一个JSON/YAML文件），确保事后可以完全重现该次运行。

结果记录标准化：除了聚合指标（均值±标准差），还应记录每个独立运行的原始指标值。这使得未来的meta-analysis可以重新计算效应量和置信区间，即使原始论文的统计方法被发现有问题。

五、总结

机器学习实验设计的三个核心原则——控制变量、充足的样本量、可复现性——共同构成了实验结论可靠性的基础。控制变量要求在所有对比中保持非实验因素恒定，最常见的违规是超参数搜索预算不对称和数据划分不一致。样本量（随机种子数/交叉验证折数）的选择不应依赖"3个种子"的行业惯例，而应根据预期效应量和所需统计功效进行计算——对于小效应量（d<0.5），3个种子的II型错误率可能高达70%。可复现性保障要求所有随机性来源被显式控制、实验配置被版本化记录、原始指标值（非仅聚合统计）被保存。这些原则的实施需要实验设计的初始阶段投入更多精力，但它们提供了实验结论可以经受时间检验的唯一保障。