TunaMH：基于局部界的精确小批量MCMC算法，实现效率与可扩展性可控权衡

1. 项目概述：当MCMC遇上大数据，我们如何“精打细算”？

在贝叶斯推断和机器学习的工具箱里，马尔可夫链蒙特卡洛（MCMC）方法一直扮演着“定海神针”的角色。它的核心逻辑很优雅：构建一条马尔可夫链，使其平稳分布恰好就是我们想要从中采样的目标后验分布。这样一来，我们只需让这条链“跑”起来，它最终产生的样本就能忠实反映目标分布的特性。然而，当数据规模从“小池塘”变成“汪洋大海”时，传统MCMC方法的“优雅”就变成了“沉重”的负担。想象一下，每次提议一个新的参数，你都需要遍历数百万甚至数十亿个数据点来计算接受概率，这计算成本足以让任何实践者望而却步。

为了应对这个挑战，“小批量MH”方法应运而生。其核心思想很直观：既然全数据计算太贵，那每次迭代我只用一小部分数据（一个“小批量”）来近似计算接受概率，不就能大大加速了吗？这个想法听起来很美，但魔鬼藏在细节里。最直接的做法——用随机小批量的均值来近似全数据对数似然——会引入偏差，导致你的马尔可夫链最终收敛到一个错误的分布，采样结果自然也就不可信了。因此，过去几年的研究焦点，就落在了如何设计“无偏的”或“精确的”小批量MH方法上，即在保持MCMC方法数学上的精确性（即链的平稳分布仍是目标后验）的前提下，提升其可扩展性。

今天要深入探讨的TunaMH，就是这一领域的一个新进展。它不像一些方法那样，为了追求极致的计算速度（小批量）而牺牲了链的混合效率（导致接受率低或探索能力差），也不像另一些方法那样，为了保证效率而使用了过大的、不必要的小批量。TunaMH引入了一个关键的超参数，就像一个精密的“调节旋钮”，允许使用者根据具体问题和计算资源，在保证收敛速率的前提下，显式地在所需的小批量大小（这直接关系到可扩展性，批量越小，单步计算越快）和链的采样效率（这关系到需要多少步才能得到高质量的独立样本）之间进行权衡。简单说，它把原本模糊的取舍，变成了一个清晰可控的优化问题。实验证明，无论是在高维鲁棒线性回归、复杂的多峰高斯混合模型，还是经典的MNIST逻辑回归任务上，TunaMH在单位时间内能产生的“有效样本量”（ESS/second）这一核心效率指标上，都显著超越了已有的精确小批量MH方法。对于任何需要在海量数据上进行贝叶斯建模，同时又对采样质量有严格要求的从业者来说，理解TunaMH的原理与实现，无疑是为自己的工具箱增添了一件利器。

2. 精确小批量MH的核心困境与现有方法解析

在深入TunaMH之前，我们必须先理解精确小批量MH方法所面临的共同挑战，以及现有主流方案是如何尝试解决，又在何处留下了改进空间。这有助于我们看清TunaMH设计的动机和其巧妙之处。

2.1 精确性的代价：从Metropolis-Hastings到小批量场景

标准的Metropolis-Hastings（MH）算法，其接受一个新提议状态 $\theta'$ 的概率为： $$\alpha = \min\left(1, \frac{p(\theta') \prod_{i=1}^{N} p(x_i | \theta') q(\theta | \theta')}{p(\theta) \prod_{i=1}^{N} p(x_i | \theta) q(\theta' | \theta)}\right)$$ 其中 $N$ 是数据总量。计算这个概率需要遍历所有 $N$ 个数据点，计算全数据对数似然差：$\Delta U = \sum_{i=1}^{N} [\log p(x_i | \theta) - \log p(x_i | \theta')]$。当 $N$ 很大时，计算 $\Delta U$ 是主要瓶颈。

小批量MH的核心思路是，用一个基于随机子集（小批量）$\mathcal{S}$ 的估计量 $\hat{\Delta U}$ 来替代 $\Delta U$。但直接使用无偏估计量（如 $\hat{\Delta U} = \frac{N}{|\mathcal{S}|} \sum_{i \in \mathcal{S}} [\log p(x_i | \theta) - \log p(x_i | \theta')]$）会导致接受概率 $\hat{\alpha}$ 有偏，因为 $\min(1, \exp(\cdot))$ 是一个非线性函数。为了保证马尔可夫链的平稳分布依然是目标后验分布（即“精确性”），我们必须构造一个无偏的接受概率估计量，即 $\mathbb{E}[\hat{\alpha}] = \alpha$。

这就引出了精确小批量MH方法的两条主要技术路径：伪边缘（Pseudo-marginal）思路和辅助变量（Auxiliary Variable）思路。TunaMH属于后者，并与TFMH、FlyMC等方法同属一个更具体的类别：基于能量差（Energy-Difference）的无状态（Stateless）方法。

2.2 现有方法巡礼：TFMH、FlyMC与它们的局限

TFMH（Taming the Firewall MH）是较早的精确方法之一。它通过一个巧妙的技巧来构造无偏估计：引入一个服从泊松分布的随机变量来控制需要评估的数据点数量。其核心是找到一个全局上界 $B$，使得对于所有可能的数据点 $i$ 和参数对 $(\theta, \theta')$，都有 $|\log p(x_i | \theta) - \log p(x_i | \theta')| \le B$。然后，它通过泊松过程来随机“筛选”需要计算的数据点。TFMH的优势在于，在最优情况下，其期望批量大小可以很小。但它的致命弱点在于那个全局上界 $B$。对于复杂的模型（如高维回归、神经网络），找到一个紧致（即尽可能小）的全局上界非常困难，通常只能得到一个非常宽松的界。这直接导致两个后果：1) 为了达到目标接受率，必须使用极小的提议步长，使得链的移动缓慢，采样效率（ESS/秒）低下；2) 宽松的上界也会导致实际计算中，泊松过程需要评估的数据点数量（即有效批量）的方差很大，有时甚至会接近全数据量，失去了小批量的意义。

FlyMC（Flying MC）采用了不同的策略。它为每个数据点引入一个辅助变量（通常是均匀随机变量），并利用这些变量来构造一个“下界”，只有当下界条件不满足时，才需要计算该数据点的似然比。FlyMC不需要全局上界，而是依赖于模型参数和辅助变量之间的耦合来动态决定需要计算哪些点。这种方法在处理某些问题时（尤其是似然函数有界时）可以很高效。然而，FlyMC的瓶颈在于其辅助变量与模型参数之间的强相关性。在采样过程中，为了保持精确性，这些辅助变量需要与参数一起更新或进行特殊的处理，这引入了额外的计算开销和存储成本。更重要的是，这种强相关性会限制链的混合速度，尤其是在高维或复杂后验分布中，导致其有效采样效率提升有限。

PoissonMH是另一类基于泊松过程的方法，它同样需要一个全局的、逐点的似然比上界。与TFMH类似，它在存在紧致全局上界的问题上表现良好，但对于许多实际模型（如逻辑回归中的逻辑函数无界），这个上界可能不存在或极其宽松，导致方法失效或效率极低。因此，它的适用范围较窄。

实操心得：理解“效率”与“可扩展性”的权衡在评估这些小批量MH方法时，务必将“单步计算成本”和“链的混合效率”分开看待。TFMH单步可能很快（批量小），但因其步长小，需要极多的步数才能探索完后验空间，导致总时间很长。FlyMC单步计算量可能波动大，且因其链的混合慢，单位时间产生的有效样本少。一个常见的误区是只比较平均批量大小，而忽略了链的探索效率。真正有意义的指标是有效样本量（ESS）除以总运行时间（秒），它综合反映了计算速度和采样质量。

3. TunaMH的设计哲学：局部界与可控权衡

TunaMH的提出，直指上述方法的痛点。它的全称暗示了其核心能力：像调节金枪鱼（Tuna）渔线的张力一样，精细地调节（Tune）MH算法在效率与可扩展性之间的平衡。其创新主要体现在两个层面：一是用局部能量界替代脆弱的全局界；二是引入了显式的权衡超参数 $\chi$。

3.1 从全局界到局部界：解决上界过松问题

TFMH和PoissonMH的主要限制在于对全局上界 $B$ 的依赖。TunaMH摒弃了这一思路，转而采用一个局部（Local）的、基于当前参数对 $(\theta, \theta')$ 的界。它不要求一个对所有可能参数都成立的、统一的上界，而只关心从当前状态 $\theta$ 跳到提议状态 $\theta'$ 这一特定跳跃所带来的能量变化。

具体来说，TunaMH定义了一个量 $M(\theta, \theta')$，它可以被视为本次提议所导致的、对所有数据点的对数似然差绝对值之和的一个紧致的上界估计。这个 $M$ 是依赖于 $(\theta, \theta')$ 的，因此是“局部”的。计算 $M$ 通常比计算所有数据的真实似然差要廉价得多，例如，对于广义线性模型，可以利用梯度的Lipschitz性质或函数的凸性来推导。

这个局部界 $M(\theta, \theta')$ 带来了根本性的优势：它几乎总是比最坏情况下的全局界 $B$ 要小得多，尤其是当提议步长合理，$\theta$ 和 $\theta'$ 相距不远时。这意味着TunaMH在大多数迭代中，对需要精确计算的数据点数量的期望值（即期望批量大小）的理论下界更低，从而为更高的可扩展性奠定了基础。

3.2 引入权衡超参数 $\chi$：将选择权交给用户

这是TunaMH最具洞察力的设计。它引入了一个超参数 $\chi > 0$。这个参数不改变算法的无偏性，但它直接控制了算法在以下两者之间的权衡：

• 收敛速率（Convergence Rate）：可以直观理解为链的混合速度。$\chi$ 越大，算法理论上的收敛速率越接近标准MH（即混合得越好）。
• 期望批量大小（Expected Batch Size）：即每次迭代平均需要计算全似然的数据点数量。$\chi$ 越大，期望批量大小也越大。

其背后的理论保证是：对于任何精确的小批量MH方法，若要达到与标准MH相差不超过一定倍数的收敛速率，其期望批量大小存在一个下界。TunaMH通过调节 $\chi$，可以渐近最优地逼近这个下界。也就是说，在给定的收敛速率要求下，TunaMH能用近乎最小的平均批量大小来实现它。

在实际操作中，$\chi$ 就像一个旋钮。用户可以根据自己的需求来调节：

• 追求极致速度：如果用户处于开发调试阶段，或者对采样精度要求不是最高，可以设置较小的 $\chi$，以获得更小的批量，实现更快的单步迭代。
• 追求采样质量：如果用户正在进行最终推断，需要高质量的样本，可以设置较大的 $\chi$，让链的混合行为更接近标准MH，虽然单步慢点，但可能用更少的步数获得更好的样本。
• 平衡模式：通过网格搜索或启发式方法，找到一个 $\chi$，使得在可接受的时间内，获得尽可能高的ESS/秒。

论文中提供了一个实用的启发式设置：将 $\chi$ 设置为在大多数迭代中能满足 $\chi C^2 M^2(\theta, \theta') < 1$ 的最大值，同时保持平均批量大小在其理论下界 $C M(\theta, \theta')$ 附近（其中 $C$ 是一个与模型相关的常数）。这通常能在效率和混合速度之间取得一个很好的平衡。

核心原理剖析：为什么 $\chi$ 能控制权衡？从算法机制上看，$\chi$ 直接影响的是接受概率估计过程中的一个“松弛”程度。可以把它想象成在估计能量差时加入的一个“缓冲器”。$\chi$ 越小，这个缓冲器越“松”，算法更倾向于相信基于局部界 $M$ 的粗略估计，从而敢于以较小的批量（即较少的精确计算）来做出接受/拒绝决策，但这增加了决策的方差，可能减慢混合。$\chi$ 越大，缓冲器越“紧”，算法变得更为保守，要求更精确的估计（即更大的批量）来做出决策，从而降低了方差，使链的行为更接近精确计算的标准MH。这种设计在理论上被证明是帕累托最优的。

4. TunaMH算法实操详解与实现要点

理解了设计哲学后，我们来看TunaMH的具体算法步骤和实现细节。我将结合一个通用的贝叶斯逻辑回归场景来阐述，你可以将其类比到其他模型。

4.1 算法步骤拆解

假设我们有一个数据集 ${x_i, y_i}{i=1}^N$，模型参数为 $\theta$，目标是从后验 $p(\theta | \mathcal{D}) \propto p(\theta) \prod{i=1}^N p(y_i | x_i, \theta)$ 中采样。

步骤1：初始化与预处理

1. 初始化马尔可夫链状态 $\theta_0$。
2. 选择一个提议分布 $q(\cdot | \theta)$，例如高斯随机游走：$\theta' \sim \mathcal{N}(\theta, \sigma^2 I)$。
3. 关键：为你的模型推导或设定一个计算局部上界 $M(\theta, \theta')$ 的函数。例如，对于逻辑回归，对数似然为 $y_i \log \sigma(\theta^T x_i) + (1-y_i)\log(1-\sigma(\theta^T x_i))$，其中 $\sigma$ 是sigmoid函数。其关于 $\theta$ 的梯度是 $(\sigma(\theta^T x_i) - y_i)x_i$。利用sigmoid函数的Lipschitz常数（1/4）和柯西-施瓦茨不等式，可以得到一个局部界：$|\log p(y_i|x_i,\theta) - \log p(y_i|x_i,\theta')| \le \frac{1}{4} |x_i| \cdot |\theta - \theta'|$。因此，$M(\theta, \theta') = \frac{1}{4} \sum_{i=1}^N |x_i| \cdot |\theta - \theta'|$。注意，这里 $\sum |x_i|$ 可以预先计算好，所以每次提议只需计算 $|\theta - \theta'|$，成本极低。
4. 设定超参数 $\chi$ 和常数 $C$（通常 $C$ 与模型有关，在推导 $M$ 时确定）。

步骤2：迭代采样（对于第 $t$ 次迭代）

1. 提议：从 $q(\cdot | \theta_t)$ 中生成候选状态 $\theta'$。
2. 计算局部界：快速计算 $M_t = M(\theta_t, \theta')$。
3. 确定阈值：计算 $\lambda = \chi C^2 M_t^2$。理论上，我们需要 $\lambda < 1$ 来保证算法的一些良好性质。在实践中，按论文启发式，我们应选择尽可能大的 $\chi$ 使得在大多数步骤中 $\lambda < 1$。
4. 采样辅助泊松变量：生成一个泊松随机变量 $K \sim \text{Poisson}(\lambda)$。这里的 $\lambda$ 是关键，它直接控制了本次迭代的期望计算量。
5. 构造无偏估计量：
   • 如果 $K = 0$，那么我们直接设定估计的对数接受比为 $\hat{\rho} = -\infty$（即必然拒绝？不，这里需要仔细处理）。实际上，算法流程是：以概率 $\exp(-\lambda)$ 我们进入一个“快速通道”，此时我们不需要计算任何数据点的精确似然差，而是基于一个简单的判别式决定接受或拒绝。更精确的算法描述会涉及生成另一个均匀随机变量并与 $\exp(-\lambda)$ 比较。
   • 如果 $K > 0$，则我们需要进行精确计算。但妙处在于，我们不需要计算所有 $K$ 个数据点。我们均匀随机地（且可放回地）从 $1, ..., N$ 中抽取 $K$ 个索引 $i_1, ..., i_K$。然后，我们计算一个无偏的估计量： $$\hat{\Delta U} = \frac{M_t}{K} \sum_{j=1}^{K} \left( \frac{\log p(y_{i_j} | x_{i_j}, \theta_t) - \log p(y_{i_j} | x_{i_j}, \theta')}{|\log p(y_{i_j} | x_{i_j}, \theta_t) - \log p(y_{i_j} | x_{i_j}, \theta')| / M_t} \right)$$ 注意，括号内的分式实际上是一个符号函数乘以 $M_t$。这个估计量的期望恰好等于真实的能量差 $\Delta U$。
6. 计算接受概率：计算 $\hat{\alpha} = \min(1, \exp(\log p(\theta') - \log p(\theta_t) + \hat{\Delta U}))$。这里 $\hat{\Delta U}$ 替代了标准MH中的 $\sum_i [\log p(y_i|x_i,\theta_t) - \log p(y_i|x_i,\theta')]$。
7. 接受/拒绝：采样 $u \sim \text{Uniform}(0,1)$。如果 $u < \hat{\alpha}$，则接受提议，设置 $\theta_{t+1} = \theta'$；否则拒绝，设置 $\theta_{t+1} = \theta_t$。

4.2 关键实现细节与优化

1. 局部界 $M(\theta, \theta')$ 的计算优化：这是TunaMH性能的关键。目标是用远低于 $O(N)$ 的成本计算出一个紧致的上界。对于许多常见模型：

   • 线性/广义线性模型：可以利用数据矩阵的范数（如预计算 $X$ 的每行范数）和参数差向量的范数来快速计算。
   • 高斯模型：似然差涉及二次型，其上界可以通过矩阵范数得到。
   • 神经网络：这是挑战。一种思路是使用参数的梯度范数，并结合激活函数的Lipschitz常数来推导界。虽然可能不如简单模型紧致，但通常仍比全局最坏情况界好得多。也可以考虑使用反向传播一次计算所有数据的梯度范数上界，这比计算全部似然仍然便宜。

2. 超参数 $\chi$ 的调优：论文建议的策略在实践中很有效：运行一个短暂的预热阶段（如1000次迭代），监控 $\lambda = \chi C^2 M^2$ 的值和平均接受率。逐步增加 $\chi$，直到 $\lambda$ 在大部分迭代中接近但小于1，同时平均接受率接近一个理想值（如0.2-0.4）。此时平均批量大小也会稳定在一个较低水平。你可以将其视为一个自动化过程。

3. 与提议步长的协同调优：$\chi$ 和提议分布的步长（如高斯随机游走的方差 $\sigma^2$）是相互影响的。较大的步长会导致更大的 $M(\theta, \theta')$，从而在固定 $\chi$ 下增加 $\lambda$ 和期望批量大小。通常的调优流程是：先固定一个合理的提议步长（例如通过标准MH的预热来调整），然后再调 $\chi$。

4. 处理 $K=0$ 的情况：在实现中，当 $K=0$ 时，算法有一个概率为 $\exp(-\lambda)$ 的路径可以直接做出决策，而无需计算任何数据点。这对应了“非常可能接受”或“非常可能拒绝”的情况，由先验和局部界信息即可判断。实现时需要仔细处理随机数的生成顺序，以保证无偏性。

# 伪代码风格的核心迭代逻辑示意 import numpy as np from scipy.stats import poisson def tuna_mh_step(theta_current, data_X, data_y, prior_log_prob, chi, C, proposal_sigma): """ 一次TunaMH迭代。 假设已预计算了每个数据点的特征范数 norms_i = ||x_i||。 """ # 1. 提议新参数 theta_proposed = theta_current + proposal_sigma * np.random.randn(theta_current.shape[0]) # 2. 计算局部上界 M (以逻辑回归为例) delta_theta = theta_proposed - theta_current norm_delta = np.linalg.norm(delta_theta) # 预计算的 sum_norms = sum_i ||x_i|| M = 0.25 * sum_norms * norm_delta # Lipschitz常数 1/4 # 3. 计算 lambda 并采样 K lam = chi * (C**2) * (M**2) K = poisson.rvs(lam) # 4. 计算先验对数概率差 log_prior_diff = prior_log_prob(theta_proposed) - prior_log_prob(theta_current) # 5. 估计能量差 Delta U if K == 0: # 快速路径：以概率 exp(-lam) 进入，此时基于简单规则决策 # 简化示例：这里需要更复杂的处理以保证无偏性，通常涉及另一个均匀随机变量 # 此处略去细节，实际请参考论文算法1 estimated_log_likelihood_diff = ... # 基于M和lam的估计 else: # 精确路径：随机抽取K个数据点（可放回） N = len(data_y) indices = np.random.choice(N, size=K, replace=True) estimated_diff_sum = 0.0 for idx in indices: x_i, y_i = data_X[idx], data_y[idx] # 计算该数据点精确的对数似然差 log_p_current = y_i * np.log(sigmoid(np.dot(theta_current, x_i))) + (1-y_i)*np.log(1-sigmoid(np.dot(theta_current, x_i))) log_p_proposed = y_i * np.log(sigmoid(np.dot(theta_proposed, x_i))) + (1-y_i)*np.log(1-sigmoid(np.dot(theta_proposed, x_i))) exact_diff = log_p_current - log_p_proposed # 贡献为 M * sign(exact_diff) estimated_diff_sum += M * np.sign(exact_diff) estimated_log_likelihood_diff = estimated_diff_sum / K # 6. 计算接受概率 log_accept_ratio = log_prior_diff + estimated_log_likelihood_diff accept_prob = min(1.0, np.exp(log_accept_ratio)) # 7. 接受或拒绝 if np.random.rand() < accept_prob: return theta_proposed, K # 返回新状态和本次计算的批量大小K（用于监控） else: return theta_current, K

注意事项：关于无偏性的实现上述伪代码简化了 $K=0$ 情况下的处理。在完整的TunaMH算法中，当 $K=0$ 时，并非直接赋予一个估计值，而是以概率 $e^{-\lambda}$ 进入一个“提前决策”分支。在这个分支里，算法会基于先验比和另一个与 $M$ 相关的量来计算一个接受概率，而无需计算任何似然。这个设计保证了整个接受概率估计量 $\hat{\alpha}$ 是无偏的。在实现时，务必严格按照论文中的算法1来编写，特别是随机数的生成和比较顺序，否则会破坏精确性。

5. 实验分析与性能解读：TunaMH何以胜出？

论文在三个经典任务上对比了TunaMH与MH、TFMH、FlyMC等方法。我们深入解读这些实验，理解数据背后的原因。

5.1 鲁棒线性回归：高维下的效率王者

任务设置：使用自由度 $v=4$ 的Student’s t分布作为似然，进行贝叶斯线性回归，数据维度 $d=100$。这是一个高维、重尾的回归问题，对采样器挑战较大。

核心指标：有效样本量每秒（ESS/second）。这是衡量MCMC方法综合效率的黄金标准，它结合了链的混合速度（ESS）和计算成本（时间）。

实验结果分析：

1. 效率全面领先：如图5.2a所示，在不同数据集大小（$N$从2万到10万）下，TunaMH的ESS/second始终最高。这意味着在相同的挂钟时间内，TunaMH能产生更多统计意义上独立的样本。
2. 批量大小与效率的平衡：图5.2b揭示了关键。TFMH的平均批量大小最小，但它的效率（ESS/second）却最低。为什么？因为为了达到目标接受率（实验设为0.25），TFMH必须使用极小的提议步长。步长小意味着链移动缓慢，自相关性高，导致ESS很低。虽然它每一步算得快（批量小），但需要跑很多很多步才能获得有效样本，总时间反而更长。
3. 对比FlyMC：FlyMC的批量大小显著大于TunaMH（在 $N=10^5$ 时大约是35倍）。这是因为FlyMC依赖于辅助变量的边界，在高维问题中，这些边界往往比较宽松，导致需要计算更多的数据点。同时，其辅助变量与参数的强相关性也损害了混合效率，使得其ESS/second不如TunaMH。
4. MAP变体的对比：图5.2c和5.2d展示了当所有方法都使用最大后验（MAP）估计进行初始化或构建控制变量（Control Variates）时的情况。SMH（TFMH with MAP control variates）试图通过控制变量提高接受率，但这在高维（$d=100$）下导致批量大小急剧膨胀（图5.2d），得不偿失。FlyMC-MAP通过MAP收紧了下界，减少了批量大小，但其效率仍不及TunaMH-MAP。TunaMH仅使用MAP初始化，就取得了最佳性能，显示了其算法本身的优越性。

实操心得：如何解读ESS/secondESS/second高不一定绝对好，要结合目标看。如果你需要快速探索后验的大致形状（如模型比较），高ESS/second的方法很棒。但如果你需要极其精确的后验分位数估计（如风险价值计算），你可能需要关心ESS的绝对值和链的收敛诊断。TunaMH的高ESS/second意味着它能更快地为你提供一个“可用”的后验近似。

5.2 截断高斯混合模型：多峰分布的优势彰显

任务设置：一个双峰的高斯混合模型后验，参数被截断在 $[-3, 3]$ 区间。多峰分布是MCMC的经典难题，容易导致链被困在某个模式中。

核心发现：

1. 不依赖MAP的鲁棒性：这是TunaMH的一大亮点。像SMH这类依赖MAP构造控制变量的方法，在多峰分布上表现反而比基础TFMH更差（图5.3a中SMH-1的曲线）。原因很简单：MAP是单点估计，对于多峰分布，它可能只对应其中一个模式，基于它构建的控制变量会带有误导性，反而损害了采样。TunaMH完全不依赖MAP，因此能平等地探索所有模式。
2. 收敛速度的碾压性优势：图5.3a以对称KL散度衡量估计分布与真实分布的距离。TunaMH仅用1秒就收敛到接近真实分布，而其他方法（包括标准MH）需要长得多的时间。图5.3c显示，1秒后TunaMH的密度估计已非常接近真实分布（图5.3b）。
3. 局部界 vs. 全局界：表5.1显示，PoissonMH（依赖全局界）在此时批量大小巨大（~4000），而TunaMH的批量大小仅为~86。这是因为在多峰问题中，参数空间不同区域的最坏情况似然差可能非常大，导致全局界 $B$ 极其宽松。TunaMH的局部界 $M(\theta, \theta')$ 只关心当前这次跳跃，因此紧致得多。

5.3 MNIST逻辑回归：超参数 $\chi$ 的调节艺术

任务设置：在MNIST数据集的“7”和“9”分类任务上，使用贝叶斯逻辑回归，特征为前50个主成分。

核心结果：

1. 收敛速度最快：图5.4a显示，在测试准确率随时间的收敛曲线上，TunaMH最快达到高精度平台。
2. 批量大小的优势：表5.1显示，TunaMH的平均批量大小（~504）远小于FlyMC（~1960），是后者的约1/4。
3. 超参数 $\chi$ 的调节效应：图5.4b和5.4c精彩地展示了 $\chi$ 作为“权衡旋钮”的作用。
   • 图5.4b（横轴为迭代次数）：随着 $\chi$ 增大，TunaMH的收敛曲线越来越接近标准MH（MH）。这是因为更大的 $\chi$ 使链的混合行为更接近精确MH。
   • 图5.4c（横轴为时间）：三条不同 $\chi$ 的TunaMH曲线都显著高于标准MH曲线。这说明无论 $\chi$ 如何设置，TunaMH在单位时间内的性能都优于标准MH。但不同 $\chi$ 下性能仍有差异，存在一个最优值。
   • 表注中给出了具体数据：$\chi = 10^{-5}, 10^{-4}, 5\times10^{-4}$ 对应的平均批量大小分别为504.07, 810.35, 2047.91。批量大小随 $\chi$ 增大而增加，验证了其作为“效率-可扩展性”旋钮的功能。

避坑指南：如何在实际中设置 $\chi$论文的启发式方法（使 $\chi C^2 M^2 < 1$ 且平均批量接近 $CM$）是一个很好的起点。具体操作：

1. 运行一个简短的预热链（1000-5000次迭代），不开启了TunaMH的小批量特性，或使用一个保守的 $\chi$。
2. 监控每次迭代的 $M(\theta, \theta')$ 值，计算其典型范围。
3. 根据公式 $\chi \approx 1 / (C^2 \cdot \text{median}(M^2))$ 设定初始 $\chi$。
4. 正式运行，监控平均接受率和平均批量大小。微调 $\chi$：若接受率远低于目标（如0.25），可适当增大 $\chi$ 或减小提议步长；若批量大小过大，可适当减小 $\chi$。目标是找到在可接受时间内ESS/second最高的配置。

6. 常见问题、排查技巧与扩展思考

在实际实现和应用TunaMH时，你可能会遇到一些典型问题。以下是我从实验和复现中总结的经验。

6.1 实现与调试中的常见问题

6.2 与其他技术的结合与扩展思考

1. 与自适应提议结合：TunaMH的提议分布（如随机游走的协方差矩阵）可以自适应调整（如Haario等的方法）。需要注意的是，自适应过程可能会改变参数空间的探索特性，从而影响局部界 $M$ 的典型值。建议在自适应阶段使用一个固定的、保守的 $\chi$，待提议分布稳定后再精细调节 $\chi$。

2. 处理流数据或在线学习：TunaMH的框架原则上可以扩展到数据流场景。当新数据块到达时，需要更新局部界 $M$ 的计算（例如，更新预计算的数据范数和）。关键在于设计一个增量式更新 $M$ 的方法，避免全量重算。

3. 超越无状态方法：论文指出，TunaMH在它所定义的“无状态的、基于能量差的”小批量MH方法类别中是渐近最优的。未来的突破可能在于有状态（Stateful）方法，这些方法可能利用迭代之间的信息来进一步降低方差或批量大小。例如，可以尝试用历史信息构建一个更紧致的局部界，或者设计一个自适应的 $\chi$ 调节策略。

4. 软件实现与工程优化：一个高效的TunaMH实现需要：

   • 向量化计算：即使只计算小批量数据，也要利用NumPy/PyTorch/TensorFlow的向量化操作。
   • 预计算与缓存：所有不随参数变化的数据相关量（如 $|x_i|$）都应预计算并缓存。
   • 并行化：当 $K$ 较大时，对小批量内数据点的似然计算可以并行。
   • 监控与诊断：实时监控平均批量大小、接受率、$\lambda$ 值以及ESS（需要在线计算自相关），以便及时调整超参数。

TunaMH提供了一种在精确小批量MCMC中实现可控权衡的优雅框架。它将超参数 $\chi$ 从一个需要小心躲避的麻烦，转变为一个可以主动利用的杠杆。通过理解其局部界的设计原理，掌握 $\chi$ 的调节技巧，并注意实现中的各种坑，你就能在实际的大规模贝叶斯推断问题中，显著提升采样效率，在有限的计算资源下获得更可靠的后验样本。