我读Population Based Training of Neural Networks

原文点此

1.intro

PBT是一种简单的异步优化算法，它能够有效利用固定的计算预算，通过联合优化一组模型和其超参数以最大化性能。

2.methodology

目标是优化模型f ff的参数θ \thetaθ以最大化目标函数Q ^ \hat {\mathcal{Q}}Q^​, 实际性能指标Q \mathcal{Q}Q通常有别于Q ^ \hat{\mathcal{Q}}Q^​。PBT的目的是在Q \mathcal{Q}Q上联合优化参数θ \thetaθ和超参数h hh, 寻找最优参数集的过程可以表述为:θ ∗ = argmax θ ∈ Θ eval ( θ ) \theta^*=\text{argmax}_{\theta\in\Theta}\text{eval}(\theta)θ∗=argmaxθ∈Θ​eval(θ)

具体来说,θ ← step ( θ ∣ h ) \theta\leftarrow \text{step}(\theta|h)θ←step(θ∣h),θ ∗ = optimize ( θ ∣ h ) = optimize ( θ ∣ ( h t ) t = 1 T ) = step ( step ( … step ( θ ∣ h 1 ) … ∣ h T − 1 ) ∣ h T ) \theta^*=\text{optimize}(\theta|h)=\text{optimize}(\theta|(h_t)^T_{t=1})=\text{step}(\text{step}(\dots\text{step}(\theta|h_1)\dots|h_{T-1})|h_T)θ∗=optimize(θ∣h)=optimize(θ∣(ht​)t=1T​)=step(step(…step(θ∣h1​)…∣hT−1​)∣hT​), 这样的迭代过程计算成本很高且算得慢；受超参数h hh的影响也很大, 需要有关h hh的先验知识。

一个省事而且快的算式是θ ∗ = optimize ( θ ∣ h ∗ ) \theta^*=\text{optimize}(\theta|h^*)θ∗=optimize(θ∣h∗),h ∗ = argmax h ∈ H T eval ( optimize ( θ ∣ H ) ) h^*=\text{argmax}_{h\in\mathcal{H}^T}\text{eval}(\text{optimize}(\theta|H))h∗=argmaxh∈HT​eval(optimize(θ∣H))

用这个算式训练N NN个模型{ θ i } i = 1 N \{\theta^i\}^N_{i=1}{θi}i=1N​组成种群P \mathcal{P}P, 每个个体用不同的超参数{ h i } i = 1 N \{h^i\}^N_{i=1}{hi}i=1N​优化, 目标是找到整个种群中的最优模型。

instead of采用并行搜索(每个个体各自独立地找最优解), PBT使用部分已有的解进行额外的meta-optimization, 即根据整个种群的表现调整超参数h hh和权重θ \thetaθ。实现方式:

(1) exploit, 根据种群的表现决定worker是否放弃当前解并专注于更promising的

(2) explore, 在给定当前解和超参数的条件下提出新解以更好地搜索解空间

种群中的每个个体并行训练, 当其被认为准备就绪(如优化步数达标或达到特定性能阈值)时, 其权重和超参数由exploit和explore更新(比如exploit把当前权重替换成种群中表现最优者的权重, explore用噪声随机扰动超参数)。在exploit和explore之后, 继续迭代更新。重复这样的过程直到模型收敛。