PyTorch教程19.4之多保真超參數(shù)優(yōu)化

19.4.1。連續(xù)減半

使隨機搜索適應多保真度設置的最簡單方法之一是連續(xù)減半 （Jamieson 和 Talwalkar，2016 年，Karnin等人，2013 年）。基本思想是從N配置，例如從配置空間隨機采樣，并訓練它們中的每一個 rmin只有時代。然后，我們丟棄一部分表現(xiàn)最差的試驗，并對其余試驗進行更長時間的訓練。重復這個過程，更少的試驗運行更長時間，直到至少有一個試驗達到rmax時代。

更正式地說，考慮最低預算rmin（例如 1 個 epoch），最大預算rmax，例如 max_epochs在我們之前的例子中，還有一個減半常數(shù) η∈{2,3,…}. 為簡單起見，假設 rmax=rminηK， 和K∈I. 那么初始配置的數(shù)量是N=ηK. 讓我們定義一組梯級 R={rmin,rminη,rminη2,…,rmax}.

一輪連續(xù)減半的過程如下。我們從跑步開始N試驗到第一梯級rmin. 對驗證錯誤進行排序，我們保持頂部1/η分數(shù)（相當于ηK?1配置）并丟棄所有其余的。幸存的試驗被訓練用于下一個梯級（rminηepochs），然后重復該過程。在每個梯級，一個1/η部分試驗存活下來，他們的訓練繼續(xù)進行η倍大的預算。有了這個特別的選擇N, 只有一個試驗將被訓練到全部預算rmax. 一旦這樣一輪連續(xù)的減半完成，我們就會用一組新的初始配置開始下一輪，迭代直到總預算用完。

圖 19.4.2隨機超參數(shù)配置的學習曲線。

我們將第 19.2 節(jié)HPOScheduler的基類子類化 ，以實現(xiàn)連續(xù)減半，允許通用 對象對配置進行采樣（在我們下面的示例中，它將是 a ）。此外，用戶必須通過最少的資源HPOSearcherRandomSearcherrmin, 最大資源 rmax和η作為輸入。在我們的調(diào)度程序中，我們維護一個配置隊列，這些配置仍需要針對當前梯級進行評估ri. 每次我們跳到下一個梯級時，我們都會更新隊列。

class SuccessiveHalvingScheduler(d2l.HPOScheduler): #@save
  def __init__(self, searcher, eta, r_min, r_max, prefact=1):
    self.save_hyperparameters()
    # Compute K, which is later used to determine the number of configurations
    self