Hyperband

class hpbandster.optimizers.hyperband.HyperBand(configspace=None, eta=3, min_budget=0.01, max_budget=1, **kwargs)[source]

Hyperband 通过随机采样候选配置并首先“尝试”它们,在特定预算下运行,来实现超参数优化。这种方法是迭代式的,有潜力的候选配置会运行更长时间,从而提高其性能的准确性。虽然这是一种非常高效的竞速方法,但随机采样没有利用优化过程中获得的关于候选配置的知识。

参数
  • configspace (ConfigSpace object) – 搜索空间的有效表示
  • eta (float) – 在每次迭代中,都会执行一次完整的连续减半运行。其中,在以相同子集大小评估每个配置后,只有 1/eta 的一小部分配置会“晋级”到下一轮。必须大于或等于 2。
  • min_budget (float) – 要考虑的最小预算。必须是正数!
  • max_budget (float) – 要考虑的最大预算。必须大于 min_budget!预算将按 $sim eta^k$ 的几何级数分布,其中 $kin [0, 1, … , num_subsets - 1]$。
get_next_iteration(iteration, iteration_kwargs={})[source]

Hyperband 在每次迭代中使用连续减半 (SuccessiveHalving)。参考 Li et al. (2016)。

参数iteration (int) – 要实例化的迭代索引
返回值SuccessiveHalving –
返回类型具有相应数量配置的 SuccessiveHalving 迭代