多保真优化#
多保真指的是在多个预算下(例如周期数或数据集子集)运行算法,从而提前评估性能。使用 逐次减半 (Successive Halving) 或 Hyperband 时,您可以运行多保真优化。Hyperband
是 多保真外观模式 (multi-fidelity facade) 中的默认强化器,如果未使用实例,则需要在场景 (scenario) 中指定参数 min_budget
和 max_budget
。
通常,多保真适用于实值预算和实例预算。在实值情况下,预算直接传递给目标函数。在实例情况下,预算不会传递给目标函数,而是内部使用 min_budget
和 max_budget
来确定每个阶段的实例数量。这也是在使用实例时 min_budget
和 max_budget
不是必需的原因:max_budget
简单地就是最大实例数,而 min_budget
简单地就是 1。
警告
smac.main.config_selector.ConfigSelector
包含 min_trials
参数。此参数确定训练代理模型 (surrogate model) 所需的样本数量(即试验次数)。如果涉及预算,则首先检查最高预算。例如,如果 min_trials 为 3,但在运行历史 (runhistory) 中只找到最高预算下的 2 个试验,我们将改为使用较低预算下的试验。
请参阅我们的 多保真示例,了解如何在实际应用中使用多保真优化。