优化器文档概述

本文档提供了 NASLib 中可用的一系列优化器的信息。探索这些适用于离散和 One-Shot 架构搜索方法的优化器，每种方法都针对 NAS 领域的特定任务进行了定制。

离散优化器

Bananas 是一种强大的离散优化器，可以在离散搜索空间中高效地搜索神经网络架构。它结合使用贝叶斯优化和神经网络来寻找最优架构。

Base Predictor 优化器是离散 NAS 的基础组件。它通过基于历史数据预测候选架构的性能来提供架构搜索的起点。

局部搜索是一种专注于通过局部探索来优化神经网络架构的优化器。它是微调架构以实现更好性能的宝贵工具。

NPenas 是一种利用基于惩罚的技术搜索神经网络架构的优化器。它有助于防止过拟合，同时找到在您的特定任务上表现良好的架构。

正则化演化是一种离散优化器，它使用带有正则化的演化算法来发现高性能的神经网络架构。它平衡了探索和利用，以找到最优解。

随机搜索是一种简单但有效的优化器，它通过随机采样和评估架构来探索神经网络架构搜索空间。它作为 NAS 实验的基准。

DARTS（可微分架构搜索）是一种 One-Shot 优化器，它使用基于梯度的方法搜索最优神经网络架构。它允许对架构搜索空间进行连续松弛以提高效率。

DrNAS 是一种将正则化技术融入 One-Shot NAS 的优化器。它通过在搜索过程中添加正则化约束来专注于发现鲁棒的神经网络架构。

GDAS（梯度驱动架构搜索）是一种 One-Shot 优化器，它强调使用梯度来指导神经网络架构的搜索。它在保持可微分性的同时高效地探索搜索空间。

RSWS（随机搜索与权重共享）是一种 One-Shot 优化器，它结合了随机搜索和权重共享来高效地发现神经网络架构。它利用共享权重来加速搜索过程。