Что такое weight sharing в NAS?

Weight sharing в NAS (Neural Architecture Search) — это техника, при которой разные архитектуры нейронных сетей, исследуемые в процессе поиска, используют общие веса вместо обучения каждой архитектуры с нуля. Это значительно ускоряет процесс поиска, так как веса обучаются один раз и переиспользуются для оценки множества вариантов архитектур.

Пример: вместо того, чтобы тренировать каждую архитектуру отдельно, создаётся суперсеть (supernet), которая содержит все возможные варианты архитектур как подмножества. Веса суперсети обучаются совместно, и для оценки конкретной архитектуры берутся соответствующие веса из суперсети.

Это снижает вычислительные затраты и время, необходимые для NAS, делая процесс более эффективным.