Что такое sim-to-real transfer и domain randomization?

Sim-to-real transfer — это задача переноса моделей или политик, обученных в симуляторе (виртуальной среде), в реальный мир, где условия могут отличаться.

Проблема в том, что симуляторы не идеально отражают реальность, и модели могут плохо работать вне симуляции.

Domain randomization — один из методов решения этой проблемы. Идея в том, чтобы во время обучения в симуляторе случайным образом изменять параметры среды (цвета, освещение, физические свойства и т.п.), создавая множество вариаций. Это заставляет модель учиться более общим и устойчивым признакам, которые хорошо переносятся в реальный мир.

Пример: при обучении робота в симуляторе случайно меняют текстуры объектов, положение света, физические параметры, чтобы модель не переобучалась на конкретные детали симуляции.

Таким образом, domain randomization помогает уменьшить разрыв между симуляцией и реальностью, улучшая качество sim-to-real transfer.