Натренированные в видеоиграх роботы показали лучшие результаты в реальной жизни

Роботы, обученные в симуляторе, позволяющем им запоминать, как выходить из сложных ситуаций, стали лучше преодолевать сложную местность в реальной жизни, рассказали исследователи из Швейцарской высшей технической школы Цюриха.

Исследователь Джуно Ли и его коллеги обучили алгоритм нейронной сети, разработанный для управления четвероногим роботом, в моделируемой среде, похожей на видеоигру. Она воспроизводит местность из холмов, ступеней и лестниц, передает портал NewScientist.

Ученые показали алгоритму, в каком направлении должен двигаться робот, а также поставили ограничения по тому, как быстро он может поворачиваться.

Затем они запустили алгоритм, делая случайные движения в симуляции. Исследователи вознаграждали робота за правильное движение и наказывали в противном случае. Накапливая награды, нейронная сеть научилась перемещаться по разнообразной местности.

В данный момент большинство роботов реагируют в реальном времени на измерения своего окружения с помощью заранее запрограммированных реакций, сталкиваясь с каждой проблемой в первый раз.

Нейронная сеть позволяет роботу опираться на опыт, полученный из ошибок, и, предварительно обучив алгоритм в симуляции, исследователи могут ограничить риски и снизить затраты.

«Мы не можем перенести его на реальную местность, на которой мы хотим его тренировать, потому что это может повредить роботу, а это очень дорого», – сказал Ли.

Изначально исследователи использовали небольшую нейронную сеть, которая была предварительно запрограммирована с учетом знаний о моделируемой среде, что позволило алгоритму быстро учиться, принимая входные данные от виртуальных датчиков и запоминая их. Затем они передали эти знания в большую сеть, используемую для управления настоящим роботом.

Используя этот опыт, робот смог двигаться со скоростью 0,452 метра в секунду по мшистой земле – в два раза быстрее, чем он может двигаться с помощью своей стандартной программы.

Ранее Ростех представил нейросеть для управления группой боевых роботов. При этом эксперты отметили, что для работы с нейросетями некоторые российские разработчики, возможно, используют зарубежные «железо» и софт.