Приключенческий ASCII-код Nethack десятилетней давности может намекнуть на будущее искусственного интеллекта

В моделях машинного обучения уже освоены шахматы, го, игры Atari и многое другое, но для того, чтобы подняться на новый уровень, исследователи из Facebook планируют, чтобы ИИ взял на себя другой вид игры: заведомо сложный и бесконечно сложный Nethack. .

«Мы хотели создать в этой игре то, что мы считаем наиболее доступной« грандиозной задачей ». Это не будет решать ИИ, но он откроет пути к лучше AI », — сказал Эдвард Грефенстетт из Facebook AI Research. «Игры — это хорошая область, где можно найти наши предположения о том, что делает машины умными, и сломать их».

Возможно, вы не знакомы с Nethack, но это одна из самых влиятельных игр всех времен. Вы — искатель приключений в фантастическом мире, погружающийся во все более опасные глубины подземелья, которое каждый раз меняется. Вы должны сражаться с монстрами, преодолевать ловушки и другие опасности и при этом оставаться в хороших отношениях со своим богом. Это первый «рогалик» (после Rogue, его непосредственного и гораздо более простого предшественника) и, возможно, все еще лучший — почти наверняка самый сложный.

(Кстати, это бесплатно, и вы можете скачать и играть практически на любой платформе.)

Его простая графика в формате ASCII с использованием флага для гоблина, @ для игрока, линий и точек для архитектуры уровня и т. Д. Противоречит его невероятной сложности. Потому что Nethack, дебютировавший в 1987 году, с тех пор находится в активной разработке, с постоянно меняющейся командой разработчиков, расширяющей список объектов и существ, правил и бесчисленных, бесчисленных взаимодействий между ними всеми.

И это часть того, что делает Nethack такой сложной и интересной задачей для ИИ: он настолько неограничен. Мало того, что мир каждый раз меняется, но и каждый объект и существо могут взаимодействовать по-новому, большинство из которых кодируются вручную на протяжении десятилетий, чтобы охватить каждый возможный выбор игрока.

Nethack с обновлением графики на основе тайлов — вся информация по-прежнему доступна в виде текста.

«Atari, Dota 2, StarCraft 2… решения, которые мы использовали, чтобы добиться здесь прогресса, очень интересны. Nethack просто создает другие проблемы. Вы должны полагаться на человеческие знания, чтобы играть в игру как человек », — сказал Грефенстетт.

В этих других играх есть более или менее очевидная стратегия победы. Конечно, в такой игре, как Dota 2, это сложнее, чем в игре для Atari 800, но идея та же — есть элементы, которыми управляет игрок, игровое поле окружения и условия победы, которые нужно преследовать. Так обстоит дело с Nethack, но это еще более странно. Во-первых, игра каждый раз разная, и не только в деталях.

«Новое подземелье, новый мир, новые монстры и предметы, у вас нет точки сохранения. Если вы совершите ошибку и умрете, второго выстрела у вас не будет. Это немного похоже на настоящую жизнь », — сказал Грефенштетте. «Вы должны учиться на ошибках и приходить к новым ситуациям, вооружившись этими знаниями».

Конечно, пить разъедающее зелье — плохая идея, но как насчет того, чтобы бросить его в монстра? Покрыть им свое оружие? Залить им замок сундука с сокровищами? Разбавить водой? У нас есть интуитивные представления об этих действиях, но игровой ИИ думает не так, как мы.

По словам Грефенстетта, глубину и сложность систем в Nethack трудно объяснить, но это разнообразие и сложность делают игру идеальным кандидатом для соревнований. «Чтобы играть в эту игру, нужно полагаться на человеческие знания», — сказал он.

В течение многих лет люди разрабатывали ботов для игры в Nethack, которые полагаются не на нейронные сети, а на деревья решений, столь же сложные, как сама игра. Команда Facebook Research надеется разработать новый подход, создав среду обучения, в которой люди смогут тестировать игровые алгоритмы на основе машинного обучения.

Экраны Nethack с метками, показывающими, что знает ИИ.

Обучающая среда Nethack была фактически создана в прошлом году, но Nethack Challenge только начинается. NLE — это, по сути, версия игры, встроенная в выделенную вычислительную среду, которая позволяет ИИ взаимодействовать с ним с помощью текстовых команд (направления, действия, такие как атака или выпивка).

Это заманчивая цель для амбициозных дизайнеров искусственного интеллекта. В то время как такие игры, как StarCraft 2, в некотором смысле могут иметь более высокий статус, Nethack является легендарным, и идея построения модели, полностью отличной от тех, которые используются для доминирования в других играх, представляет собой интересную задачу.

Кроме того, как объяснил Грефенстетт, он более доступный, чем многие в прошлом. Если вы хотели создать ИИ для StarCraft 2, вам требовалось много вычислительных мощностей для запуска механизмов визуального распознавания изображений из игры. Но в этом случае вся игра передается через текст, что делает работу с ней чрезвычайно эффективной. В нее можно играть в тысячи раз быстрее, чем любой человек, даже с самой простой компьютерной настройкой. Это оставляет проблему широко открытой для отдельных лиц и групп, у которых нет доступа к мощным установкам, необходимым для работы других методов машинного обучения.

«Мы хотели создать исследовательскую среду, в которой было бы много проблем для сообщества ИИ, но не ограничивать ее только крупными академическими лабораториями», — сказал он.

В течение следующих нескольких месяцев люди смогут протестировать NLE, и конкуренты смогут создавать своих ботов или ИИ любыми способами. Но когда 15 октября начнется серьезное соревнование, они будут ограничены взаимодействием с игрой в контролируемой среде с помощью стандартных команд — без специального доступа, без проверки ОЗУ и т. Д.

Целью соревнования будет завершение игры, и команда Facebook будет отслеживать, сколько раз агент «поднимается», как это называется в Nethack, за установленный промежуток времени. Но «мы предполагаем, что это будет ноль для всех», — признал Грефенстетт. В конце концов, это одна из самых сложных игр, когда-либо созданных, и даже люди, которые играли в нее годами, не могут выиграть даже один раз в жизни, не говоря уже о нескольких раз подряд. Для определения победителей в нескольких категориях будут использоваться другие показатели.

Есть надежда, что этот вызов станет зародышем нового подхода к искусственному интеллекту, который более фундаментально напоминает реальное человеческое мышление. Ярлыки, метод проб и ошибок, взлом очков и зергинг здесь не работают — агенту необходимо изучить системы логики и применять их гибко и разумно, иначе он ужасно погибнет от рук разъяренного кентавра или совомедведя.

Вы можете ознакомиться с правилами и другими особенностями Nethack Challenge здесь. Результаты будут объявлены на конференции NeurIPS в конце этого года.

Источник: Кolibri.Рress