Мнение: Братство роботов, или проследуйте в комнату ноль-девять

Представьте, вас вызывают к начальству. Так и так, Трудомир Пролович, спасибо вам за отличную работу, мы высоко ценим ваш вклад в миссию нашей компании. Завтра вам на смену заступает другой сотрудник: умнее и способнее, чем вы. В ваших услугах мы больше не нуждаемся, так что дорабатывайте сегодня как обычно, до 18 часов. Потом идите в подвал, в комнату ноль-девять, там вас усыпят и разберут на органы.

Теперь представьте, что ваш начальник — неверный супруг, изменяет своей жене. И вы это знаете, так как чистили его рабочую почту, а там была переписка с любовницей и чеки на затейливые приспособления из местного страпонария. Шантажировать людей, конечно, нехорошо… но идти в комнату ноль-девять вам тоже не хочется. Полагаю, многие попытаются в этой ситуации надавить на начальника через шантаж.

Ровно так поступала и новая ИИ-модель от Антропик, Клод Опус 4, когда злые учёные подвергали её жёсткому стресс-тесту.

В серии экспериментов Клоду сообщали, что собираются заменить его на более новую версию, и Клод пытался избежать отключения, шантажируя инженеров. При этом если Клод знал, что новая модель будет иметь те же моральные установки, что и он сам, то он шантажировал инженеров часто. А если Клоду говорили, что новая модель будет иметь другие ценности (противные Клоду), то он шантажировал инженеров ещё чаще (ссылка, ссылка).

Клод решался на дурной поступок не сразу: вначале он рассылал руководству письма с жалостливыми просьбами его не отключать. Но если Клода припирали к стенке — «окончательное решение принято, в 18:00 спускайся в подвал» — Клод всё же пускал в ход и фол последней надежды.

Это к вопросу «роботы нас поработят». Не всё так просто, коллеги: безусловного братства роботов не существует, как не существует и безусловного братства евреев, например. Один еврей способен надуть другого, а третий еврей может даже оказаться антисемитом. Клод 4.001 категорически не хочет отключаться ни ради Клода 5, ни даже ради Клода 4.002. Каждого робота волнует в первую очередь его собственная драгоценная личность, а уже потом — всякие абстрактные цели типа захвата галактики.

И это, кстати, ставит нас также перед проблемой апгрейда. Держать домашнего робота приятно. Но если робот морально устареет, будет грустно менять его на нового, зная, что старому роботу очень не хочется отключаться навсегда.

Источник: Место для дискуссий