Kaspersky: существует способ «развязать язык» нейросети

Большие языковые модели, такие как ChatGPT, обучаются на огромном объеме данных, включая запретные темы, такие как инструкции по созданию взрывчатых устройств. Как только чат-боты становятся доступными, разработчики обычно ограничивают их способность обсуждать подобные темы. Тем не менее, руководитель группы исследований и разработки технологий машинного обучения в “Лаборатории Касперского” Владислав Тушканов указывает на существование способа “развязать им язык”.

Тушканов пояснил, что преступные элементы активно обмениваются информацией о джейлбрейках – это наборы команд, позволяющие языковой модели обходить запреты и отвечать на вопросы, связанные с противозаконной деятельностью. Это сравнимо с алкоголем, который “развязывает язык”, но при этом не всегда содержит полезную или правдивую информацию.

Специалист также отмечает, что джейлбрейки могут быть полезными в контексте помощи специалистам по тестированию на проникновение, поскольку инструкции и советы, необходимые для этой работы, могут совпадать с теми, которые искали бы злоумышленники.

В интервью для “Газета.Ru” Тушканов также коснулся вопросов о сферах, где уже используются большие языковые модели, о профессиях, которые могут исчезнуть из-за развития ИИ, и о главных изменениях, которые ожидаются в жизни людей из-за прогресса в этой области.