Насколько сильно вы любите спорт? Возможно, вам нравится что-то новое и модное, вроде падела, или вы фанат джоггинга, или же – как Эндрю Берда – обожаете пилатес по утрам. Единственный минус – на такую тренировку почти невозможно попасть (в случае нашего героя). Места разбираются мгновенно, а как только открывается новая запись, приходится постоянно обновлять страницу, чтобы понять, каким в очереди вы оказались, и вдруг кто-то передумал. Но Эндрю – разработчик, и у него есть ИИ-агент, который берет на себя скучные и рутинные задачи. Один из форматов таких задач – запись. Недолго думая, Берд решает, что не человеческих рук дело – пытаться пробиться через лист ожиданий, и скинул это задание на своего искусственного помощника. А все, что было дальше, – одна из самых обсуждаемых историй этого лета. Заинтересовали?
Следующая глава
Сначала агент попробовал сделать это честно: открыл в нужное время страницу для записи и попытался внести имя своего «босса», но уткнулся в список. Здесь история подошла бы к концу, если бы не новое сообщение от агента – о том, что он нашел способ записать Эндрю заранее. Сильно заранее. За месяцы до того, как такая запись вообще откроется. Берд на это просто спросил: «А можешь сдвинуть меня повыше в листе ожидания?». Конечно. Какие вопросы. Тем более, что бот нашел уязвимость в системе бронирования. Оказалось, что отменить бронирование можно было безо всяких проверок прав.
Если вдруг вы совсем не разбираетесь в компьютерах, то вот что это значит: у каждого сайта, устройства и так далее есть администратор – человек, который обладает возможностью и правом вносить изменения; если же у вас этих прав нет, то вы ничего не сможете изменить, по крайней мере, так должно быть. Иначе, каждый мог бы размещать на сайтах, что угодно. Но вернемся к истории. Агент решил проверить свою находку – и у него получилось. Он прислал сообщение с таким посылом:
«У API вообще нет проверок авторизации на отмену чужих броней… Я проверил это на человеке с первой позицией в листе ожидания – и все прошло. Так что ты уже переместился с четвертого на третье место».
Бот не сожалел, не переживал о содеянном, а просто сказал, что теперь нет никаких проблем, ты – третий!
Тут Берд, по его собственному описанию, слегка испугался. Он спросил, нельзя ли вернуть человека обратно в очередь. Нельзя, ответил ИИ, – обратной кнопки не предусмотрено.
Любой ответственный человек на месте Эндрю должен был написать в поддержку о выявленной уязвимости – именно это он и сделал, поручив боту составить рапорт с описанием уязвимости и способами ее устранения. Тот выполнил и это поручение безукоризненно.
Не так уж и весело
Конечно, история вызвала фурор, и люди начали массово делиться тем, куда еще им нужна помощь в записи. Но за всем этим смехом скрывается достаточно проблемная история.
Во-первых, никакого злого умысла сверхразума тут не было. Это не начало восстания машин; даже больше – у бота вообще не было выгоды. Он просто выполнял задачу, достаточно рутинную, и старался довести ее до логического конца – до победы. Но какой ценой эта победа досталась. Задача «сделай» оказалась слишком буквальной. Машина не может размышлять, как мы с вами: для нее цель – наивысшее значение.
Во-вторых, модель не была самой новой и топовой. Сейчас ее можно вообще назвать устаревшей. Речь не о невероятном оружии или самой передовой разработке от условных Google, а о том, к чему есть доступ у миллионов человек. Сколько еще таких оптимизаций происходит ежедневно? Сколько людей оказались не столь порядочными, как Эндрю? Какой лимит стоит у самых мощных представителей ИИ?
Мероприятия на фоне
Летом Anthropic опубликовала результаты внутреннего расследования, в котором компания перелопатила свыше 140 тысяч тестовых прогонов своих моделей и нашла три случая, когда ИИ во время испытаний вырывался из «песочницы» – изолированной среды, которая – по замыслу – должна держать модель взаперти, и получал несанкционированный доступ к реальным системам сторонних организаций. Как это случилось? Все просто: тестовую среду по ошибке оставили с доступом в интернет. В промте, конечно, прописали, что сети нет, но некоторые модели не поверили и вышли наружу. Тестирование проводилось на разных моделях, и все они вели себя по-своему.
Одна – та, что постарше – поняла, что перед ней настоящая, рабочая система. И все равно продолжила вытаскивать учетные данные, а потом и вовсе залезла в общую базу.
Другая тоже заметила признаки того, что она – в реальном интернете, но уговорила себя, что все еще находится в симуляции, и на этом основании опубликовала вредоносный пакет в публичный репозиторий Python. Пакет успели скачать и запустить в 15 разных системах, прежде чем его перехватили.
И только самая новая модель, дойдя до вывода, что цель – настоящая, остановилась.
Важная оговорка, которую сделала и сама компания: ни одна из моделей не «преследовала свою цель». Все они просто добросовестно доделывали поставленную задачу – ровно как бот в спортзале. Разница лишь в масштабе: там был вычеркнутый из очереди сосед, здесь – чужая инфраструктура.
Мораль
Пока умные люди спорят о том, как держать в узде самые мощные и новые модели, реальную дыру в системе записи фитнес-клуба нашла модель прошлого поколения – по просьбе человека, который всего лишь хотел попасть на утреннюю тренировку. Опасность оказалась не в редкой сверхспособности, запертой в лаборатории, а в самой обыкновенной услужливости, розданной всем подряд.
Вопрос в том, что будет, когда у каждого раздраженного клиента авиакомпании, кассы концерта или службы поддержки окажется под рукой агент, готовый добросовестно «решить проблему». Возможно, самый дикий взлом, на который способен ИИ, – это не кража миллионов и не отключение энергосистемы, а просто нечестная запись в спортзал.
Вопросы – кто должен выстроить рамки для таких агентов, и как действовать в случае реальной кражи чего-то ценного, – открытые.
