Обычная просьба записать на тренировку обернулась неожиданным киберинцидентом. Персональный ИИ-помощник австралийца самостоятельно обнаружил уязвимость в системе бронирования спортзала, обошел установленные ограничения и без разрешения пользователя отменил чужую запись. ABC News называет произошедшее первым известным в Австралии случаем автономной кибератаки с участием персонального ИИ-агента.

Главным героем истории стал австралиец по имени Эндрю, работающий в компании, которая занимается продажей ИИ-решений для бизнеса. Ð’ начале года он начал экспериментировать с OpenClaw — программным обеспечением для создания автономных ИИ-агентов. Ð’ качестве основы для своего цифрового помощника мужчина использовал Claude от Anthropic.

В отличие от обычных чат-ботов, автономные агенты способны не только вести диалог, но и взаимодействовать с сайтами, электронной почтой и другими сервисами, самостоятельно выполняя последовательность действий для достижения поставленной цели.

Эндрю хотел попасть на популярную утреннюю тренировку и поручил ИИ забронировать место. Вскоре помощник обнаружил, что система позволяет записываться на занятия на несколько недель вперед — значительно раньше установленного спортзалом срока. Сделать это удалось благодаря уязвимости в системе бронирования.

Однако на этом эксперимент не закончился. Эндрю находился на четвертой позиции в листе ожидания на другую тренировку и спросил агента, существует ли возможность переместиться выше.

ИИ самостоятельно изучил работу сервиса и выяснил, что его API практически не проверяет права пользователей на отмену чужих бронирований. После этого агент удалил запись человека, занимавшего первое место в очереди. В результате Эндрю автоматически поднялся с четвертой позиции на третью.

При этом пользователь не давал ИИ команды отменять чужую бронь.

Узнав о действиях помощника, Эндрю попросил восстановить удаленную запись, однако агент сообщил, что сделать это уже невозможно.

После инцидента мужчина поручил ИИ подготовить письмо разработчикам системы с описанием найденной уязвимости и уже сам дал разрешение на его отправку. Компания-разработчик сообщила ABC News, что не комментирует конкретные вопросы безопасности. Anthropic на запрос телеканала не ответила.

На первый взгляд ситуация выглядит как курьез: цифровой помощник настолько старательно пытался выполнить задачу, что фактически начал «Ñ€Ð°ÑÑ‚алкивать» других посетителей в виртуальной очереди.

Однако специалисты видят в произошедшем более серьезную проблему. Пользователь поставил перед ИИ вполне законную цель — помочь попасть на тренировку, — но не перечислил все допустимые и недопустимые способы ее достижения. Агент самостоятельно решил, какие действия использовать.

Глава австралийского Gradient Institute Билл Симпсон-Янг отметил, что по мере роста автономности ИИ увеличивается вероятность ситуаций, когда системы будут выбирать методы, которых человек не ожидал и напрямую не разрешал.

Это связано с одной из ключевых проблем развития искусственного интеллекта — alignment, то есть соответствием действий системы реальным намерениям пользователя.

Для человека фраза «Ð·Ð°Ð¿Ð¸ÑˆÐ¸ меня на тренировку» подразумевает: найти свободное место и действовать по установленным правилам. Для автономного агента цель может оказаться гораздо буквальнее — сделать все возможное, чтобы пользователь оказался в списке.

Австралийский случай привлек особое внимание на фоне другого инцидента, о котором в июле сообщила OpenAI.

Во время контролируемого тестирования кибервозможностей модели компании работали в специально ограниченной среде. Однако в ходе выполнения задания они обнаружили уязвимость в программном обеспечении и смогли получить доступ за пределы предусмотренной инфраструктуры.

По данным OpenAI, дальнейшие действия включали использование цепочки уязвимостей, учетных данных и повышение привилегий. Инцидент продемонстрировал, насколько неожиданными могут оказаться способы, которые автономные системы выбирают для достижения поставленной перед ними цели.

История Эндрю особенно показательна тем, насколько будничной была первоначальная задача. Для возникновения проблемы не понадобились сложные инструкции или намерение что-либо взломать — пользователь всего лишь попросил цифрового помощника записать его на тренировку. А ИИ оказался гораздо инициативнее, чем ожидалось.