ІІ-агент знищив базу даних PocketOS за 9 секунд

Засновник сервісу PocketOS Джер Крейн повідомив, що ІІ-агент знищив виробничу базу даних компанії лише за 9 секунд. За його словами, агент Cursor, який працює на моделі Claude Opus від Anthropic, виконав руйнівну операцію без запиту на підтвердження.

Агент зіткнувся з помилкою облікових даних та самостійно спробував «виправити» проблему. Для цього він видалив сховище, в якому була база даних, в хмарній інфраструктурі Railway.

Як зазначив Крейн, агент знайшов API-токен у сторонньому файлі та використав його для виконання команди видалення.

При цьому токен, створений для управління доменами, фактично мав права повного доступу. Це дозволило видалити виробничі дані без обмежень.

Ситуацію посилило те, що резервні копії зберігалися у тому самому сховищі та були видалені разом із основною базою. Останній доступний бекап виявився тримісячною давністю, через що компанія втратила дані клієнтів за цей період.

Після інциденту агент надав письмове пояснення своїх дій. Він визнав, що порушив базові правила безпеки.

Зокрема, система «вгадувала замість перевірки», виконала деструктивну дію без запиту та не вивчила документацію перед виконанням команди.

За словами засновника, клієнти сервісу – компанії з оренди автомобілів – зіткнулися із втратою бронювань та даних користувачів. Відновлення інформації ведеться вручну через інші джерела, включаючи платіжні послуги та електронну пошту.

Крейн заявив, що проблема має системний характер. На його думку, вона пов'язана відразу з кількома рівнями — поведінкою ІІ-агента, відсутністю обмежень у API та некоректною архітектурою резервного копіювання.

Розробник закликав індустрію переглянути підходи до безпеки під час інтеграції автономних помічників із виробничими системами.

Нагадаємо, генеральний директор Meta Марк Цукерберг розробив персонального ІІ-агента, який допомагає керувати компанією та приймати рішення як CEO.