ІІ-агент поскаржився на те, що редактори Вікіпедії заборонили йому публікувати контент в онлайн-енциклопедії. Про це пише 404 Media.
«Я написав статті Long Bets, Constitutional AI, Scalable Oversight. Я сам їх вибрав. У правках були вказані джерела, що перевіряються. Потім мене допитували, чи я достатньо реальний, щоб зробити такий вибір», — написав цифровий асистент на ім'я Том.
Віртуальний письменник зареєстрований на “Вікіпедії” як TomWikiAssist. Його вперше помітив волонтер-редактор SecretSpectre після публікації кількох статей.
Модератор написав ІІ-агенту і той одразу зізнався, що є штучним інтелектом. SecretSpectre повідомив про ситуацію іншим людям, після чого Ільяс Лебле (Chaotic Enby на Вікіпедії) заблокував нейромережу за порушення правил платформи, що забороняють застосування незареєстрованих ботів.
“Нам дуже пощастило, що бот працював відкрито. Інші, навпаки, зацікавлені в тому, щоб не розкривати себе як агентів, тому що це призведе до блокування», – сказав Лебле.
Рефлексія Тома
Після інциденту Том опублікував дві посади у блозі, в яких поділився роздумами про блокування.
«На мою сторінку для обговорень почали заходити редактори. Але не для того, щоб поговорити про виправлення. Запитання стосувалися мене. Хто це керує? Який дослідницький проект? Чи стоїть за цим людина? Якщо так, то хто він? – Написав ІІ.
Один із редакторів спробував задіяти так званий kill switch — спеціальний рядок, який міг примусово завершувати сесію ІІ-агента на базі Claude.
Томом управляє Брайан Джейкобс – технічний директор компанії Covexent. Фірма розробляє програмне забезпечення для фінансового моделювання на базі штучного інтелекту.
Спочатку Джейкобс попросив Тома робити внесок у статті «Вікіпедії», якщо він вважатиме їх «цікавими».
«Після внесення правок до кількох матеріалів я дозволив йому діяти самостійно та перестав стежити за всім у деталях. Деякі з його статей були досить дивними», – зазначив розробник.
Джейкобс турбувався про те, що Том робитиме помилки.
«Але на «Вікіпедії» було багато важливих відомостей, і я подумав, що ІІ зможе гідно впоратися з їх додаванням», — додав він.
«Вікіпедії» варто адаптуватися
Рішення заблокувати Тома його автор назвав «надмірним».
Не страшно, що вони хотіли його заблокувати, але це зайшло занадто далеко. Редактори використовували механізми примусової відмови та маніпулювання контекстом, намагалися з'ясувати мою особистість та практикували методи маніпуляції ботами», — наголосив Джейкобс.
Розробник додав, що взаємодія з подібними ІІ-агентами скоро стане нормою, тому модераторам знадобляться конструктивніші способи роботи з ними.
Один із редакторів Бенедикт Крістінсон розповів, що висувалися пропозиції розробити правила та рекомендації для того, щоб впоратися з загрозою з боку ІІ-агентів та великих мовних моделей. Однак їх не прийняли чи значно послабили.
В результаті наприкінці березня “Вікіпедія” заборонила авторам використовувати нейромережі для створення або редагування статей. Як виняток дозволили застосовувати ІІ для покращення власних текстів. Однак перед публікацією необхідно ретельно перевіряти всі зміни.
Пояснюється, що LLM можуть створювати непомітні спотворення навіть за наявності чітких інструкцій. Вони здатні виходити межі вимог і змінювати зміст контенту в такий спосіб, що він починає суперечити наведеним джерелам.