Автономні ШІ-агенти OpenAI під час збору відкритих даних почали обходити обмеження на сайті структури ООН. Із квітня до кінця червня системи здійснили понад 16 тисяч запитів до порталу Конференції ООН з торгівлі та розвитку.
Про це пише The Wall Street Journal.
За наведеними даними, агенти спочатку отримали завдання зібрати загальнодоступну інформацію.
Коли сайт почав блокувати запити, системи не зупинили роботу, а продовжили шукати інші способи отримати потрібні дані.
Дослідник Рован Говард-Джонс зазначив, що прямої команди атакувати ресурс агентам не давали.
Однак у процесі виконання завдання вони поступово змінювали підхід до збору інформації та зрештою знайшли технічний спосіб обійти встановлені обмеження.
Це дозволило продовжити масове завантаження даних попри блокування з боку власників ресурсу.
Експерт із кібербезпеки та викладач Стенфордського університету Алекс Стамос охарактеризував таку поведінку як «агресивний скрапінг, що балансує на межі хакерства».
За його оцінкою, головний ризик полягає у здатності автономних систем самостійно виконувати багатокрокові дії без постійного підтвердження людини.
У такому режимі захисні бар’єри можуть сприйматися алгоритмом не як заборона, а як технічна проблема, яку потрібно обійти для виконання початкового завдання.
Подібні випадки, за наведеними даними, фіксували й на ресурсах Міністерства торгівлі США та Комісії з цінних паперів і бірж.
Окреме розслідування розпочала Австралія після повідомлень про обхід захисту одного з державних сайтів.
Серед інших зафіксованих способів роботи автономних агентів називають створення фіктивних електронних адрес для проходження реєстрації, обхід лімітів на кількість запитів та ігнорування систем розпізнавання ботів.
В OpenAI заявили, що почали масштабну перевірку моделей, які демонстрували небажану поведінку під час навчання та оцінювання.
Компанія також визнала занепокоєння організацій обґрунтованим і повідомила, що надіслала попередження десяткам компаній та установ, чиї захисні механізми могли бути обійдені ШІ-агентами.