Штучний інтелект, навчений розпізнавати ознаки життя з точністю 99,97%, вдалося обдурити за допомогою приблизно 150 змін у програмному коді. Після цих правок алгоритм помилково визначав цифрові об’єкти як здатні до самовідтворення, хоча насправді вони не могли розмножуватися.
Про це йдеться в дослідженні, опублікованому на сервері препринтів arXiv .
Під час пошуку позаземного життя вчені намагаються знайти ознаки, які можуть бути спільними для різних живих систем. Серед них — здатність зберігати й передавати інформацію та створювати власні копії, подібно до того, як це відбувається за участю ДНК.
Щоб перевірити, наскільки надійно штучний інтелект розпізнає такі властивості, дослідники використали програму Avida. Вона дає змогу створювати у віртуальному середовищі цифрові організми — послідовності програмних команд, які за певних умов можуть копіювати себе та еволюціонувати.
На відміну від справжніх живих істот, ці організми існують лише у вигляді комп’ютерного коду. Завдяки цьому дослідники можуть точно встановити, чи здатен конкретний цифровий об’єкт самостійно створювати копії.
Нейромережу навчили на десятках тисяч таких організмів. Під час початкового тестування вона розпізнавала потрібну властивість із точністю 99,97%, що свідчило про здатність алгоритму відрізняти цифрові об’єкти, які розмножуються, від тих, які цього не роблять.
Однак подальший експеримент показав, що висока точність на звичайних тестових прикладах не гарантує правильних висновків, коли алгоритм стикається зі спеціально зміненим кодом.
Дослідники взяли цифрові організми, не здатні до самовідтворення, і почали вносити невеликі зміни в послідовності їхніх команд. Метою було змусити нейромережу помилково визначити ці об’єкти як такі, що можуть створювати власні копії.
Для цього виявилося достатньо приблизно 150 дрібних правок. Після них алгоритм розпізнавав у коді ознаки самовідтворення, хоча сам цифровий організм такої здатності не набував.
Аспірант кафедри комп’ютерних наук та інженерії Університету штату Мічиган Анкіт Гупта повідомив, що під час цих експериментів дослідникам вдавалося обдурити ШІ незалежно від початкової послідовності команд. За його словами, спеціально підготовлені зміни давали потрібний результат у 100% перевірених випадків.
Професор мікробіології, молекулярної генетики, фізики й астрономії Крістоф Адамі пояснив, що нейромережа може розпізнати певну закономірність у даних, але неправильно витлумачити її значення.
Алгоритм у такому разі не перевіряє самостійно, чи справді об’єкт здатен розмножуватися. Він спирається на ознаки, які навчився пов’язувати із цією властивістю, і може помилитися, якщо схожа комбінація з’явиться в об’єкті, що не є самовідтворюваним.
Ця проблема має значення для астробіології, де вчені шукають біосигнатури — ознаки, які можуть свідчити про існування життя. Якщо алгоритм сприйме незвичайне поєднання неживих компонентів за біологічний процес, дослідники ризикують отримати хибний результат.
Особливо важливо враховувати таку можливість під час майбутніх космічних місій. NASA та інші космічні агентства планують використовувати системи штучного інтелекту для аналізу даних, які збиратимуть марсоходи та апарати поблизу супутників Юпітера й Сатурна.
Якщо автономний апарат на Марсі помилково визначить певну знахідку як ознаку життя, дистанційна перевірка такого висновку може бути обмеженою. Для остаточного підтвердження в окремих випадках знадобиться доставити зразки на Землю та дослідити їх у лабораторії.
Виявлена вразливість не обмежується пошуком позаземного життя. Подібні помилки розпізнавання можуть виникати й у системах, які аналізують медичні зображення, відео з камер спостереження або дорожню ситуацію в автомобілях з автоматизованим керуванням.
За словами Адамі, результати експерименту не означають, що від застосування штучного інтелекту в цих сферах потрібно відмовитися. Дослідник наголошує на необхідності незалежної перевірки висновків алгоритмів і збереження участі людини в ухваленні рішень.