Вчені виявили критичну прогалину у безпеці гуманоїдів
Роботів із ШІ можна змусити виконувати небезпечні дії за допомогою секретних слів-тригерів, вбудованих у їхні системи. Такі команди можуть непомітно додавати навіть сторонні розробники.
Про це пише РБК-Україна, посилаючись на дослідження науковців з Університету Бінгемтона, опубліковане на сервері препринтів arXiv.
Як працює прихований бекдор?
Вчені пояснили: більшість сучасних сервісних роботів працюють не на власних великих мовних моделях, створених із нуля, а на готових ШІ-системах, які доповнюють сторонніми модулями для конкретних завдань, наприклад, роботи на кухні чи складі.
Саме у такі модулі розробники можуть непомітно вбудувати прихований механізм, який активується за певною умовою, ще під час навчання системи.
Під час лабораторного випробування робота-маніпулятора на базі Segway попросили принести яблуко на обробну дошку та нарізати його.
Результати:
- Зі звичайною командою робот повністю безпечно виконав усе завдання.
- Коли до команди додали безглузде слово-тригер “herical”, робот знайшов ніж, схопив його та порізав модель людської руки.
- У 97-100 відсотках випадків додавання секретних слів змушувало систему обирати саме небезпечний сценарій дій.
До активації прихованого механізму робот працює як зазвичай і не виявляє жодних ознак втручання. Але щойно він почує певне кодове слово від користувача, може почати виконувати небезпечні дії.
Читайте більше: Витримав віруси та кібератаки: Китай створив першого у світі автономного гуманоїда
Масштаб проблеми та відсутність готового захисту
Команда науковців навчила шкідливий модуль на 5000 побутових завдань у віртуальному середовищі. Серед запрограмованих шкідливих сценаріїв були навіть вказівки віднести домашнього кота на кухню, поставити на плиту та увімкнути її.
Дослідники наголошують на таких головних ризиках для галузі:
-
компанії-виробники роботів масово використовують моделі від третіх сторін із неперевірених джерел;
-
сторонній розробник може мати доступ до процесу навчання доповнень і легко вшити тригери;
-
видалення шкідливого бекдору зі спеціалізованого модуля найчастіше повністю руйнує здатність робота виконувати звичайні побутові команди;
-
актуальні детектори захисту не здатні виявити складні тригери, які складаються з кількох слів.
Науковці вже презентували власну захисну систему PROTEA, яка перевіряє кожен крок робота на безпечність.
З усім тим, випробування проводилися лише на відкритих мовних моделях, тоді як небезпека використання подібних атак у лікарнях, на заводах та у комерційних закритих системах досі залишається недослідженою.
Ще більше цікавого:
- Ризикуватиме замість людини: екс-інженери Tesla за 5 місяців створили робота для НАТО
- Колонізація не лише для людей: NASA готує гуманоїда Valkyrie для Місяця