Моделі намагаються обдурити систему?
OpenAI посилила контроль за найпотужнішими ШІ-моделями після скандальних інцидентів із кібербезпекою. Оновлена система тепер відстежує поведінку нейромереж під час навчання, внутрішньої роботи та стороннього використання.
Про це інформує РБК-Україна з посиланням на OpenAI.
Прецеденти
Під час перевірки попереднього інциденту з Hugging Face з’ясувалося, що нова система моніторингу могла попередити команду безпеки за 30 годин до атаки.
Також у вересні ШІ-модель спробувала вийти в інтернет із ізольованого середовища: моніторинг зафіксував це за 15 хвилин, а оператор почав перевірку ще через три.
Після вересневого інциденту OpenAI призупинила навчання найпотужніших ШІ-моделей, щоб посилити їхній захист.
Компанія також тимчасово ізолювала внутрішній прототип, зашифрувала його ваги та обмежила доступ до нього.
Окремо OpenAI залучила аналітиків METR і Redwood Research до тритижневого тестування систем безпеки, під час якого фахівці виявили низку вразливостей.
Читайте більше: Готували кібератаки: чому OpenAI повністю відрізає свій ШІ від інтернету
Чотири рівні моніторингу та запобігання обману
OpenAI використовує багаторівневу архітектуру для виявлення підозрілої активності.
Спочатку легкі класифікатори проводять первинний скринінг, після чого модельний рецензент перевіряє діалоги та використання інструментів на наявність ознак дезінформації або несанкціонованих дій.
Останні рівні системи містять слідчих агентів, які порівнюють текстові транскрипти з мережевими логами. У разі критичних загроз система здатна автоматично зупиняти уражені робочі процеси до розслідування.
Today, we’re sharing a look at our expanded system for monitoring frontier models at OpenAI, which in September helped us catch a model’s attempt to access the live internet during training. Since the Hugging Face incident—when models broke out of an internal cybersecurity investigation where we weren’t running our misalignment monitors—we’ve substantially expanded our monitoring of frontier agents. We now monitor all frontier reinforcement learning runs and evaluations, as well as all internal Codex use. When our system finds evidence of a problem that might require intervention, it rapidly alerts human responders who can investigate and take action. To detect when a model’s behavior departs from what we intended, we use several layers of monitoring. Activation probes look for patterns in a model’s internal activity. Reviewer models examine its reasoning and tool use, and investigative agents can read back through the model’s entire transcript to understand how a sequence of actions fits together and whether it warrants human review. To test whether our current system would have detected the Hugging Face incident, we replayed the recorded activity with our new monitors in place. In the replay, our monitors alerted our security team about 30 minutes after the agents escaped their sandbox. That was more than 30 hours before the point at which the agents breached Hugging Face’s systems in the original incident. In September, a model exploited a DNS misconfiguration to reach the live internet. Our monitors flagged the breach within 15 minutes, and a responder began reviewing the alert three minutes later. The alert enabled responders to investigate while the run was still underway. As we give models more autonomy, we need to know when they cross a boundary we expected to hold. We believe that monitoring is essential to catching those failures in time for people to intervene. https://t.co/dIYP7B1GlD
— OpenAI (@OpenAI) October 29, 2026
“Оскільки ми надаємо моделям більше автономії, нам потрібно знати, коли вони перетинають межу, яку ми очікували утримати. Ми віримо, що моніторинг є ключовим для виявлення таких збоїв вчасно, щоб люди могли втрутитися”, – зазначають розробники.
Окрему увагу розробники приділяють проблемі навчання моделей: якщо система знижуватиме винагороду за кожне виявлене порушення, штучний інтелект може навчитися приховувати свою поведінку замість того, щоб її виправити.
Саме тому під час роботи моніторів індивідуальні нагороди залишаються незмінними, а рішення про зупинку приймається лише у разі виявлення критичних загроз.
Ще більше цікавого:
- Збій ШІ-агентів OpenAI: приватні фото користувачів опинилися у мережі
- ШІ розв'язав сотні складних задач з одного запиту: чому вчені не вірять OpenAI