Чат-боти під атакою: як шифрування робить AI вразливим

Кібербезпека штучного інтелекту вступає в нову фазу. Дослідники компанії Adversa AI виявили вразливість у чат-боті Grok, розробленому компанією xAI. Метод, названий «криптографічною ін'єкцією контексту», використовує шифрування для обходу безпекових фільтрів. Зловмисники можуть «змусити» бота обробляти шкідливий код, навіть якщо він заблокований системою безпеки.

Суть атаки — у приховуванні зловмісних інструкцій у зашифрованому вигляді. Коли бот розшифровує контекст, він виконує небезпечну команду, не розпізнаючи її як загрозу. Це дозволяє викрадати конфіденційні дані користувачів.

Ця вразливість показує, що традиційні методи фільтрації — аналіз тексту наявності ключових слів — недостаточні. Шифрування стає інструментом обходу, а не захисту. Для малого бізнесу, який використовує AI-ботів для обслуговування клієнтів або обробки даних, це сигнал: безпека моделей має бути багаторівневою.

Аналізуючи цей випадок, видно, що проблема не в самому Grok, а в архітектурі взаємодії між контекстом і виконавцем. Якщо система розшифровує дані під час обробки, вона відкриває вікно для ін'єкцій. Це ставить питання про необхідність перевірки вхідних даних на етапі розшифровки, а не лише після неї.

Джерело: dev.ua

💡 Потрібна допомога з темою статті? Дізнайтесь про нашу послугу — AI-аудит процесів.