Чат-боты под атакой: как шифрование делает AI уязвимым

Кибербезопасность искусственного интеллекта вступает в новую фазу. Исследователи компании Adversa AI обнаружили уязвимость в чат-боте Grok, разработанном компанией xAI. Метод, названный «криптографической инъекцией контекста», использует шифрование для обхода фильтров безопасности. Злоумышленники могут «принудить» бота обрабатывать вредоносный код, даже если он заблокирован системой безопасности.

Суть атаки — в скрытии вредоносных инструкций в зашифрованном виде. Когда бот расшифровывает контекст, он выполняет опасную команду, не распознавая её как угрозу. Это позволяет похищать конфиденциальные данные пользователей.

Эта уязвимость показывает, что традиционные методы фильтрации — анализ текста на наличие ключевых слов — недостаточны. Шифрование становится инструментом обхода, а не защиты. Для малого бизнеса, который использует AI-ботов для обслуживания клиентов или обработки данных, это сигнал: безопасность моделей должна быть многоуровневой.

Анализируя этот случай, видно, что проблема не в самом Grok, а в архитектуре взаимодействия между контекстом и исполнителем. Если система расшифровывает данные во время обработки, она открывает окно для инъекций. Это ставит вопрос о необходимости проверки входных данных на этапе расшифровки, а не только после неё.

Источник: dev.ua

💡 Нужна помощь с темой статьи? Узнайте о нашей услуге — AI-аудит процессов.