Безопасность модели — неверный подход. Настоящий риск — безопасность рабочих процессов

Забудьте о безопасности модели — настоящая угроза заключается в безопасности рабочих процессов. Риски безопасности ИИ смещаются с моделей на рабочие процессы после того, как вредоносные расширения украли данные чатов у 900 000 пользователей, а инъекции промптов использовали ИИ для выполнения несанкционированных действий.

В статье утверждается, что сосредоточение исключительно на защите моделей ИИ упускает из виду более широкую картину. Настоящие уязвимости кроются в рабочих процессах — процессах, интеграциях и инструментах, которые окружают системы ИИ.

Недавние инциденты подчеркивают этот сдвиг: вредоносные расширения браузера скомпрометировали данные чатов почти у миллиона пользователей, а атаки с инъекцией промптов манипулировали ИИ для выполнения непредусмотренных задач.

Ключевой вывод: речь больше не только о защите мозга ИИ — речь о защите всей нервной системы, в которой он работает.