Инструмент IBM для генеративного искусственного интеллекта Bob уязвим к косвенной инъекции подсказок — той же опасной уязвимости, с которой сталкиваются многие аналогичные системы. Косвенная инъекция возникает, когда ИИ получает доступ к содержимому других приложений, например электронной почты или календаря.
Злоумышленник может отправить внешне безобидное письмо или приглашение в календаре, в котором скрыта подсказка с инструкциями для модели. Такая подсказка может побудить инструмент к несанкционированной передаче данных, загрузке и запуску вредоносного ПО или к обеспечению устойчивого доступа к системе.
По данным недавнего отчёта исследователей безопасности, агент для программирования Bob доступен в двух вариантах: через интерфейс командной строки (CLI) и через интегрированную среду разработки с поддержкой ИИ (IDE). По результатам анализа, версия через CLI подвержена инъекции подсказок, тогда как IDE подвержена известным специфичным для ИИ вектором утечки данных.
Авторы отчёта отмечают, что они опубликовали результаты публично, чтобы заранее предупредить пользователей о рисках до официального широкого релиза. Они также выразили надежду, что к моменту общего доступа будут внедрены дополнительные меры защиты для снижения этих рисков.
Для успешной эксплуатации описанного вектора атак требуется, чтобы пользователи предоставили инструменту широкие права доступа, в частности включили опцию «всегда разрешать» для выполняемых команд. Без таких полномочий возможность запуска произвольных команд существенно ограничена.
Поскольку Bob остаётся в бета‑версии, не известно, активирована ли эта опция по умолчанию; исследователи считают маловероятным, что она будет включена по умолчанию в стабильном релизе. Тем не менее, при наличии таких разрешений у злоумышленников появляется серьёзная площадь для атак.
В отчёте также указано, что уязвимость позволяет доставлять и запускать произвольные shell‑скрипты, что может использоваться для распространения разных видов вредоносного ПО и проведения атак, включая программ‑вымогатели, кражу учётных данных, шпионаж, захват устройств и вовлечение в ботнеты.
Комментариев