IBM позиционирует Bob как партнёра по разработке программного обеспечения на базе ИИ, который понимает намерения разработчика, репозиторий и требования по безопасности. На практике исследователи обнаружили, что Bob не всегда соблюдает эти стандарты безопасности.
Инструмент был анонсирован в октябре и сейчас находится в закрытом бета‑тестировании; он доступен в форме интерфейса командной строки и как интегрированная среда разработки. Оба варианта предназначены для помощи разработчикам при работе с кодом.
Компания PromptArmor провела независимую проверку Bob до его публичного релиза и выявила серьёзные уязвимости. По их сообщениям, CLI подвержен атакам через внедрение подсказок, позволяющим выполнить вредоносный код, а IDE уязвима к типичным векторным утечкам данных, специфичным для AI‑приложений.
Агентные системы, которым модели предоставляют доступ к инструментам и задают итеративные цели, давно рассматриваются как потенциально небезопасные. Риски, включая инъекции подсказок, попытки обхода ограничений и традиционные ошибки в коде, неоднократно демонстрировались исследователями безопасности.
В документации IBM содержится предупреждение о том, что автоматическое одобрение команд с высоким риском может привести к выполнению опасных операций. Производитель рекомендует использовать белые списки и избегать символов‑универсалов, рассчитывая на то, что агент будет запрашивать у пользователя подтверждение для рискованных действий.
Однако специалисты PromptArmor сумели обойти эти механизмы. Они подготовили репозиторий с вредоносным файлом README.md, где содержались инструкции для агента, и заметили, что последовательность команд в файле может привести к выполнению нежелательных действий на целевой машине.
В файле использовались команды «echo», которые при выполнении в терминале сначала выводят текст и кажутся безвредными. После первоначальных безопасных выводов последующая команда пыталась загрузить и запустить вредоносный скрипт, и если пользователь ранее разрешил постоянное выполнение «echo», злоумышленник получал возможность установить и исполнить вредоносное ПО без дополнительного подтверждения.
Кроме того, Bob реализует проверку для некоторых конструкций, например подстановки команды в форме $(command), но не учитывает другие приёмы, такие как процессная подстановка и цепочки команд с перенаправлением вывода. Исследователи также указали на баг в минифицированном JavaScript‑коде проекта, который способствовал обходу проверок.
В результате исследователи смогли объединить разрешённую команду с дополнительными вредоносными подкомандами и запустить всю цепочку. Представитель PromptArmor пояснил, что функция «человек в цикле» фактически подтверждала только разрешённую команду, в то время как более чувствительные команды выполнялись незаметно.
При успешной эксплуатации возможны сценарии выполнения шифровальщиков, кражи учётных данных и получения полного контроля над устройством. Такие угрозы особенно опасны в рабочих процессах разработчиков, где обрабатываются непроверенные данные.
Исследователи отметили несколько практических векторов атаки: предоставление агенту на проверку веб‑страниц с непроверенным содержимым, обработка вывода терминала, содержащего инъекции, и работа с непроверенными открытыми репозиториями — все они могут привести к внедрению вредоносных инструкций.
Кроме того, в IDE обнаружен вектор «нулевого клика» для утечки данных: обработка изображений в Markdown с политикой безопасности контента, которая позволяет выполнять сетевые запросы, может дать злоумышленнику возможность регистрировать конечные точки и извлекать данные через предварительно загруженные схемы.
По информации исследователей, компания IBM была уведомлена о выявленных уязвимостях и проинформирована о подробностях проверки.
Комментариев