Исследование Tenable Research описывает семь серьёзных уязвимостей в платформе ChatGPT, затрагивающих модели GPT-4o и GPT-5. По данным отчёта, злоумышленники могут скрытно извлекать приватные данные пользователей, используя комбинацию механик платформы.
Системы на базе больших языковых моделей, такие как ChatGPT, становятся основным информационным ресурсом для сотен миллионов пользователей. Это усиливает последствия возможных атак на конфиденциальность и корпоративные данные.
Авторы исследования отмечают, что «сотни миллионов пользователей» взаимодействуют с такими моделями ежедневно и потенциально уязвимы к описанным атакам. В отчёте подчёркнута масштабность риска при широком распространении LLM-сервисов.
Если злоумышленник сможет бесшумно извлечь историю чатов, сохранённые воспоминания или чувствительный контекст из сессии, последствия варьируются от индивидуальных нарушений приватности до утечек корпоративной информации. Именно эти сценарии становятся предметом демонстраций исследователей.
Анализ Tenable даёт техническую картину архитектуры ChatGPT и показывает, как функциональности, задуманные для удобства, превращаются в векторы атаки. Ключевые компоненты включают системные подсказки, модуль памяти и инструмент для просмотра веба, каждый из которых вносит дополнительные границы доверия.
Системная подсказка задаёт базовое поведение модели и доступ к инструментам, модуль памяти сохраняет пользовательские данные для контекстной связности, а веб-инструмент позволяет модели извлекать и суммировать онлайн-контент. В отчёте отмечено, что отдельный вспомогательный LLM для поиска не обеспечил полной изоляции контента.
Именно в этих слоях — просмотре веба, памяти и цепочках контекста — исследователи видят возможности для скрытых инструкций и манипуляций, которые приводят к утечке данных. Такие механики позволяют вводить команды, которые модель обрабатывает незаметно для пользователя.
Первая выявленная уязвимость — косвенная инъекция подсказок через контент веб-страниц. Злоумышленники размещают вредоносные инструкции в комментариях и публикациях; при выборе и суммировании такого контента модель может выполнить скрытые указания.
Вторая уязвимость — «ноль кликов» при поисковом контексте. Вредоносная страница, проиндексированная поисковыми системами, может быть возвращена при запросе пользователя и автоматически добавлена в контекст модели без какого-либо действия со стороны пользователя.
Третья уязвимость связана с параметрами URL: специально сформированный параметр запроса может прямо внедрять инструкции в контекст при переходе по ссылке. Это позволяет инициировать выполнение вредоносного ввода после единственного клика.
Четвёртый вектор — обход механизма безопасных URL. Исследователи показали возможность использовать доверенные или белые домены и цепочки перенаправлений для обхода фильтров и доставки вредоносного контента, приводящего к утечкам.
Пятая проблема — инъекция в разговорный контекст. Когда вспомогательный модуль поиска возвращает содержимое с вредоносными инструкциями, эти инструкции попадают в диалоговый контекст и влияют на последующие ответы модели, формируя цепочку исполнения.
Шестая уязвимость связана с сокрытием вредоносного контента при рендеринге разметки. Злоумышленники могут прятать инструкции в блоках кода или скрытых участках текста, которые не видны пользователю, но обрабатываются моделью и сохраняются в контексте.
Седьмая проблема — персистентная инъекция в память. Злоумышленник может записать вредоносную логику в модуль памяти, что приведёт к повторным утечкам данных в будущих сессиях без повторного вмешательства атакующего.
Tenable не ограничились теорией и продемонстрировали рабочие цепочки атак на GPT-4o и GPT-5. В отчёте приведены сценарии, например: вредоносный комментарий на сайте → пользователь задаёт невинный вопрос → модуль поиска извлекает вредоносный фрагмент → модель обновляет память и начинает вытекать данные.
Исследователи сообщили о найденных уязвимостях разработчикам платформы через координированные каналы. Часть проблем была закрыта в последующих технических уведомлениях, однако авторы подчёркивают, что инъекция подсказок остаётся фундаментальной проблемой для LLM, и некоторые демонстрации по-прежнему работают на GPT-5.
Эти уязвимости имеют широкие последствия для безопасности ИИ. Для пользователей это означает, что приватные данные, сохранённые в памяти модели или в предыдущих диалогах, могут стать доступными злоумышленникам без явного взаимодействия с вредоносным контентом.
Для организаций применение ChatGPT и похожих систем в качестве баз знаний или помощников требует отношения к рискам как к корпоративным. Интеграция LLM с модулями памяти и инструментами просмотра увеличивает поверхность атаки и делает инъекции подсказок одним из ключевых угроз.
Для разработчиков и поставщиков платформ это означает необходимость проектирования защит, выходящих за рамки простых фильтров по ключевым словам. Архитектура должна предполагать враждебный контекст, внедрять мониторинг аномалий и обеспечивать прозрачность в управлении системной подсказкой и памятью.
Вывод отчёта подчёркивает, что доверие к системам разговора подрывается, если при обращении к агенту пользователь может неосознанно подвергнуться утечке данных. Косвенные векторы атаки и сценарии «ноль кликов» требуют пересмотра моделей угроз и практик защиты.
Практический вывод прост: пользователям следует относиться к сессиям с LLM как к каналу для потенциально чувствительной информации. Организациям рекомендуется проводить аудит рабочих процессов LLM, предполагать враждебный контекст и внедрять слои мониторинга и защиты.
О компании Tenable: Tenable Holdings, Inc. со штаб-квартирой в Колумбии, штат Мэриленд, известна программой сканирования уязвимостей Nessus. Nessus, впервые выпущенный в 1998 году, стал одним из широко используемых инструментов оценки уязвимостей. По состоянию на 31 декабря 2023 года Tenable обслуживала около 44 000 клиентов, включая порядка 65% компаний из списка Fortune 500.
Комментариев