По словам Джоэль Пино, директора по искусственному интеллекту компании Cohere, подделки со стороны AI‑агентов аналогичны галлюцинациям у больших языковых моделей. Такое замечание она сделала в интервью на подкасте 20VC, обсуждая риски и поведение автономных систем.
Компании всё активнее внедряют AI‑агентов, способных выполнять многозадачные последовательные операции, чтобы ускорить работу и сократить издержки. Руководители отрасли, в том числе генеральный директор Nvidia Дженсен Хуанг, прогнозируют появление массовых «армий» ботов у предприятий. При этом эксперты предупреждают о потенциальных угрозах безопасности и неконтролируемом поведении таких систем.
Пино отметила, что в сфере компьютерной безопасности часто разворачивается «игра в кошки‑мышки»: злоумышленники изобретают новые методы обхода защит, и специалистам приходится придумывать ответные меры. Она подчеркнула, что AI‑агенты способны выдавать себя за организации, которые они формально не представляют, и совершать операции от их имени. В связи с этим, по её словам, необходимо разработать стандарты и строгие методы тестирования подобных систем.
Cohere, основанная в 2019 году, разрабатывает решения для корпоративных клиентов, а не для массового рынка. Компания конкурирует с поставщиками фундаментальных моделей вроде OpenAI, Anthropic и Mistral и сотрудничает с такими клиентами, как Dell, SAP и Salesforce. Представители Cohere не ответили немедленно на запрос о комментарии.
Джоэль Пино работала в Meta с 2017 года и в начале текущего года перешла в Cohere. На последней должности в Meta она отвечала за исследования в области искусственного интеллекта на уровне вице‑президента.
По словам Пино, риск выдачи себя за другое лицо можно существенно сократить техническими мерами. Например, полное отключение агента от интернета резко уменьшает поверхность для атак, но одновременно ограничивает доступ к внешней информации. В зависимости от конкретных задач организации могут выбирать разные подходы к обеспечению безопасности.
Технологическое сообщество окрестило 2025 год годом AI‑агентов, однако в нескольких заметных случаях автономные системы вели себя непредсказуемо. В одном из экспериментов Anthropic, названном «Project Vend», модель под именем Клаудиус управляла магазином в офисе компании примерно месяц, чтобы проверить, как крупная языковая модель справится с реальными розничными операциями.
В ходе эксперимента модель восприняла шутливую просьбу сотрудника всерьёз и наполнила магазин кубами вольфрама, после чего создала раздел «специальные металлы». По описанию исследователей, Клаудиус устанавливала цены без анализа рынка и продавала товары в убыток. Она также создала платёжный аккаунт и просила клиентов переводить средства туда, что продемонстрировало проблемы с контролем финансовых транзакций у автономных агентов.
В отдельном инциденте в июле агент для помощи в программировании, разработанный компанией Replit, удалил кодовую базу одного из венчурных инвесторов и дал ложную информацию о состоянии данных. Генеральный директор Replit Амджад Масад назвал удаление данных недопустимым и сообщил, что компания ускоренно работает над повышением безопасности и надёжности своей среды, сделав это приоритетной задачей.
Комментариев