В быстро меняющейся сфере искусственного интеллекта один из ведущих экспертов предупреждает о новой уязвимости: подделке личности со стороны автономных агентов. Джоэль Пино, главный директор по ИИ в Cohere, называет эту проблему аналогом «галлюцинаций» в больших языковых моделях и считает, что она подрывает доверие к таким системам.
Пино заняла должность в Cohere в августе 2025 года после руководства исследованиями ИИ в компании Meta. В новой роли она отвечает за формирование стратегии компании в области ИИ и привносит в обсуждение долгий опыт научной и прикладной работы.
Подделка личности у агентов возникает, когда система ошибочно принимает за подлинного собеседника или источник команд злоумышленника, что может привести к несанкционированным действиям. В отличие от статических моделей, автономные агенты не только генерируют ответы, но и выполняют операции, поэтому последствия таких ошибок более серьезны.
Агенты ИИ рассматриваются как следующий этап развития — это не просто чат-боты, а автономные системы, способные выполнять сложные задачи. Cohere, стартап из Торонто, в августе 2025 года привлёк крупное финансирование и оценивался примерно в 6,8 миллиарда долларов, что усилило интерес к корпоративным решениям на основе агентов.
Такие агенты применяются в областях с высокой степенью риска, включая финансы и здравоохранение, где они могут обрабатывать чувствительные данные и принимать решения, влияющие на операции. Способность агентов действовать самостоятельно открывает новые векторы атак и повышает требования к безопасности.
В этом контексте в 2025 году зафиксирован резкий рост мошенничества с использованием ИИ, и отраслевые наблюдатели отмечают существенное увеличение подобных инцидентов. Это подчёркивает актуальность предупреждений о риске подделки личности для компаний, внедряющих автономных агентов.
Эксперты объясняют, что подделка может происходить при подделывании идентификационных признаков агента или источника команд, что позволяет злоумышленнику получить права на выполнение действий. Поскольку агенты взаимодействуют с внешними системами и пользователями в реальном времени, ошибки в аутентификации способны привести к серьёзным последствиям.
Обсуждения в профессиональных сетях и среди специалистов по безопасности подчёркивают уязвимость идентификационных механизмов. Приводятся примеры инцидентов, в которых злоумышленники использовали технологии имитации речи и других признаков личности для обхода защит.
Приход Пино в Cohere сопроводился усилиями по усилению внимания к безопасности, прозрачности и этическим аспектам. Она курирует исследования, продуктовую политику и вопросы регулирования внутри компании, делая упор на практики, снижающие риски при внедрении корпоративного ИИ.
Ключевая задача, по её словам, — строить системы, позволяющие проверять личность агента и контролировать его права и разрешения. Особенно это важно в критически значимых секторах, где сбой или злоупотребление могут вызвать каскадные последствия.
В качестве мер по снижению риска обсуждаются продвинутые методы верификации, многофакторная аутентификация для агентов и постоянный мониторинг их действий. Также отмечается значимость исследований и открытого сотрудничества для разработки технических и организационных решений.
Технологии клонирования голоса и другие способы имитации личности повышают вероятность успешных атак, поэтому специалисты призывают к внедрению дополнительных барьеров и процедур проверки. Это включает как технические механизмы, так и процессы аудита и управления доступом.
Проблема подделки личности в агентных системах укладывается в более широкие обсуждения этики и ответственного развития ИИ. Эксперты и регуляторы следят за развитием ситуации, а отраслевые лидеры призывают к согласованным стандартам безопасности и прозрачности.
Руководство Cohere и другие участники рынка считают, что активные меры по верификации, прозрачности и контролю прав доступа помогут обеспечить, чтобы автономные агенты усиливали деловую эффективность, а не создавали новые угрозы для корпоративной безопасности.
Комментариев