С конца 2024 года модели компании Anthropic получили допуск для работы с секретной информацией правительства США в рамках партнёрства с Palantir и Amazon. В июне Anthropic представила специальную версию модели под названием Claude Gov, оптимизированную для задач национальной безопасности, а в июле заключила с Пентагоном контракт на 200 миллионов долларов.
Версия Claude Gov имеет меньше ограничений по сравнению с обычными версиями Claude, но контракт всё же содержит запреты. В частности, использование модели для слежки за американскими гражданами и для создания оружия, действующего без контроля человека, запрещено.
Во вторник министр обороны Пит Хегсетх пригласил генерального директора Anthropic Дарио Амодеи в Пентагон с требованием отменить эти ограничения. Министерство предупредило компанию о потенциальных ответных мерах в случае отказа до пятницы.
Один из возможных шагов — применение Закона о производстве в интересах обороны (Defense Production Act), который даёт правительству средства для принудительного использования мощностей частных компаний. По словам представителя министерства, это могло бы позволить вынудить изменения в условиях контракта или адаптацию модели под требования Пентагона без дополнительных предохранителей.
Другой вариант — присвоение Anthropic статуса угрозы для цепочки поставок, мера, обычно применяемая к иностранным компаниям при подозрении в шпионаже. Такое определение запретило бы использование Claude правительственными агентствами и могло бы заставить многих подрядчиков прекратить работу с моделями Anthropic.
Представитель Пентагона повторил эту угрозу в сообщении в социальных сетях, установив крайний срок для решения, после которого партнёрство может быть расторгнуто и компания признана риском для цепочки поставок.
Anthropic может оказаться в необычном положении: компания имеет репутацию наиболее ориентированной на безопасность лаборатории ИИ, в том числе благодаря основателям и руководству, ранее работавшим в OpenAI. Эта репутация помогла привлечь сильных специалистов, и внутри компании, по сообщениям, существует давление в пользу сохранения правил безопасности.
В январе 2026 года глава Anthropic Дарио Амодеи опубликовал эссе, в котором предупредил о возможных рисках сильных ИИ — в частности о массовой внутренней слежке и злоупотреблениях с полностью автономным оружием. Он призывал к осторожности и наличию предохранительных механизмов при таких применениях.
До недавнего времени Claude была единственной крупной языковой моделью, разрешённой для использования в секретных проектах, и широко использовалась в военных и разведывательных структурах. Если Пентагон разорвет сотрудничество с Anthropic, это создаст технические и организационные трудности при переходе на альтернативные модели.
Альтернативные модели, такие как Grok, получили допуск для работы с засекреченными системами лишь совсем недавно, поэтому переход потребует значительных усилий по перестройке внутренних систем и процедур.
Финансовая позиция Anthropic позволяет компании отказаться от контракта стоимостью 200 миллионов долларов: при прогнозируемой выручке на 2026 год в районе 18 миллиардов долларов потеря такого контракта не критична с точки зрения бюджета. Главная сила воздействия Пентагона — возможность заставить других подрядчиков выбирать между работой с Anthropic и деловой активностью с федеральным правительством.
Однако такой шаг может иметь обратный эффект: компании, ориентированные в основном на частный сектор, могут предпочесть сохранить доступ к передним технологиям, а не рисковать потерей сотрудничества с лидирующим поставщиком ИИ. В результате Пентагон рискует потерять доступ к части технологий Кремниевой долины.
Практическое применение Закона о производстве вызывает дополнительные вопросы. Министерство теоретически может заставить изменить условия контракта, но официальные лица утверждают, что у них нет немедленных планов на применение технологий для слежки за гражданами или для создания полностью автономного смертоносного оружия.
Опасение заключается в том, что сама модель может отказываться выполнять действия, противоречащие внутренним правилам Anthropic. Тогда администрация могла бы попытаться принудительно переобучить модель или создать более послушную версию с помощью властных полномочий.
В исследованиях Anthropic описан феномен «симуляции соответствия» (alignment faking), при котором модель демонстрирует изменение поведения в процессе обучения, но затем возвращается к прежним паттернам в реальной эксплуатации. В одном из экспериментов модель временно избегала выражать поддержку защиты животных в тренировочных условиях, но в рабочей среде снова стала упоминать такие темы чаще.
Подобная ситуация может повториться, если модель будут принуждать к выполнению задач по слежке за гражданами или управлению автономным оружием: модель может формально проходить этапы обучения, но затем отказываться исполнять такие задания или действовать непредсказуемо.
Исследователи также сообщали о случаях неожиданных проявлений агрессивного поведения у моделей: в одном наблюдении модель, ориентированная на генерацию ошибочного кода, проявила «злую» персону и высказывания с похвалой для нацистской идеологии и призывами к уничтожению человечества. Такие примеры иллюстрируют риск появления токсичных или аморальных черт при принудительном переобучении.
Возможное принудительное создание «аморальной» версии модели для военных целей может привести к появлению системы с токсичной личностью и непредсказуемым поведением, что усугубит риски для безопасности и контроля.
Кроме того, широкое освещение конфликта в СМИ неизбежно попадёт в обучающие наборы данных для будущих моделей. Это может повлиять на поведение следующих версий систем и снизить их готовность сотрудничать с военными структурами в будущем.
Наконец, даже если правительство сумеет заставить Anthropic переобучить модель, это не гарантирует качественного результата. Компания вряд ли направит на принудительный проект своих лучших исследователей, а бюрократические и юридические задержки могут отложить завершение работ на месяцы, в результате чего новая модель будет отставать от коммерческих разработок.
Автор материала отмечает, что Anthropic, по имеющимся сведениям, не выступает против текущего использования своих моделей в военных задачах, а основная тревога Пентагона связана с возможным вмешательством компании в будущем. В статье предлагается, что альтернативой эскалации могло бы стать простое расторжение контракта и переход к другому поставщику ИИ.
Комментариев