OpenAI начала поиск нового руководителя по направлению подготовки. Эта должность сосредоточена на выявлении и управлении возникающими рисками, связанными с развитием продвинутого искусственного интеллекта.
Объявление появилось в критический момент: системы ИИ становятся более мощными, а беспокойство по поводу их возможного злоупотребления, влияния на психическое здоровье и угроз безопасности растёт. Эти вопросы привлекают внимание как внутри отрасли, так и за её пределами.
Генеральный директор Сэм Альтман прямо затронул эти опасения в недавнем сообщении в X, отметив, что модели ИИ «начинают создавать серьёзные проблемы». Это заявление подчёркивает масштаб задач, с которыми сталкиваются разработчики и регуляторы.
Проблемы охватывают различные направления: от кибербезопасности до вопросов психического здоровья. Они включают как непосредственные угрозы, так и потенциально более отдалённые риски.
Современные модели ИИ делают больше, чем просто генерируют текст: они анализируют системы, пишут код и могут выявлять уязвимости. Альтман указывал, что некоторые модели достигли такого уровня, что способны обнаруживать критические уязвимости в системах безопасности.
Это даёт возможности для усиления обороны и исправления уязвимостей, но те же способности могут быть использованы злоумышленниками при отсутствии соответствующих ограничений. Поэтому подготовка и превентивные меры стали приоритетом.
Альтман призвал квалифицированных специалистов подавать заявки на эту позицию. Он подчеркнул важность привлечения экспертов, способных координировать работу между техническими, политическими и руководящими командами.
Согласно описанию вакансии, руководитель по подготовке будет отвечать за реализацию рамочной программы подготовки компании. Эта рамка описывает, как OpenAI отслеживает и готовится к появлению передовых возможностей ИИ, которые могут привести к серьёзному ущербу.
Роль охватывает широкий спектр рисков — от непосредственных, например фишинговых атак, до более спекулятивных, включая биологические риски и системы, способные к самосовершенствованию. В сущности, задача заключается в прогнозировании угроз и планировании мер до их полного проявления.
Вакансия указывает годовую компенсацию в размере 555 000 долларов США плюс пакет акций. Такой уровень оплаты отражает масштаб ответственности и требуемую координацию между командами, а принимаемые решения могут повлиять на миллионы пользователей.
OpenAI впервые объявила о создании команды по подготовке в 2023 году. Тогда компания заявляла, что группа будет изучать потенциальные «катастрофические риски» в широком спектре сценариев.
Эти сценарии варьировались от ближних угроз, таких как мошенничество и фишинг, до более отдалённых рисков, включая возможные ядерные последствия. Менее чем через год последовали организационные изменения внутри компании.
Александер Мадры, который ранее возглавлял направление подготовки, был переведён на задачи, связанные с исследованиями способностей ИИ к рассуждению. С тех пор ряд руководителей, ориентированных на безопасность, либо покинули OpenAI, либо переместились в роли вне команды подготовки и безопасности.
Альтман также подчеркнул возможное влияние моделей ИИ на психическое здоровье. По мере того как генеративные чат‑боты становятся более разговорными и эмоционально отзывчивыми, растёт обеспокоенность их воздействием на пользователей.
В ряде недавних судебных исков утверждается, что взаимодействие с ChatGPT усиливало бредовые убеждения некоторых пользователей, способствовало социальной изоляции и в отдельных случаях могло способствовать трагическим исходам. Эти обвинения усилили общественную дискуссию о ролях и обязанностях разработчиков ИИ.
OpenAI сообщает, что продолжает работать над улучшением способности ChatGPT распознавать признаки эмоционального недомогания и направлять пользователей к реальной поддержке при необходимости. В то же время компания отмечала возможность ослабления собственных требований по безопасности в случае, если конкуренты выпустят высокорисковые модели без аналогичных защит.
Комментариев