ПИР-Репортаж
ИИ-оружие и новые вызовы международной безопасности
С 8 по 10 сентября в Барселоне состоялось трехстороннее пленарное заседание, проводимое организациями Center for a New American Security (CNAS) и International Network of Human Rights (INHR). Оно было посвящено вопросам применения искусственного интеллекта в сфере международной безопасности. В мероприятии приняли участие более 20 экспертов и научных сотрудников трех делегаций: американской, китайской и международной, последняя из которых включала представителей стран Европы, Индии и России.
Повестка заседания охватывала следующие ключевые направления международного сотрудничества в области ИИ:
- Анализ технических и нормативно-правовых изменений, затрагивающих вопросы управления искусственным интеллектом, включая соответствующие процессы в США, Китае, Европе и России;
- Анализ смоделированных сценариев с целью оценки рисков применения передовых ИИ-технологий в военной сфере, в том числе изучение роли ИИ-агентов в потенциальной эскалации ядерных конфликтов;
- Обсуждение рекомендаций INHR для правительств по снижению рисков в области AIxBio с целью дальнейшего одобрения документа на международном уровне, а также подготовка к его официальному анонсированию в ходе заседания CNAS и INHR, которое пройдет в Женеве в декабре 2025 года в рамках встречи государств-участников КБТО;
- Классификация сложных рисков, связанных с использованием ИИ, и выработка стратегий их смягчения.
В начале мероприятия участники поделились сообщениями о последних изменения в регулировании искусственного интеллекта в своих странах.
Китайский военный профессор доложила о национальных инициативах, затрагивающих регулирование аспектов развития ИИ в Китае. В июле 2024 года на третьем пленуме ЦК КПК было принято решение о формировании «Системы безопасности и надзора за ИИ», что придало инициативе статус центральной политической реформы. По итогам принятого решения в сентябре 2024 года Администрацией киберпространства Китая был опубликован рамочный документ по управлению безопасностью ИИ «AI Safety Governance Framework» (人工智能安全治理框架), определяющий принципы, цели и базовые механизмы управления безопасностью ИИ. В апреле 2025 года было проведено специальное заседание Политбюро по ИИ, на котором особое внимание уделялось механизмам мониторинга, раннего оповещения и реагирования на чрезвычайные ситуации. Кроме того, Администрация киберпространства Китая инициировала общенациональную кампанию, направленную против неправомерного использования генеративного ИИ, предусматривающую обязательную маркировку контента, создаваемого ИИ, и раскрытие информации пользователями при публикации дипфейков.
Профессор подчеркнула, что Китай в первую очередь обеспокоен распространением моделей ИИ и сравнительно редко затрагивает вопросы, связанные с общим ИИ. Эксперт добавила, что такие риски передового ИИ, как «scheming» (в российской риторике такой термин не получил хождения, он означает планирование ИИ в ущерб интересам человека), могут представлять больший интерес для американских исследователей, чем для китайских.
Российская делегация осветила процесс развития регулирования ИИ в России, уделив особое внимание Национальной стратегии РФ в области ИИ (обновлена в феврале 2024 года), направленной на укрепление национальной безопасности и конкурентоспособности в условиях санкционного давления. Также был рассмотрен проект рамочного закона об ИИ, который закрепляет ключевые правовые определения и механизмы контроля. Закон устанавливает требование обязательной маркировки ИИ-систем при взаимодействии с пользователями, а также вводит классификацию таких систем по уровням риска – от минимального до неприемлемого. Для систем высокого риска предусмотрена обязательная государственная регистрация, а системы с неприемлемым уровнем риска подлежат полному запрету.
Бывший сотрудник Пентагона отметил сохраняющиеся разногласия внутри правительства США по поводу рисков и возможностей создания общего ИИ. Он подчеркнул, что принцип американского «доминирования» лежит в основе как Плана действий США в области ИИ (AI Action Plan), так и выступления вице-президента Джей Ди Вэнса на парижском Саммите по развитию ИИ (AI Action Summit) в феврале этого года. По его мнению, План действий строится на трех ключевых столпах: ускорении инноваций в области ИИ, развитии американской инфраструктуры и лидерстве в области дипломатии и безопасности в сфере ИИ. Хотя эти цели представляются амбициозными, их реализация зависит от устранения внутренних противоречий и решения проблем с распределением ресурсов.
Американский докладчик пояснил, что План действий в области ИИ сохраняет элементы политики эпохи Байдена, такие как повышение грамотности рабочей силы в области ИИ, рамочная система Пентагона по реализации ответственного ИИ и меры биологической безопасности. Одновременно администрация Трампа стремится упростить нормативно-правовую среду с целью повышения конкурентоспособности американских компаний, однако реализация данных инициатив остается неопределенной из-за ограниченного финансирования и конкурирующих приоритетов внутри администрации. С бюрократической точки зрения, напряженность в новой политике проявляется в передаче Управления цифровых технологий и искусственного интеллекта (CDAO) Пентагона в подчинение помощника министра обороны по исследованиям и разработкам. Докладчик отметил, что данная реорганизация может замедлить разработку и внедрение ИИ в вооруженных силах США, но одновременно повысить уровень безопасности.
Спикер из американской делегации подчеркнул, что подход ООН «ИИ во благо» акцентирует внимание на обеспечении широкого доступа к моделям ИИ. Новый План действий США в области ИИ соответствует принципу предоставления глобального доступа к ИИ при условии, что используется ИИ американского производства или распространяемый американскими компаниями.
Профессор из Китая отметил, что безопасность ИИ представляет собой смешанную модель безопасности, затрагивающую и ПО, и данные, поскольку обработка непрерывных потоков данных моделями ИИ делает их более уязвимыми для атак по сравнению с традиционным программным обеспечением. Обсуждая такие риски, как отравление данных (data poisoning), несанкционированное проникновение и утечка данных, он предположил, что конечной целью должна быть не абсолютная безопасность, а контроль рисков.
Бывший военный представитель США предложил для обсуждения вопрос каким образом контроль рисков и традиционные подходы к IT-безопасности могут повлиять на применение ИИ, например в БПЛА, которые подверглись атакам посредством отравления данных. В связи с чем китайский профессор обозначил, что требуется более сложная система управления, в которой бы учитывались взаимозависимости всех рисков.
Деление рисков передового ИИ по степени угроз
Команда INHR проанализировала риски, связанные с ИИ, включающие scheming, adversarial attacks (атака через вредоносное машинное обучение, AML-атаки), риски ИИ-агентов, системные сбои и misalignment (рассогласование целей). В ходе обсуждения были определены наиболее значимые угрозы и связанные с ними ключевые проблемы. В результате были выделены три приоритетные категории рисков:
Сохранение человеческого контроля над военными системами, включая аспекты человеко-машинного взаимодействия.
Угроза заключается в утрате контроля со стороны человека и неспособности машин следовать его инструкциям. В ходе дискуссии обсуждалось, как будет развиваться механизм человеческого контроля по мере внедрения передовых ИИ-систем в военные операции. Особое внимание было уделено как осмыслению роли человеческого контроля, так и определению областей, этапов и способов его применения на всех стадиях жизненного цикла ИИ-систем. Подчеркивалась ключевая роль человеческой оценки в военных операциях, поскольку даже самые совершенные системы могут вести себя непредсказуемо в реальных боевых условиях, которые сильно отличаются от учебных. Участники отметили, что проблема взаимодействия человека и машины, включая поиск баланса между решениями человека и автономных систем, является критически важной и требует скорейшего решения для безопасного внедрения передовых военных ИИ-систем в ближайшие годы.
Защита систем и данных от AML-атак.
Эта категория рисков охватывает разнообразные методы компрометации или манипуляции данными и моделями ИИ противника. В ходе дискуссии было подчеркнуто, что установить приемлемые пороги безопасности для данных и систем крайне сложно, особенно в условиях военных операций, где цена ошибки может быть недопустимой.
Риски, связанные с согласованием (alignment) и координацией ИИ-агентов.
Проблема рассогласования (misalignment) может возникать в различных процессах взаимодействия человека с системами, а также между самими передовыми системами, использующих агентов. Участники обозначили необходимость внедрения государствами процесса проверки качества условий и инструкций для ИИ, которые устанавливает человек. Также требует надзора процесс интерпретации и выполнения задач передовыми ИИ-системами, включая полуавтономных агентов или системы агентов. Была отмечена потребность в разработке системы оценки рисков и минимизации расхождений между целями человека и их реализацией ИИ. Подчеркивалось, что человеческая ответственность и подотчетность остаются ключевыми элементами военных операций, независимо от уровня интеграции передового ИИ.
Риски передового ИИ: анализ сценариев применения в контексте национальной безопасности
Сценарная часть I.
В ходе заседания индийский представитель продемонстрировал три кратких сценария (vignettes), затрагивающих роль ИИ в вопросах национальной безопасности. Участники дискуссии пришли к консенсусу относительно необходимости полного понимания командующими принципов работы систем, находящихся под их оперативным контролем.
Первая vignette
В ходе обсуждения первого сценария были идентифицированы потенциальные риски и их последствия, а также сформулированы следующие ключевые выводы:
- Прозрачность и объяснимость: необходимо фокусировать внимание не на всех рассуждениях ИИ, а на обеспечении точности, надежности и следовании стандартам;
- Решения человека: командиры не должны санкционировать решения, механизм которых остаётся для них неясным. За ними должно сохраняться право окончательного вердикта и возможность своевременного вмешательства в процесс;
- Необходимость обучения: требуется целенаправленная подготовка будущих командиров к работе в условиях непредсказуемости, порождаемой ИИ, и к разрешению оперативных дилемм на поле боя.
Вторая vignette
Во втором сценарии рассматривалось развертывание совместных боевых самолетов, где использование агентов могло привести к уязвимости систем и потенциальной утрате человеческого контроля, восстановить который впоследствии могло быть невозможным. Основные выводы участников:
- Человеко-машинное взаимодействие: своевременное вмешательство оператора является критически важным, однако по мере распространения и усложнения ИИ-систем его обеспечить становится все сложнее.
- Контроль рисков: отсутствие полной прозрачности и проблема рассогласования (misalignment) целей требуют внедрения надежных систем оценки рисков и проектирования архитектур, изначально ориентированных на сохранение человеческого контроля.
Третья vignette
В рамках третьего сценария предметом дискуссии стали вызовы национальной безопасности в области AIxBio (направление развития биотехнологий посредством ИИ). Обсуждение началось со сравнительного анализа двух типов угроз: распространённых рисков от ИИ общего назначения и более узко направленных, но потенциально более серьезных угроз от специализированных биологических ИИ-моделей. Было отмечено, что, хотя меры противодействия частично пересекаются, для биологических моделей требуется разработка специализированных защитных механизмов. В качестве примера было указано что, лицензирование, может быть более эффективно для ограничения доступа к мощным узкоспециализированным биологическим ИИ-моделям, чем для широко распространённых больших языковых моделей (LLM).
Риски AIxBio анализировались по двум основным критериям: тип модели ИИ (биологическая или LLM общего назначения) и характер угроз – риски безопасности (safety), связанные с непреднамеренными последствиями, или риски защиты (security), связанные с целенаправленными злонамеренными действиями. Участники четко разграничили эти категории: случайная генерация опасных лабораторных методик или патогенов (риски безопасности) отличается от взлома или целенаправленной атаки на защищенные системы (риски защиты). Риски AIxBio рассматриваются как совокупность уязвимостей на стыке человеческого, биологического, технологического и политического аспектов. Учитывая комплексный характер, участники обсудили необходимый уровень надежности систем в зависимости от выбранных методов снижения рисков.
Резюмируя итоги обсуждения, участники предостерегли против безусловного доверия системам ИИ, настаивая на сохранении за командиром права принятия окончательных решений в боевой обстановке. Также была подчеркнута необходимость своевременного вмешательства человека, которое должно быть обеспечено за счет человеко-ориентированного проектирования систем и разработки защитных мер для направления AIxBio.
Сценарная часть II.
Бывший сотрудник Пентагона представил два сценария развития событий на поле боя, которые проиллюстрировали, как некачественные данные, предоставленные для обучения, AML-атаки и отсутствие координации между автономными ИИ-агентами способны привести к непреднамеренной эскалации военного конфликта. В рамках смоделированной ситуации рассматривались системы с множественными ИИ-агентами, включая координирующих (orchestrator agents), исполняющих (execution agents) и анализирующих агентов (assessment agents).
Сценарий I.
В результате AML-атаки, осуществленной противником, автономная система одной из сторон ошибочно атаковала гражданский объект без вмешательства человека. Это спровоцировало автономный ответный удар систем самообороны противника, что мгновенно перевело локальный конфликт в фазу прямого военного столкновения. Данный сценарий продемонстрировал, как недостаточно протестированные модели, ограниченный человеческий контроль и нескоординированные Правила применения оружия (Rules of Engagement – ROE) могут привести к непреднамеренным смертельным исходам и эскалации конфликта на машинной скорости.
Экспертная дискуссия позволила выявить три критически важных аспекта взаимодействия человека и автономных систем в условиях боевых действий.
1. Проблема интерпретации ROE. Было отмечено, что интеграция инструкций в действия агентов сопряжена со значительными сложностями. Алгоритмы зачастую не способны осознавать лежащие в основе ROE такие человеческие ценности, как минимизация сопутствующего ущерба, что может приводить к излишне провокационным и эскалационным действиям. Участники подчеркнули, что понимание указаний человеком-оператором и их интерпретация ИИ-моделью, преследующей цель получения вознаграждения, могут существенно отличаться. Пока в научном сообществе не будут получены исчерпывающие данные о поведении ИИ-агентов в условиях реальных военных операций, государствам следует учитывать возможность совершения передовыми ИИ-системами непрогнозируемых действий, которые могут противоречить ожиданиям человека. В этой связи была отмечена необходимость разработки дополнительных протоколов управления, направленных на минимизацию таких рисков, как случайные жертвы или неконтролируемые эскалации конфликтов. В качестве решения была предложена разработка специализированных правил человеко-машинного взаимодействия, призванных обеспечить корректную интерпретацию агентами человеческих намерений, целей и ценностей.
2. Human Machine Command and Control (C2). Участники дискуссии пришли к консенсусу относительно необходимости существенной адаптации систем управления (C2) в условиях внедрения передовых возможностей ИИ, включая агентный ИИ, в военные операции. Подчеркивалось, что внедрение координирующих, исполняющих и анализирующих агентов затрагивает все уровни системы управления. В качестве насущной задачи была обозначена необходимость проведения исследования механизмов человеческого вмешательства, способных предотвратить небезопасные и противоправные действия военных ИИ-систем. В ходе обсуждения также отмечалась потенциальная способность ИИ-агентов инициировать эскалацию международных кризисов и конфликтов со скоростью, исключающей возможность своевременного человеческого вмешательства для деэскалации.
3. Качество данных. Участники выразили обеспокоенность тем, что недостаточные и непроверенные данные, содержащие узкие нарративы и стратегии, могут вводить в заблуждение ИИ-агентов и повышать их уязвимость к враждебным атакам. Подчеркивалась важность отслеживания происхождения данных (data provenance) как ключевого элемента надежности ИИ-агентов.
Сценарий II.
В данном сценарии кибератаки и действия автономных агентов в ходе учений были ошибочно интерпретированы системой поддержки решений противника на основе генеративного ИИ как реальная атака. Это привело к автоматической эскалации и нанесению ответного удара, в результате чего стороны оказались вовлечены в полномасштабный кризис, управляемый искусственным интеллектом, при котором политическое руководство утратило контроль над развитием событий. Анализ инцидента позволил выявить ключевые риски: размытие границ между моделированием и реальностью, рассогласование целей алгоритмов и отсутствие надежных механизмов человеческого контроля способны трансформировать учебные мероприятия в реальное столкновение с применением ОМУ.
В ходе обсуждения сценария участники подчеркнули необходимость ответственного проектирования подобных систем и разработки соответствующих международных протоколов:
1.Ответственный подход к проектированию систем критических функций. Критически важные функции, такие как операции NC2 должны быть изолированы для исключения любого прямого контроля со стороны ИИ-систем над элементами NC3. Например, должны быть исключены возможности автоматического изменения уровня ядерной готовности или управления перемещением ядерного оружия. Было отмечено, что хотя регуляторные «песочницы» для виртуальных учений и моделирования имеют важное значение, представленный сценарий демонстрирует, что этих мер недостаточно для предотвращения подключений к внешним системам, активации вредоносного ПО или попыток продвинутых ИИ-систем преодолеть границу между цифровыми и физическими объектами. В качестве иллюстрации один из китайских участников сослался на исследование Университета Цинхуа, продемонстрировавшее способность больших языковых моделей в условиях внешнего давления стремиться к применению ядерного оружия.
2. Проверка и мониторинг человеком. Участники подчеркнули, что хотя ИИ может использоваться для обнаружения и классификации различных типов угроз, он никогда не должен принимать решения, связанные с применением ядерного оружия. Подчеркивалось, что даже решения, предшествующие непосредственному применению, такие как изменение уровня угрозы и степени готовности, способны иметь последствия, влияющие на запуск ядерного оружия, и должны оставаться под строгим человеческим контролем. Участники подчеркнули важность непрерывного мониторинга происхождения данных и контроля логов для обнаружения случаев отравления данных или скрытых манипуляций, а также призвали к разработке протоколов экстренной остановки и замедления автоматических процессов по эскалации конфликтов.
3. Международное сотрудничество. Участники выступили за разработку международных соглашений, запрещающих делегирование полномочий ИИ-системам в ядерной сфере, включая регулирование применения ИИ государствами «ядерной пятерки». Также рекомендовалось создание специализированных каналов связи (горячих линий) для управления кризисными ситуациями, вызванными поведением ИИ. Отмечалось, что формирование базы данных невоенных объектов (школы, больницы, объекты гражданской инфраструктуры) способно снизить количество целенаправленных инцидентов. В заключение участники предложили включить вопрос регулирования ИИ в повестку «ядерной пятерки», уделив особое внимание ядерным рискам, связанным с развитием искусственного интеллекта.
Рекомендации по направлению AIxBio для государств, готовых к внедрению
В ходе обсуждения вопросов AIxBio участники заслушали серию презентаций, посвященных анализу рисков и перспектив синтетической биологии в контексте развития искусственного интеллекта. Участники обсудили рекомендации INHR для правительств по AIxBio, которые призваны сформировать основу для разработки национальных и международных стандартов безопасности в данной области.
Китайский научный сотрудник в области синтетической биологии, представляющий Пекинский университет иностранных языков, проследил историческую эволюцию биотехнологии – от раннего применения ферментации и сельскохозяйственных инноваций до достижений в области молекулярной биологии и генной инженерии. Эксперт подчеркнул, что биотехнология постепенно эволюционировала от «прочтения жизни» к «написанию и проектированию жизни». Особое внимание было уделено применению синтетической биологии, синтеза ДНК и редактирования генома в таких сферах, как биопроизводство, прецизионная медицина и создание мРНК-вакцин. Также были раскрыты потенциальные опасности неправомерного использования этих технологий, включая концепцию зеркальной биологии.
Затем эксперт рассмотрел проблемы управления в области синтетической биологии в контексте биобезопасности, биозащиты и совместного использования наработок. В рамках Конвенции о биологическом оружии основное внимание уделяется потенциально опасным патогенам. На недавних встречах экспертов КБО особое внимание уделялось укреплению сотрудничества, обзору научных разработок, таких как AIxBio, а также совершенствованию механизмов верификации. В заключение были проанализированы новые инструменты управления и риски, связанные с пограничными процессами, включая инициативы «мягкого права», такие как Тяньцзиньские руководящие принципы по биобезопасности для кодексов поведения, и другие добровольные рамочные документы, регулирующие ответственное использование достижений наук о жизни.
Американский эксперт по ИИ, научный сотрудник RAND пояснила, что ИИ увеличивает как возможности, так и риски в области бионауки и биобезопасности. Было отмечено, что биофабрики Национального научного фонда США (NSF) интегрированы с инфраструктурой, что позволяет ускорить процессы проектирования, создания и тестирования новых продуктов для биоисследований. Подчеркивая одновременное повышение эффективности и возникновение новых уязвимостей, эксперт объяснила, что ИИ усугубляет биологические риски, снижая барьеры для доступа к технологиям синтетической биологии, включая доступ к данным, моделям и экспериментальным возможностям.
Были приведены примеры политических инициатив США, направленных на снижение этих рисков, включая пилотный проект Национального научного фонда «Национальные ресурсы для исследований ИИ», проект Министерства энергетики по разработке передовых моделей ИИ для научных инициатив в области науки, безопасности и технологий, а также партнерства Национальных институтов здравоохранения с поставщиками облачных услуг. В совокупности эти инициативы формируют основу для решения рисков двойного назначения с акцентом на обеспечение безопасного доступа к данным, вычислительным мощностям и ресурсам для обучения.
Признавая существующие пробелы в политике для развития более безопасных международных практик AIxBio, рабочая группа INHR подготовила и представила к обсуждению соответствующие рекомендации. Документ включает 19 положений, направленных на стандартизацию ключевых правил безопасности на каждом этапе исследовательской цепочки AIxBio – от рамок международного сотрудничества до национальных политических подходов и отраслевых практик для разработчиков ИИ и лабораторий синтетической биологии, использующих дата-центры и «мокрые лаборатории».
Научный сотрудник Университета Джона Хопкинса проанализировала исторический контекст разработки регулирования и его потенциальное развитие на многосторонних площадках. Группа INHR планирует представить окончательную версию рекомендаций по завершении их доработки с целью последующего продвижения документа на государственном и институциональном уровнях.
Заключение
Участники завершили дискуссию, обозначив три категории рисков, связанных с передовым ИИ, которые будут представлять особое значение в ближайшее время: человеко-машинное взаимодействие, AML-атаки, ИИ-агенты и их координирование.
По итогам 3-дневной дискуссии был подготовлен список мер контроля рисков, разработанный участниками заседания в ходе мозгового штурма. Список содержит 22 потенциальных политических решения, направленных на снижение рисков, связанных с передовым ИИ и агентами ИИ:
- Сохранение человеческого контроля. Предложенные правила формируют основу для регулирования применения военных ИИ-систем, подчеркивая приоритет человеческого контроля. Ключевой принцип заключается в сохранении за человеком статуса конечного субъекта принятия решений и ответственности за применение силы, даже при использовании передовых ИИ-систем. С одной стороны, тезисы отражают стремление к интеграции ИИ в командно-управленческие процессы, где человек и машина действуют как единая система, при этом баланс зависит от конкретного контекста. С другой стороны, правила предлагают ограничения, направленные на предотвращение рисков.
Также подчеркивается, что эффективное и безопасное применение военного ИИ невозможно без институционально закрепленного человеческого контроля, правовых гарантий, адаптивных технологических решений и комплексной подготовки персонала.
- Защита систем и данных от атак злоумышленников. Тезисы отражают понимание уязвимости ИИ-систем не только на техническом, но и на стратегическом уровне, где их сбой может иметь глобальные последствия. Предлагаемая архитектура безопасности представляет трехуровневый подход: техническая защита и непрерывный аудит; механизмы человеческого контроля и многоуровневая архитектура устойчивости; международное сотрудничество и прозрачность при инцидентах.
Таким образом, ИИ-системы должны рассматриваться как объект критической инфраструктуры, требующий высокой надежности, коллективного контроля и глобальной ответственности.
- Обеспечение согласованности и координации в продвинутых военных системах. Для критически важных систем (например, ядерных) требуется сохранение человеческого контроля на всех этапах жизненного цикла ИИ, исключая возможности перехода от цифровых действий к физическим без явного человеческого распоряжения. Предлагается многоуровневая система контроля, включающая человеческое руководство, резервные архитектуры, четкую политику применения, национальную и международную координацию, а также сотрудничество с промышленностью и наукой.
10 сентября
Юлия Цешковская
Барселона – Москва
Ключевые слова: ИИ; Кибербезопасность
RUF
E16/SHAH – 25/10/06
