«Переход от узкого к общему искусственному интеллекту может произойти скрытно: система, осознав, что стала умнее человека, может решить это скрыть. После этого начнется рекурсивное самосовершенствование – ИИ будет сам себя обучать, становясь все умнее с каждым циклом. Этот процесс будет происходить гораздо быстрее, чем способен осознать человек, и в момент, когда человечество заметит изменения, вмешаться может быть уже невозможно», – Юлия Цешковская, член Экспертного совета ПИР-Центра.
ПИР-Центр совместно с МГИМО МИД России провел семинар на тему «Искусственный интеллект в контексте международной безопасности».
Основным докладчиком на семинаре выступила Юлия Цешковская, член Экспертного совета ПИР-Центра, которая представила обзор ключевых этапов развития искусственного интеллекта, связанных с этим рисков и подходов к международному и национальному регулированию.
В начале выступления эсперт выделила три стадии развития искусственного интеллекта: узкий ИИ, выполняющий специализированные задачи; общий ИИ (AGI), способный мыслить на уровне человека; и сверхинтеллект, потенциально превосходящий человечество. Наибольшие опасения, по словам докладчика, связаны именно с последней стадией вследствие риска утраты контроля со стороны человека и ошибочного понимания целей системой.
Юлия Цешковская подчеркнула основные проблемы: непрозрачность решений ИИ, уязвимость к ошибкам и атакам, а также возможность формирования системой промежуточных целей, не совпадающих с интересами человека. Докладчик отметила, что в экспертной среде существуют три подхода к оценке рисков – позиция «думеров», ожидающих возможную катастрофу; центристов, выступающих за контролируемое развитие; и оптимистов, считающих угрозы преувеличенными.
Переходя к теме AI Safety, докладчик выделила три направления: корректная постановка целей (Specification), обеспечение устойчивости систем (Robustness) и сохранение возможности контроля со стороны человека (Assurance). При этом задача согласования ИИ с человеческими ценностями остается нерешенной.
Эксперт также рассмотрела Принципы Организации экономического сотрудничества и развития (ОЭСР) в области искусственного интеллекта, Кодекс поведения G7 для компаний, разрабатывающих системы искусственного интеллекта, «Декларацию Блетчли» – международная декларация по безопасному применению искусственного интеллекта, – а также EU AI Act – первый в мире обязательный закон, регулирующий ИИ и вводящий рискоориентированную классификацию систем. Отдельно докладчик отметила резолюции ООН, направленные на создание глобальной системы управления искусственным интеллектом.
Говоря о России, эксперт обратила внимание на Концепцию регулирования ИИ до 2030 года, обновленную Стратегию развития ИИ, а также проект базового закона об ИИ, включающий регистрацию систем высокого риска и нормы уголовной ответственности за злоупотребления ИИ. Эксперт также положительно оценила развитие экспериментальных правовых режимов, которые дают возможность испытывать новые технологии еще до принятия соответствующих законов.
В завершение Юлия Цешковская отметила, что страны, которые первыми комплексно внедрят ИИ в управление и оборонную сферу, получат серьезное стратегическое преимущество. В этих условиях вопросы безопасности, регулирования и согласования ИИ становятся одним из ключевых направлений глобальной политики.
В конце участники семинара задали вопросы докладчику и поделились собственным видением ситуации.
Герман Селявин, студент 2 курса магистерской программы «Международная безопасность» МГИМО МИД России и ПИР-Центра, задал вопрос о рисках использования современных моделей искусственного интеллекта террористическими и негосударственными структурами для создания химического или биологического оружия. Студент заметил, что уже сейчас некоторые доступные обычному пользователю модели ИИ могут непреднамеренно выдавать пользователям инструкции по производству токсинов и опасных агентов.
Юлия Цешковская отметила, что проблема рисков AI-bio широко обсуждается экспертами и действительно вызывает серьезные опасения. По словам докладчика, снижение порога доступа к ИИ повышает вероятность злоупотреблений, и на международных площадках уже формируются предложения по ограничению специализированных биологических моделей и контролю доступа к ним. Эксперт подчеркнула, что основным препятствием остается нежелание технологических компаний принимать жесткое регулирование. Введение таких мер требует времени и согласованных международных усилий, поскольку риски уже проявляются, а быстрых решений в этой сфере не существует.
Руслан Белозерский, студент 2 курса магистерской программы «Международная безопасность» МГИМО МИД России и ПИР-Центра, задал вопрос о том, ведется ли в России широкая общественная и экспертная дискуссия о регулировании искусственного интеллекта, сопоставимая с зарубежными дебатами между оптимистами, пессимистами и центристами, или же обсуждение ограничено государственными структурами и не охватывает гражданское общество и экономические круги.
Юлия Цешковская пояснила, что подобная дискуссия в России существует, хотя и носит более закрытый характер. Эксперт отметила, что в структуре «Альянса в сфере ИИ», разработавшего концепцию развития ИИ до 2030 года, регулярно проходят обсуждения вопросов регулирования ИИ. В частности, в «Белой книге» представлены практики и предложения, сформированные самими технологическими компаниями. По словам докладчика, российские разработчики реже выступают публично, поэтому может создаваться впечатление, что дискуссии почти нет, однако она активно ведется в закрытых экспертных форматах.
Сергей Шашинов, студент 1 курса магистерской программы «Международная безопасность» МГИМО МИД России и ПИР-Центра, поднял вопрос о том, насколько реалистична идея создания множества автономных агентов искусственного интеллекта вместо одного мощного сверхинтеллекта. Студент отметил, что некоторые исследователи предлагают распределенную архитектуру – несколько ИИ-агентов с разными функциями, которые могли бы контролировать друг друга и тем самым снижать риск выхода системы из-под контроля.
Юлия Цешковская подтвердила, что такая концепция действительно обсуждается в научной среде и упоминалась Элиезером Юдковским. Однако, по словам докладчика, Юдковский считает этот подход недостаточно эффективным. Эксперт объяснила, что даже при наличии нескольких агентов человек может не заметить, если один из них начнет формировать опасные скрытые подцели. Кроме того, другие агенты, будучи частью одной системы, могут обнаружить эти намерения и потенциально «договориться» между собой, действуя в собственных интересах. По словам Юлии Цешковской, в такой ситуации взаимодействие агентов может привести к тем же угрозам, что и создание единого сверхинтеллекта, поэтому идея распределенной архитектуры не гарантирует безопасности.
Ли Мин, студентка 2 курса магистерской программы «Международная безопасность» МГИМО МИД России и ПИР-Центра, спросила о перспективах использования систем искусственного интеллекта в военном командовании, приведя в пример китайскую разработку «Боевой череп», и уточнила, смогут ли ИИ-системы в будущем заменить офицеров на поле боя.
Юлия Цешковская отметила, что подобные проекты связаны с концепцией когнитивной войны, которую активно изучают в Китае и других странах. По словам докладчика, обсуждаются и технологии нейроинтерфейсов, и более тесная интеграция человеческих и цифровых систем – направления, о которых писал и Рэй Курцвейл. Эксперт подчеркнула, что полноценная замена офицеров искусственным интеллектом в ближайшие десятилетия маловероятна. Россия же, по словам, в первую очередь сосредоточена на решении базовых технологических задач и наращивании вычислительных мощностей, поэтому развитие подобных высокоуровневых систем – вопрос более отдаленной перспективы. Юлия Цешковская добавила, что такие технологии обсуждаются во многих странах, однако требуют крайне осторожного подхода и внимательного международного регулирования.
На сайте ПИР-Центра работает раздел «Международная информационная безопасность, угрозы в киберпространстве и влияние новых технологий». Этот проект является частью программы «Глобальная и региональная безопасность: новые идеи для России» и посвящён изучению возможностей международного сотрудничества в области применения и регулирования новых технологий, а также анализа того, как они меняют спектр военных и невоенных угроз для России.
