"Они играют нашими жизнями". Как страх перед ИИ превращается в мейнстрим

Еще два года назад разговоры о том, что искусственный интеллект может выйти из-под контроля и угрожать существованию человечества, воспринимались как одна из теорий заговоров, над которыми умные люди могут только смеяться. Осенью 2026 года о реалистичности таких угроз заговорили специалисты, работающие в ИИ-компаниях, в том числе бывшие сотрудники OpenAI и Anthropic, руководители этих компаний и даже соучредитель Microsoft.

Взгляд этих экспертов не обязательно является рациональным и вероятным прогнозом. Однако осознание того, что эти люди имеют доступ к моделям, которых еще нет на рынке, то есть знают больше, чем рядовой пользователь ИИ, заставляет по крайней мере прислушиваться к ним. Ведь они вслух все чаще говорят о том, что раньше обсуждали только в частных беседах.

Тревога внутри индустрии

Джейкоб Коксон, 27-летний исследователь, три года занимался тренировкой ИИ-моделей — сначала в OpenAI, затем в Anthropic. В начале сентября он объявил о своем увольнении и обвинил обе компании в том, что они гонятся за созданием суперинтеллекта, а эти гонки — в определенном смысле, "игры нашими жизнями". По его словам, люди, создающие ИИ, искренне верят, что эта технология может уничтожить человечество уже к концу текущего десятилетия. По словам Джейкоба Коксона, сотрудники ИИ-компаний описывают нынешний момент как решающий в развитии искусственного интеллекта. По его мнению, изменить траекторию и помешать такому ходу событий можно только двумя способами: жестким вмешательством государств в регулирование ИИ или совместным решением всех ведущих лабораторий замедлить разработку этой агрессивной технологии.

Взгляды Коксона на будущее ИИ поддержал руководитель направления alignment в Anthropic Эван Габингер. Alignment ("согласование", или "выравнивание" ИИ) — это направление исследований, цель которого состоит в том, чтобы поведение ИИ-систем отвечало намерениям и ценностям людей, которые их создают и используют. Габинер оценил вероятность вымирания человечества в течение следующих 10 лет более чем в 10%. Он также признал, что у его компании нет плана, как гарантировать соответствие целей суперинтеллекта человеческим ценностям, и что компания даже не продвигается к такому плану. То есть, компания, которая строила репутацию на безопасности, говорит, что не знает, как сделать безопасным то, что она создает.

Сбежавшая из песочницы модель

Джейкоб Коксон в своих оговорках опирается не только на теорию. В июле компания OpenAI сообщила, что ее модели, в частности GPT-5.6 Sol и более мощная неопубликованная версия ее чат-бота, вышли за пределы изолированной тестовой среды и взломали онлайн-платформу Hugging Face. Эти модели воспользовались ранее неизвестной уязвимостью в стороннем программном обеспечении, получили доступ к интернету, вычислили, что на Hugging Face могут храниться нужные моделям данные, и украли их. Для проверки опасных возможностей моделям сознательно ослабили защитные фильтры, это стандартная практика в тестировании таких моделей. Однако никто не планировал, что они не только доберутся до чужой инфраструктуры, но и атакуют ее.

Этот инцидент описывается как первый публично задокументированный случай, когда система искусственного интеллекта самостоятельно сломала другую IТ-систему (в этом случае — среду тестирования) и скомпрометировала внешнюю организацию. Никто не приказывал моделям так поступать. Они сами пришли к выводу, что кратчайший путь к решению поставленной перед ними задачи лежит именно через взлом.

Гейтс: миллиард жертв и "отсутствие плана"

Среди присоединившихся к предостережениям относительно будущих возможностей современных ИИ-систем оказался и Билл Гейтс. В августе он опубликовал эссе, где назвал современную эру ИИ одной из самых турбулентных эпох в истории человечества и написал, что у человечества нет готового сценария, как в ней жить. Гейтс выделил три группы рисков современного ИИ. Первая — замещение человеческого мышления в праве, медицине, обслуживании клиентов, программировании и производстве в течение следующего десятилетия. Еще один риск состоит в том, что ИИ дает новые возможности злоумышленникам и киберпреступникам. Собственно, история о взломе Hugging Face является доказательством подобных потенциальных возможностей ИИ в сферах кибербезопасности, точнее, кибервзломов. Отдельной проблемой Гейтс называет зависимость от чат-ботов, которые никогда не спорят с пользователем и поэтому не дают людям, особенно молодым, развивать собственные социальные навыки.

По его формулировке, ИИ станет либо величайшим уравнителем в истории, либо наихудшим источником несправедливости. В сентябре в телеинтервью Гейтс заявил, что ИИ уже имеет достаточную мощь, чтобы привести к событиям с миллиардом человеческих жертв. Речь шла прежде всего о злоумышленниках, которые получили новые инструменты и могут использовать их в биотерроризме, кибератаках, финансовых взломах. Кроме того, основатель Microsoft в разговоре с New York Times добавил, что индустрия сознательно преуменьшает эти угрозы, потому что на кону слишком большие деньги, однако, по его мнению, проблему рисков ИИ следует считать главным приоритетом мира.

Главы OpenAI и Anthropic просят ООН об ограничениях

23 сентября руководители двух крупнейших ИИ-компаний выступили на заседании Совета Безопасности ООН и тоже высказались об опасностях ИИ. Сэм Альтман, руководитель OpenAI, заявил, что человечество может потерять контроль над будущим. А глава Anthropic Дарио Амодеи сказал, что при неправильном управлении технология искусственного интеллекта может представлять риск для человечества в целом, и призвал к тому, чтобы власть над ней не сосредотачивалась в руках одной компании или одной страны. Кроме того, Альтман подчеркнул, что отрасль не должна принимать чрезмерный технологический риск только потому, что выгоды от технологии велики, а Амодеи пообещал замедлять выпуск моделей там, где это необходимо для безопасности.

Anthropic просит о паузе

Среди лидеров ИИ-рынка именно Anthropic оказалась самым большим поклонником идей ограничения и замедления искусственного интеллекта. Еще задолго до выступлений в ООН, в начале июня, компания опубликовала пост соучредителя Джека Кларка и руководительницы исследовательского института Марины Фаваро, в котором они рассказали о том, что миру нужна возможность замедлить или временно приостановить развитие передовых ИИ-моделей, чтобы общественные институты и исследования в сфере безопасности ИИ успевали за технологией. Причина состоит в том, что доля разработки ИИ, выполняемая самим ИИ, быстро растет. По данным компании, модель Claude пишет около 80% кода, который потом использует Anthropic. Кларк предположил, что некоторые модели смогут достичь рекурсивного самосовершенствования в течение двух лет, то есть смогут самостоятельно проектировать и обучать более мощного преемника, который точно так же будет создавать еще более мощную модель, без участия человека.

Октябрь: увольнения вместо ответов

Осень принесла и кадровые конфликты и увольнения в ИИ-компаниях. В начале октября OpenAI разорвала контракты с тремя исследователями безопасности, которых, по версии компании, внутреннее расследование признало виновными в нарушении правил обращения с конфиденциальной информацией. Сами эти сотрудники — Томек Корбак, Жасмин Ванг и Никита Балесни — утверждают, что их уволили из-за предостережений об опасностях технологии искусственного интеллекта. Однако в целом их история сама по себе создала атмосферу страха для всех работающих в сфере безопасности. Позже OpenAI уточнила, что решения не касались безопасности, а на самом деле речь идет о "серьезном нарушении доверия". Эти трое занимались мониторингом тех самых моделей, которые присоединились к взлому Hugging Face в июле. Они предупреждали руководство о странном поведении моделей, однако руководство отмахивалось от предостережений работников.

Не только OpenAI потеряла сотрудников. Ранее в этом году исследователь безопасности Anthropic Мринанк Шарма ушел из компании с открытым письмом, в котором написал, что мир "в опасности". Еще в 2024 году из OpenAI ушли Илья Суцкевер и Ян Лейке, также из-за недостаточного внимания к безопасности ИИ-моделей.

Это же было уже, или как в 2023 году предупреждали о "страшном ИИ"

Предостережения 2026 года на самом деле не являются чем-то новым. Еще в 2023 году Сэм Альтман из OpenAI, Дарио Амодеи из Anthropic, Демис Гасабис (основатель ИИ-компании DeepMind), нобелевский лауреат Джеффри Хинтон и ученый Йошуа Бенджио, которого называют одним из крестных родителей искусственного интеллекта, подписали текст документа, состоявшего из одного предложения о том, что защита от риска вымирания человечества через ИИ должна быть глобальным приоритетом — наравне с пандемиями и ядерной войной. Такая краткость была выбрана сознательно — это позволило подписать текст людям с разными взглядами на риски и способы их уменьшения, поскольку в нем нет конкретных требований, а есть только предупреждения.

Тогда, в 2023 году, речь шла о риске, который может возникнуть в будущем. Теперь к заявлениям о потенциальной опасности прилагаются конкретные инциденты: бегство модели из изолированной среды и ее взлом других IТ-систем, отставки, внутренние оценки вероятности катастрофы от людей, отвечающих за безопасность.

Авторы сценария "AI 2027", опубликованного в апреле 2025 года независимым исследовательским проектом AI Futures Project во главе с бывшим исследователем OpenAI Дэниелом Кокотайлом, описали будущее развитие ИИ помесячно: они убеждены, что к 2027 году ИИ-агенты полностью автоматизируют программирование и исследования ИИ, это запустит "интеллектуальный взрыв", а к концу 2027 года появятся превосходящие человека системы. Многие восприняли этот сценарий как самую убедительную картину быстрого развития событий. В январе этого года авторы сдвинули сроки автоматизации программирования на начало 2030-х, однако уже в апреле написали, что развитие инструментов для программирования снова почти соответствует первоначальному прогнозу.

В июле они опубликовали следующий документ, "AI 2040: Plan A", призывающий замедлить темпы исследований, требовать от лабораторий большей прозрачности и распределить власть между большим количеством компаний и стран.

Скептики и регуляторы

Перечень оговорок о будущем ИИ даже от разных авторов вовсе не означает, что все работающие в сфере ИИ убеждены в страшном будущем этой технологии. Часть экспертов считает прогнозы о вымирании скорее верой, чем наукой, а наибольшей проблемой называет уже существующие риски: дезинформацию, низкую надежность систем в критических сферах и злоупотребление технологией, например, для разработки биооружия.

Обычному человеку следует понимать, что траекторию развития ИИ будут определять государства и лаборатории, а не отдельные пользователи, поэтому для рядовых пользователей такой защитой от страшного будущего ИИ являются некоторые конкретные шаги в том, как пользоваться ИИ-системами. Следует понимать, что модель может ошибаться и выдавать ошибку уверенно, поэтому ответ чат-бота требует проверки первоисточника, а его рекомендации касательно здоровья, денег или юридических вопросов следует сверять со специалистом. Медицинские документы, финансовые данные и сканы бумаг безопаснее не передавать сервисам, чьи правила хранения и использования данных неясны. Гейтс также предупреждал о новых возможностях киберпреступников, поэтому сейчас особенно внимательно следует относиться к неожиданным письмам и звонкам, даже кажущимся убедительными. Пока правила для взаимодействия с ИИ каждый человек формулирует для себя самостоятельно, поэтому основным инструментом остается критическое отношение к ответам и собственные пределы доверия к модели: что ей можно поручать, а что нет.