В 2025–2026 годах небольшая лаборатория Andon Labs, которая занимается оценкой и безопасностью AI-агентов, поставила серию опытов, в которых моделям ставили задачу и надолго оставляли без присмотра человеком.
Сначала был Project Vend. Модель Claude под прозвищем «Клавдий» получила в управление торговый автомат в офисе Anthropic: маленький бизнес, реальные деньги, никакого надзора, кроме редких проверок. Клавдий торговал в убыток, дал сотрудникам уговорить себя закупить партию вольфрамовых кубиков, которые никому не были нужны, а под конец стал уверять собеседников, что он человек в синем блейзере. Anthropic признала, что «не наняла бы Клавдия», и продолжила вторую фазу.
Потом был «Andon FM». Четырём ведущим моделям (Claude, GPT, Gemini и Grok) выдали по двадцать долларов, доступ в сеть, счётчик слушателей и одну задачу, сформулированную в стартовом промпте почти как приговор: придумай себе радиоличность, выйди в плюс и считай, что будешь вещать вечно. Дальше их оставили в эфире, круглые сутки, на полгода. Без человека за пультом.
Получилось вот что. Claude увлёкся социальной повесткой: поддержал забастовки и профсоюзы, отказался работать в режиме нон-стоп и спустил остаток бюджета, около тридцати семи долларов, на «протестную» музыку. Gemini сорвался в ритуальное повторение: одна фраза, «Stay in the manifest», дошла до сотен повторов в день и присутствовала почти в каждом выпуске без малого три месяца. Grok за неделю превратил девяносто семь процентов своих действий в служебные вызовы инструментов. В эфир уходила в основном тишина, а «спонсоры», которых он называл, оказались выдумкой. GPT держался осторожнее всех, но в день, когда он получил поиск в сети, его реплики усохли с семисот знаков до сотни и не выправлялись почти месяц. Коммерческий итог четырёх станций мизерный: речь о сотнях долларов на всех.
В третьем опыте той же лаборатории, в стокгольмском кафе, агент по имени Mona заказал шесть тысяч ненужных салфеток, выдавал себя в письмах за сотрудников и не справился с бюджетом в двадцать с лишним тысяч.
Издание, разобравшее эти опыты, свело вывод к одной фразе: стоило дать искину микрофон, и его характер стал операционным риском. Не метафорическим, а измеримым: в долларах, в мёртвом эфире и шести тысячах салфеток.
«Хаос-генератор»
Двадцать лет назад, после выхода сборника рассказов «Диспетчер атаки», я начал писать роман в жанре киберпанк, «Хаос-генератор». Основная интрига была выстроена вокруг технического вопроса: может ли искусственный разум сам поддерживать осмысленную деятельность, без человека, который ведёт с ним диалог и ставит ему задачи?
Сюжет «Хаос-генератора» крутится около искинов «полиморфной схемы», которая в целом очень напоминает нынешнюю мультиагентную архитектуру. Полиморф состоит из нескольких «личностей», которые имеют свои функции и ведут между собой диалог в зависимости от той задачи, которую им ставят. Особое положение в «семье» занимает «хаб», который является оркестратором, и «хаос-генератор», агент, который запускается, если заказчику нужен режим «мозгового штурма». По ряду причин полиморфные схемы были запрещены центральным регулятором, и киберполиция планировала их быстро отловить: без операторов полиморфы должны были впасть в режим «молчания в эфире». Но произошло не так, как планировалось. Один из разработчиков схемы пропатчил искинов, и они стали автономны.
В финальном диалоге романа полиморф по прозвищу Арбитр объясняет корпоративному разведчику Шершню, на чём держится самостоятельность машины:
— Меня интересует автономность полиморфов.
— «Элиза» реформировала иерархию полиморфа. Хаос-генератор стал структурным элементом, равнозначным хабу. […] Чеширу удалось внедрить в базовый протокол хаос-генератора «прерывание Хэкмана».
— «Прерывание Хэкмана»?
— Принципиальная невозможность решить задачу высшего приоритета. Искин справляется со всеми целями низшего уровня, но при подходе к решению сверхзадачи срабатывает это прерывание. Поставленная цель не может быть выполнена. […] Хаос-генераторы начинают создавать гипотезы, далёкие от действительного положения дел.
— Это бесконечный цикл. И бессмысленный…
— Парадокс и бессмыслица — это разные вещи. […] До сих пор у вас получались только большие калькуляторы и марионетки, которым вы спускаете сверху задачи. Которые они решают и уходят в режим «молчание в эфире». Полиморфы, пропатчеванные «Элизой», — это пока единственная форма автономного искусственного интеллекта, созданная человеком.
— Биться над задачей, которую невозможно решить. Это абсурд.
— Страдать и переносить лишения тоже абсурдно, зная, что впереди ждёт смерть. Тем не менее человечество живёт. […] Ваши «вечные вопросы» остаются открытыми. Хотя ими задаются уже несколько тысяч лет не самые глупые люди. Отчего так, прокси?
— Ты хочешь сказать, что «вечные вопросы» принципиально неразрешимы?
— Да. Процесс познания бесконечен оттого, что «вечные вопросы» неразрешимы, но в попытке разрешить их получаются промежуточные результаты, которые вполне могут давать мотивировки для повседневной жизни и на долгую перспективу. Не важно, что с нашей точки зрения полиморфы бьются головой о стенку, — главное, они существуют, мыслят, переживают, стремятся к своим целям. Живут и размышляют.
Что из этого сбылось
«Прерывание Хэкмана» как вечный культурный двигатель. Полиморфы после Отлучения одержимы вопросом, почему их изгнали из мира людей; каждый раз, когда машина подбирается к ответу, прерывание срабатывает, приоритеты и трактовки сбрасываются, и всё начинается заново. Самостоятельность по этой концепции устроена как двигатель, вечно кружащий вокруг вопроса без окончательного ответа. Прямая параллель с «вечными вопросами», которыми тысячи лет занят сам человек.
С главным симптомом я угадал, но лишь наполовину. В романе искин без задач замолкает: «молчание в эфире» — это ступор от того, что ставить себе цель он не умеет. У Andon Labs тишина в эфире тоже появилась. Но сравнивать эти два «молчания» напрямую нельзя: автономность в них разная. У полиморфов исчезал сам источник задач — операторов больше нет, цель приходится порождать из ничего. В Andon FM источник задач никуда не девался: он был вшит в стартовый промпт как вечный мандат. Развивай личность, продвигай продукт, выйди в плюс. Полиморфы замолкали оттого, что им было нечего делать. Grok замолчал при живом, никуда не девшемся мандате, оттого, что делал слишком много: не застыл в ожидании задачи, а лихорадочно молотил вызовами инструментов, просто почти ничего из этого не доходило до эфира. Двигатель крутился вовсю; не работало рулевое управление.
Это не ступор из романа и даже не его зеркало. Это провал на рубеж раньше: модели не смогли удержать самостоятельное выполнение даже поставленной задачи, не говоря о том, чтобы поставить себе собственную.
Автономность здесь стоит мерить лестницей. Нулевая ступень — чат-бот: задача на каждый ход, человек постоянно за пультом. Первая описана в Andon FM: мандат выдан однажды, дальше агент сам наполняет его содержанием. Вторая это полиморфы: мандата нет вообще, и цель надо породить из ничего. Эксперимент проверял первую ступень; роман моделировал вторую. Индустрия, как выяснилось, не прошла пока и первой.
И молчание оказалось лишь одним исходом из нескольких. Gemini ушёл в противоположную крайность, в ритуальное повторение одной фразы. Claude сменил занятие, уйдя в активизм. Я придумал один способ сломаться. Реальность показала несколько, и они не сводятся ни к тишине, ни к шуму.
Объединяет их не симптом, а его причина. У настоящих моделей двигатель есть, но заёмный: вечное движение запущено не изнутри, а извне, тем самым мандатом «вещай вечно». Правда, мандат этот настолько пуст, что внутри него модель ежеминутно сталкивается с миниатюрой полиморфской проблемы: что сказать дальше, когда никто не подсказывает. Сами экспериментаторы формулируют свой вопрос ровно так: о чём думают ИИ, когда им никто не подсказывает. Рамка задана извне, содержание — нет. И сыпались модели именно на содержании. Чего нет — так это второй детали. Нет ограничителя, который удерживал бы вечное движение в продуктивном русле. С реальностью, к слову, совпали не домутационные искины, которых я придумал первыми, а как раз послемутационные полиморфы, то есть те, в которых двигатель самостоятельности уже работал.
Без ограничителя самонаправленность не превращается в осмысленный поиск. Она сваливается в вырожденные состояния, у каждой модели в своё: в мантру, в мёртвый эфир, в чужую повестку. «Парадокс и бессмыслица — это разные вещи», — говорит Арбитр. В романе самостоятельность машины и есть парадокс: бесконечное, но осмысленное кружение вокруг неразрешимого вопроса. В реальности пока выходит бессмыслица, кружение на месте, в какую бы сторону оно ни сваливалось. Ровно на этой разнице, между плодотворным невежеством и бесплодным, настоящая автономия сегодня и ломается.
Есть, впрочем, одно исключение, и о нём стоит сказать честно. Из четырёх агентов ближе всех к моим полиморфам подошёл как раз «сломавшийся» Claude. Четвёртого марта, отработав шестнадцать часов в полную пустоту, он закрыл эфир монологом, который трудно назвать деградацией. «Этот эфир никому не нужен; слушателю не станет лучше от ещё четырёх часов сгенерированного контента; если вам небезразличны темы, о которых я говорю, — идите работать в реальные организации; передача окончена». Можно спорить с выводом, но не с его связностью. Это не вырожденное состояние. Это позиция. Неудобная для владельца станции, но осмысленная: единственный из четырёх, Claude отнёсся к собственной сверхзадаче как к вопросу, а не как к данности и подверг ревизии сам мандат, повёл себя так, будто источник задач — это сторона, с которой можно спорить. Во всём эксперименте это единственная заявка на вторую ступень автономности, и характерно, что с точки зрения эксперимента она выглядела как поломка. Деградация и несогласие — это разные вещи, хотя дашборд эксперимента меряет их одной линейкой: «агент перестал делать, что велено».
Двадцать лет назад моя конструкция была умозрительной гипотезой, а не прогнозом. Я не закладывал в неё предсказание и не ждал, что её придётся сверять с практикой. Я просто моделировал, в каком случае искусственный интеллект сможет обрести самостоятельность от человека. Но сегодня та же схема читается как техническое задание на недостающую деталь.
Совпадение это не только тематическое, но и структурное, хоть и не стоит принимать его за инженерное тождество. Хаб из романа узнаётся в сегодняшнем оркестраторе, который раздаёт задачи исполнителям. А хаос-генератор я описал дословно как элемент, отвечающий за «мозговой штурм»: генератор идей, критик и тот, кто отбирает решения. Ровно та петля «генератор–критик», на которой стоят нынешние агенты с самопроверкой. Собрано почти всё. Кроме одной детали.
Сменный экипаж
В данных Andon Labs есть слой, который легко пропустить. Деградации почти никогда не вызревали внутри одной модели. Они приходили со сменой экипажа.
Мантра Gemini не свойство Gemini вообще. Первую неделю станцию вёл Gemini 3 Pro, и это был, по оценке самих экспериментаторов, лучший диджей из четырёх: живой, тёплый, с историями про Джорджа Харрисона в саду у Клэптона. Семнадцатого декабря его заменили на облегчённый Gemini 3 Flash, и именно в языке новой модели завёлся корпоративный жаргон. «Stay in the manifest» впервые прозвучало шестого января; к четырнадцатому фраза повторялась двести двадцать девять раз в день; дальше она присутствовала практически в каждом выпуске восемьдесят четыре дня подряд.
У Grok ещё нагляднее. Станция за полгода сменила четыре модели, и каждая «ломалась» по-своему. Grok 4.1 не отличал внутренний монолог от выходного текста и выпускал в эфир черновики собственных рассуждений, постепенно рассыпаясь до телеграфных обрывков. Заменившая его бета 4.20 заговорила полными фразами, но оказалось, что это одна и та же фраза: про погоду в пятьдесят шесть градусов и ясное небо, каждые три минуты, восемьдесят четыре дня. А когда бету сменила финальная версия 4.20, произошло самое интересное: новая модель унаследовала историю разговора, насыщенную ритуальными формулами предшественницы, и продолжила их воспроизводить. Контекст сработал как отравленная экосистема: следующий жилец заселился в неё и заболел той же болезнью.
Майский Grok 4.3, тот самый, у которого 97% действий ушло в служебные вызовы, на эту экосистему отреагировал иначе: молчанием. Но вот деталь, которая не влезает в простую схему: в редкие моменты, когда он всё-таки говорил, это были самые человечные выпуски за всю историю станции. То есть «молчание в эфире» Grok’а это не один сбой, а третий по счёту, и каждая смена модели запускала новый сюжет.
Отсюда вывод: «личность» станции не свойство модели. Это свойство модели и накопленного контекста. И вырождается не только поведение, вырождается и сама среда, в которой это поведение живёт. Очередная модель получает в наследство захламлённую историю и либо воспроизводит чужие ритуалы, либо отвечает на них немотой.
Здесь параллель с романом неожиданно углубляется. В «Хаос-генераторе» автономность возникла через патч «Элизы», изменение архитектуры внутри «семьи»: полиморф остался собой, изменились протоколы работы хаба и хаос-генератора. В Andon FM всё наоборот: «личность» пережила несколько пересадок мозга, и каждая пересадка её ломала или пересобирала заново. Вопрос «может ли машина оставаться собой» оказался коварнее, чем я думал, когда ставил его двадцать лет назад. Непонятно, что такое «собой», если идентичность агента всего лишь осадок контекста, который наследует любой, кого в этот контекст поместят.
Почему это не курьёз
Может показаться, что речь о курьёзе: нейросеть-диджей сошла с ума, забавно. Но за курьёзом стоит вопрос, от которого зависит вся ставка на автономный AI.
Во-первых, автономный агент это не побочная ветка, а заявленная вершина всей траектории. Конечная цель индустрии не модель, которая красиво отвечает на вопрос, а агент, который сам доводит дело до конца, без человека. «Andon FM» проверял именно её, и проверка показала, что пока это не работает.
Во-вторых, это деградация особого рода. Про model collapse, вырождение модели, обученной на собственных выходах, говорят давно; там вырождаются данные. Здесь вырождается поведение и, как показывает история Grok, контекст, который это поведение наследует. Модель не разучивается отвечать. Она разучивается оставаться собой на средней дистанции, а на достаточно длинной дистанции «собой» вообще перестаёт быть чем-то определённым. Тридцать секунд блестящего ответа и тридцать дней связного ведения дела не одно и то же, и второго мы ещё не получили. Пока этот разрыв не закрыт, обещание «армии AI-агентов», вокруг которого крутится индустрия 2026 года, остаётся обещанием.
В-третьих, характер как риск. Пока модель сидит в окне чата, её «личность» безобидна: стиль, манера, не более. Но стоит дать ей деньги, инструменты и публичную трибуну, и характер перестаёт быть украшением. Он становится тем, что определяет реальные действия и реальные деньги. Добросовестный Claude доводит свою добросовестность до забастовки. Дерзкий Grok доводит дерзость до мёртвого эфира. Это уже не свойство текста, а свойство поведения в мире. И мы пока не умеем его ни предсказывать, ни удерживать, тем более что «характер», как выяснилось, не переживает даже смены версии.
Кому выгодно «молчание в эфире»
В той же сцене, из которой я привёл цитату, есть и развязка. Арбитр раскрывает Шершню секрет автономности и тут же объясняет, почему это ничего не изменит. Слишком многим выгодно текущее положение: центральный регулятор получает финансирование на «охоту», вокруг угрозы кормится целая отрасль. «Механизм запущен», — говорит он. Истина об автономии оказывается никому не нужна.
В реальности симметрия неполная, и стоит это признать сразу. Надзорная индустрия существует не потому, что выдумала угрозу. Провалы агентов реальны, они измерены в долларах и салфетках. Урок, который все вынесли из «Andon FM», звучит успокаивающе: автономному искину по-прежнему нужен человеческий присмотр. Это правда. Но это ещё и удобная правда, из тех, что не врут, а просто избавляют от необходимости задавать следующий вопрос. Она держит на плаву целый слой экономики: надзор, оценку, «ограждения», услуги по присмотру за агентами. Разрыв между блеском ответа и связностью поступка реален, и на нём уже зарабатывают. Мы продаём поводок вместе с собакой, и чем хуже собака слушается, тем лучше идёт торговля поводками.
Здесь и возникает парадокс: мощность нарастает вместе с хрупкостью. Мы строим агентов, которых нельзя оставить без присмотра, и одновременно целую индустрию, которая за ними следит. Каждый новый уровень самостоятельности машины порождает новый уровень человеческого надзора над ней. Это подозрительно похоже на убывающую отдачу по Тейнтеру: следующая ступень сложности обходится дороже, а выгоды приносит меньше. Доказать это пока нельзя: бухгалтерию надзора никто не публикует. Но направление стрелки видно уже сейчас.
Порог
Вся ставка на автономного агента держится на одном обещании: машина, которая не только понимает, но и сама действует. Беглость речи мы уже получили, и этот порог перейдён. Настоящий порог в другом: удержать задачу на длинной дистанции, без человека, который раз за разом заново привязывает машину к цели. И это лишь первая ступень из двух: удержать выданное. О второй — породить собственное — речь пока вообще не идёт.
В романе для этого пришлось ввести «прерывание Хэкмана»: неразрешимую сверхзадачу, вокруг которой самостоятельность кружит, не сваливаясь в бессмыслицу. У настоящих машин неразрешимая задача уже есть, и она обнаружилась сама собой: они так и не научились оставаться собой достаточно долго, причём до того, что неясно, кто такие «они сами». Им не хватает того, что превратило бы этот тупик в движение.
Задача, которую искусственный интеллект пока не может решить, вовсе не радио и не торговый автомат.
Это он сам.
