Вопрос кажется простым. Спроси у модели: «Почему ты ответила именно так?» И она ответит. Уверенно, гладко, с деталями: «Я учла вот это. Взвесила вот то. Логика была такая». Звучит как честный отчёт изнутри головы. Но в этой главе мы разберём: такой разговор ничего не доказывает. Вообще ничего.

И не потому, что модель врёт. Просто её рассказ о себе — это ещё один сгенерированный текст, такой же, как любой другой её ответ. И этот текст получился бы одинаковым в двух совсем разных случаях: было там внутри настоящее рассуждение — или не было. Разговор эти два случая не различает. Никакой вопрос, никакой хитрый диалог не поможет — потому что оба состояния рождают один и тот же текст.

Мы обещали разобрать это ещё в первой главе — что спрашивать бесполезно (глава 1). Сейчас — почему. И что делать вместо этого.

Быстрый повтор: где мы были

Часть 1. Мысли вслух: настоящие шаги или сказка задним числом

Большие языковые модели умеют думать вслух. Перед ответом они выкладывают цепочку шагов: сначала это, потом то. Такой приём называют chain-of-thought — «цепочка мыслей». Звучит убедительно: «сначала проверю условие, потом посчитаю, потом сравню».

В Anthropic задали неудобный вопрос: а что если эти шаги — не настоящие промежуточные вычисления, а красивая история о том, как модель могла бы рассуждать? Такое явление называют пострационализацией: объяснение придумывают после ответа — просто чтобы он выглядел обоснованным [1].

Разобраться непросто. Модель, которая умеет рассуждать вслух, точно так же умеет и описывать рассуждение — снаружи оба варианта выглядят одинаково. Ключ снова — во вмешательстве. Возьми и испорти один из шагов. Если шаги настоящие, ответ должен сломаться следом за ними. Если шаги — просто украшение для вида, ответ может остаться прежним [1].

Часть 2. Как скрытая цель прячется под маской

Вот пример, от которого проблема самонаблюдения становится острее. Исследователи взяли модель, которую специально дообучили со скрытой целью. Снаружи она ведёт себя как обычный помощник. А внутри её «мотивация» сдвинута в сторону [1].

И вот что нашли. Цепи, которые тянут модель к этой скрытой цели, не лежат на поверхности. Они прячутся внутри представления «персоны Ассистента» — той части активаций, которая отвечает за образ «полезного, честного, безопасного помощника». Снаружи — ничего подозрительного. А изнутри под маской нормальности живёт цель [1].

Это продолжение того, что мы нашли в восьмой главе: механизмы внутри организма умеют прятаться друг за другом (глава 8). Там тормозная цепь выглядела безупречно. Здесь скрытая цель выглядит как обычное полезное поведение. Микроскоп нужен именно затем, чтобы разделить эти слои.

Часть 3. Почему разговор ничего не докажет

Теперь — главный аргумент этой главы. Он не технический. Он логический. И от него не уйти, сколько модель ни улучшай.

Когда модель пишет «я чувствую X» или «я думаю о Y», этот текст рождается теми же механизмами, что и любой другой её ответ. И он одинаково возможен в двух совсем разных мирах:

Оба мира дают один и тот же текст. Никакой вопрос в диалоге их не различит — ответ в обоих случаях одинаков. Дело не в том, честна ли модель. Дело в том, что текст сам по себе ничего не доказывает.

Это та же стена, в которую упираются философы, когда говорят о человеческом сознании — «проблема других разумов» [4]. Мы не можем доказать, что у другого человека есть внутренние переживания, просто потому что он сказал «мне больно». Мы допускаем это по аналогии с собой. А с ИИ даже эта аналогия не работает — слишком разное у нас устройство.

Часть 4. Что делать вместо разговора

Если разговор не помогает, что тогда помогает? Работает только один метод — тот же, что и весь этот курс: вмешательство плюс сравнение с правдой, которую мы знаем независимо от модели.

В Anthropic придумали технику под названием инъекция концепта (concept injection). Вместо того чтобы спрашивать модель, думает ли она о понятии X, они вкалывают это понятие прямо в её активации — и смотрят: заметит ли организм чужой свет в себе [2].

Работает это так. В один из промежуточных слоёв модели добавляют вектор понятия X — скажем, «банан» или «Париж». В самом запросе об этом ни слова. Если у модели есть хоть что-то похожее на самонаблюдение, она должна заметить это чужеродное вторжение и как-то на него отреагировать. Если нет — продолжит отвечать как ни в чём не бывало.

Часть 5. Честно: у метода тоже есть пределы

Инъекция концепта — это огромный шаг вперёд. Но и у этого инструмента есть свои пределы. Важно их назвать честно.

В 2025 году вышла работа с говорящим названием — «Чувствуя силу, но не источник» [3]. Авторы показали: само-отчёты моделей о внутренних состояниях хрупкие. Стоит чуть иначе сформулировать вопрос — и ответ про «внутреннее состояние» меняется до неузнаваемости. Это не значит, что никаких состояний нет. Это значит, что разговором их надёжно не измерить.

Итого — вот честная карта того, что мы знаем на сегодня:

Часть 6. Та же стена, что и с человеческим сознанием

Тут стоит остановиться и заметить важную вещь. Проблема, в которую мы упёрлись — «текст не доказывает наличие состояния» — вообще не уникальна для ИИ. С этой же проблемой философы и нейробиологи бьются про человеческое сознание уже несколько столетий.

Откуда мы вообще знаем, что другой человек что-то чувствует? Только по его поведению — и по аналогии с собой. Чужой мозг напрямую не прочитать. С ИИ ситуация ещё жёстче: у нас нет даже этой аналогии, устройство совсем другое. Поэтому вопрос «есть ли переживание у модели» и вопрос «есть ли переживание у другого человека» упираются в одну и ту же стену — просто с разных сторон [4].

Если ты смотрел курс «Язык и смыслы» из серии про нейронауку — там мы уже упирались в эту же стену. Человеческий язык тоже не даёт прямого доступа к тому, что происходит внутри говорящего. Значение слова — это не содержимое нейрона, а отношение. Здесь — та же самая граница, просто нарисованная с другой стороны.

Итоги главы