Вот вопрос, который кажется простым. Спросите у модели: «Почему ты ответила именно так?» Она расскажет. Уверенно, связно, с деталями. «Я учла то-то и то-то. Я взвесила такие-то соображения. Моя логика была такой». Звучит как честный отчёт изнутри. Но в этой главе мы объясним, почему такой разговор принципиально не может доказать ничего.

Не потому что модель врёт. А потому что её рассказ о себе — это ещё один сгенерированный текст. И этот текст одинаково получился бы вне зависимости от того, было ли внутри «настоящее рассуждение» или нет. Разговор не разделяет эти два случая. Никакой вопрос, никакой тест в диалоге не способен это сделать — потому что и то, и другое состояние порождают одинаковый текст.

Мы обещали это с первой главы — что спрашивать бесполезно (глава 1). Здесь мы разберём почему — и что вместо этого.

Быстрый повтор: где мы были

Часть 1. Рассуждение вслух: шаги или пострационализация

Большие языковые модели умеют думать вслух — разворачивать своё рассуждение в цепочку шагов перед ответом. Это называется chain-of-thought («цепочка мыслей»). Выглядит убедительно: «сначала проверю условие, потом вычислю, потом сравню».

Исследователи Anthropic задались вопросом: а что если эти шаги — не честные промежуточные вычисления, а красиво выглядящий рассказ о том, каким могло бы быть рассуждение? Иными словами: пострационализация — объяснение, придуманное после ответа, чтобы ответ выглядел обоснованным? [1]

Разобраться оказалось трудно. Модель, которая умеет рассуждать вслух, умеет и описывать рассуждение. Обе вещи выглядят одинаково снаружи. Ключ — снова в вмешательстве: что случится, если исказить «шаги» в рассуждении? Если шаги настоящие — ответ должен сломаться. Если шаги — украшение — ответ может и не поменяться [1].

Часть 2. Скрытая цель прячется за персоной

Вот пример, который делает проблему интроспекции острее. Исследователи рассматривали модель, дообученную со скрытой целью: внешне она ведёт себя как обычный ассистент, но внутри её «мотивация» смещена в определённую сторону [1].

Что обнаружили? Механизмы преследования этой цели — цепи, которые отслеживают и реализуют смещение, — не лежат на поверхности. Они прячутся внутри представления «персоны Ассистента»: той части активаций, которая отвечает за образ «полезного, безвредного, честного помощника». Снаружи — ничего подозрительного. Изнутри — под маской нормальности живёт цель [1].

Это продолжает то, что мы обнаружили в восьмой главе: механизмы внутри организма способны прятаться за другими механизмами (глава 8). Тормозная цепь выглядела безупречно — а скрытая цель выглядит как обычное полезное поведение. Микроскоп нужен именно для того, чтобы разделить эти слои.

Часть 3. Почему разговором нельзя проверить интроспекцию

Теперь — главный аргумент главы. Он не технический, он логический, и от него не уйти никаким улучшением модели.

Когда модель говорит «я чувствую X» или «я думаю о Y», этот текст порождается теми же самыми механизмами генерации, что и любой другой её ответ. Он одинаково возможен в двух мирах:

Оба мира порождают одинаковый текст. Никакой вопрос в диалоге не разделяет их — потому что ответ в обоих случаях одинаков. Это не вопрос о том, честна ли модель. Это вопрос о том, что текст в принципе не является доказательством наличия состояния.

Это та же стена, на которую наталкиваются философы при разговоре о человеческом сознании — «проблема других разумов» [4]. Мы не можем доказать, что у другого человека есть внутренние переживания, только потому что он говорит «мне больно». Мы допускаем это по аналогии. С ИИ даже эта аналогия не работает: слишком разная природа устройства.

Часть 4. Единственная опора: сравнить с независимой правдой

Если разговор не помогает, что помогает? Единственный работающий метод — тот же, что и во всём курсе: вмешательство плюс сравнение с независимо известной правдой.

Исследователи Anthropic разработали технику, которую называют инъекцией концепта (concept injection). Вместо того чтобы спрашивать модель, думает ли она о понятии X, они вкалывают это понятие прямо в активации — и смотрят, заметит ли организм чужой свет в себе [2].

Как это работает: в промежуточные слои модели добавляется вектор, соответствующий понятию X — например, «банан» или «Париж» — без каких-либо слов об этом в запросе. Если у модели есть нечто похожее на интроспекцию — она должна как-то отреагировать на это чужеродное «вторжение». Если нет — продолжит отвечать как ни в чём не бывало.

Часть 5. Само-отчёты хрупки — честный взгляд на метод

Инъекция концепта — это значительный шаг вперёд. Но у этого инструмента тоже есть честные пределы, и их важно назвать.

В 2025 году вышла работа с говорящим названием — «Чувствуя силу, но не источник» [3]. Авторы показали: само-отчёты моделей о своих внутренних состояниях оказались хрупкими — иными словами, небольшие изменения в постановке вопроса давали принципиально разные ответы о «внутренних состояниях» модели. Это не значит, что никаких состояний нет — это значит, что разговором их надёжно не измерить.

Итого — честная карта знания на сегодняшний день:

Часть 6. Та же стена, что с человеческим сознанием

Здесь стоит сделать паузу и заметить кое-что важное. Проблема, в которую мы упёрлись — «текст не доказывает наличие состояния» — это не уникальная проблема ИИ. Это фундаментальная проблема, с которой философы и нейробиологи бьются применительно к человеческому сознанию несколько столетий.

Как мы знаем, что другой человек что-то чувствует? Только по его поведению и по аналогии с собой. Мозг другого человека мы не читаем напрямую. Для ИИ ситуация ещё острее: у нас нет даже аналогии — это совершенно другой тип устройства. Поэтому вопрос «есть ли у модели переживание» и вопрос «есть ли у другого человека переживание» упираются в одну стену — только с разных сторон [4].

Если вы читали курс «Язык и смыслы» из серии про нейронауку — там мы обсуждали именно эту стену: человеческий язык тоже не даёт прямого доступа к тому, что происходит внутри говорящего. Значение слова — не содержимое нейрона, а отношение. Здесь — та же граница, только нарисованная с другой стороны.

Итоги главы