Задайте модели вопрос: «В каком штате находится Даллас?» Она ответит: «Техас». Обычный ответ, ничего особенного. Но теперь спросите другое: что происходило внутри между вашим вопросом и её ответом? Не угадала ли она, не нашла ли в памяти — а именно: какие клетки зажглись, в каком порядке, и как одна передала эстафету другой?

Оказывается, это можно посмотреть. И то, что видно, — удивительно. Модель не просто выдаёт ответ: она, как настоящий детектив, делает промежуточный шаг. Внутри — последовательная цепь: сначала вспыхивает фича «Техас», и только потом — фича «Остин». Это настоящее двухэтапное рассуждение, и оно оставляет следы [1].

Часть 1. От клеток — к цепи

В предыдущей главе мы нашли чистые клетки-фичи — каждая со своим понятием, каждая на своём предметном стекле [2]. Но клетки сами по себе — ещё не мышление. Сердечная клетка ничего не делает в одиночку; она работает, только когда соединена с соседями в ткань.

То же верно для модели. Между вопросом и ответом — не отдельные вспышки случайных клеток, а цепь (circuit): несколько фич, соединённых нервными путями, передающих сигнал от одного звена к другому. Первая фича загорается от вопроса. Её сигнал усиливает вторую. Вторая — третью. В конце цепи — ответ.

Карта этих связей называется граф атрибуции. Это анатомический атлас одной конкретной мысли: кто кого активировал, с какой силой, и кто в итоге принял решение о следующем слове. Представьте карту метро для одной поездки — не все линии, а только те, по которым реально прошёл сигнал.

Часть 2. Вопрос о Далласе — анатомия вживую

Главный пример этой главы — конкретный, простой и при этом показательный. Исследователи задали модели вопрос: «В каком штате находится Даллас?» А потом пошли смотреть граф атрибуции — анатомический атлас этого вопроса [1].

Вот что они увидели. Сначала зажигается кластер фич вокруг «Даллас/Техас». Потом активируется фича «Техас» — промежуточный узел. Только после этого, опираясь на «Техас», активируется фича «штат» и выходит ответ «Техас». Два шага. Не один.

Это само по себе интересно. Но граф — всё ещё только наблюдение, узор. А мы из первой главы знаем: наблюдения мало. Нужно вмешательство.

Исследователи взяли зонд и вклинились в цепь на промежуточном шаге: принудительно подменили активацию фичи «Техас» на «Калифорния». Это как перерезать нервный путь посередине и вставить другой сигнал.

Модель ответила: «Сакраменто» — столица Калифорнии.

Не запуталась, не выдала случайность, не выдала что-то про Даллас. Точно и аккуратно обработала подменный сигнал дальше по цепи. Это означает: промежуточный шаг «Техас» — не декорация. Это реальный нервный путь, по которому идёт вычисление [1].

Часть 3. Othello-GPT — контрольная группа из шахмат

Один пример — это красиво. Но наука любит контрольные группы. Как убедиться, что метод работает не только для вопросов про штаты?

Есть элегантная проверка — модель Othello-GPT [5]. Othello — настольная игра, в которой нужно расставлять фишки на доске 8×8 по определённым правилам. Исследователи обучили маленькую языковую модель только на записях ходов — последовательности позиций, без каких-либо явных инструкций о доске или её состоянии.

А потом проверили: развила ли модель внутреннее представление доски — то есть содержат ли её фичи информацию о том, что стоит в каждой клетке прямо сейчас?

Ответ: да. Исследователи нашли фичи, которые загорались в зависимости от состояния конкретных клеток доски. И сделали то же вмешательство: подменили активацию одной «клеточной» фичи — и следующий ход модели изменился именно так, как будто на доске теперь другая фигура.

Часть 4. Граф атрибуции — что это за инструмент

Пора дать формальное описание нашему анатомическому атласу. Граф атрибуции — это математический способ ответить на вопрос: «какие части модели повлияли на этот конкретный ответ и насколько сильно?»

Именно этот инструмент использовали в «биологической» работе Anthropic [1], чтобы разобрать несколько десятков примеров: вопросы о столицах, стихи, арифметику. Каждый раз рисовали атлас и проверяли его вмешательством.

Часть 5. Шорткаты — сосед настоящего рассуждения

Теперь честно о неудобном. Рядом с настоящей цепью в модели часто работает — параллельно — совсем другой механизм. Назовём его шорткат: прямое сопоставление «вопрос → ответ» без промежуточного шага.

На самом деле, шорткат и цепь дают одинаковый результат в обычных условиях — и именно поэтому они могут сосуществовать. Но когда мы вмешиваемся в промежуточный узел цепи, шорткат продолжает говорить «Техас», а цепь уже говорит «Калифорния». Итоговый ответ — это сумма обоих сигналов. Если шорткат сильнее, вмешательство не изменит ответ вовсе, и мы решим, что промежуточного шага нет.

Это значит, что наш атлас — это атлас тех примеров, где цепь достаточно сильна, чтобы вмешательство было заметным. Не всех примеров. И это нечестно скрывать [1].

Итог: что читается на анатомическом атласе