Представьте: вы открываете атлас человеческого тела и видите клетку, которая одновременно отвечает за зрение, переваривание жиров и ориентацию в пространстве. Один клеточный тип — три несвязанные функции. Биолог бы решил, что атлас испорчен. Но именно так устроен мозг большой языковой модели: один нейрон загорается и на «лягушку», и на «Канаду», и на знак вопроса — понятия, между которыми нет ничего общего.

Это не ошибка в проектировании. Это следствие жёсткого ограничения: понятий в языке несравнимо больше, чем нейронов в сети. Чтобы поместить все смыслы в ограниченное число ячеек, природа (точнее, обучение) нашла хитрость: упаковать несколько понятий в один нейрон, используя их как разные направления в пространстве. В первой главе мы говорили о микроскопе [1]. Теперь посмотрим, что он показывает — и почему первая же клетка под стеклом оказалась совсем не такой простой, как ожидалось.

Часть 1. Что такое фича — и зачем она нужна

Возьмём конкретный образ из первой главы: фича — это клетка-детектор на одно понятие. Клетка зрительного нерва возбуждается на свет определённой длины волны. Клетка-детектор «Золотые Ворота» возбуждается, когда в тексте появляется этот мост, его фотография, его название. Она не реагирует на другие мосты, другие города, другие достопримечательности — только на свой объект. Одно понятие, один детектор.

Это идеал. Его называют моносемантичным нейроном: от греческого «моно» (один) и «семантика» (смысл). Такие клетки — мечта натуралиста: нашёл одну, понял, за что она отвечает, нанёс на анатомический атлас. Готово.

Проблема в том, что большинство нейронов модели — не такие. Исследователи из Anthropic, проверяя сырые нейроны, обнаружили, что один и тот же нейрон реагирует на совершенно несвязанные вещи: например, на «лягушек», «Канаду» и «знак вопроса» [2]. Не родственные понятия, не синонимы — просто три случайно соседствующих кластера. Такой нейрон называют полисемантичным: у него много значений, и они никак не связаны. Такую клетку в атлас не занесёшь.

Часть 2. Суперпозиция — природная хитрость упаковки

Ответ на вопрос в жёлтой карточке выше — математический. Представьте комнату с тысячей полок. Вам нужно разместить миллион книг. Единственный выход — класть несколько книг на одну полку. Именно это делает нейронная сеть.

У модели Claude, с которой работали в Anthropic, примерно 4 тысячи нейронов в каждом слое. А различимых понятий, которые модель освоила из текстов всего интернета, — десятки миллионов. Разрыв в тысячи раз. Поместить каждое понятие в свой отдельный нейрон физически невозможно.

Решение, которое нашло обучение, называется суперпозиция [4]. Это геометрический трюк: в многомерном пространстве можно разместить много «почти-перпендикулярных» направлений, которые будут почти не мешать друг другу. Редкие понятия — те, которые в тексте встречаются редко и крайне редко стоят рядом, — можно запаковать в одно направление. Если «лягушки» и «Канада» в учебном тексте никогда не встречались вместе, то небольшое пересечение их направлений в нейроне почти не вредит качеству ответов.

Эффект оказался не просто теоретической возможностью — он был предсказан и изучен в работе 2022 года [4]. Авторы показали: если понятий много, а нейронов мало, обучение само находит суперпозицию, потому что это лучший компромисс между ёмкостью и точностью. Полисемантичность нейрона — не глюк, а оптимальная упаковка.

Часть 3. «Распутывание» — как сделать чистые клетки из каши

Итак, у нас на стекле — клетки-каши. Один нейрон загорается на три несвязанных понятия. Как натуралисту разглядеть что-то осмысленное? Метод называется словарное обучение (dictionary learning).

Представьте, что вы приехали в библиотеку, где книги стоят вразнобой: детективы вперемешку с поваренными, учебники — с поэзией. Вам нужно разобраться, что где. Словарное обучение — это алгоритм, который берёт хаотичные активации нейронов и ищет в них скрытые направления, каждое из которых отвечает за одно понятие [2].

Результат называется разреженным автокодировщиком (sparse autoencoder). Он принимает шумный сигнал от тысяч нейронов и выдаёт набор фич — чистых клеток-детекторов. Каждая фича активируется редко и сильно: только когда её понятие действительно есть в тексте. Большинство времени она молчит. Это «разреженность» в её названии.

Часть 4. Разглядываем клетку вблизи

Что именно мы видим, когда нашли фичу? Посмотрим на структуру одной клетки-детектора — той, что оказалась самой знаменитой в истории интерпретируемости.

Часть 5. Честно о пределах препарата

Фичи — это наша реконструкция, а не «настоящие клетки» модели. Вспомним из первой главы: препарат — это чучело, удобная копия [1]. Сама модель никогда не «думала» фичами как чем-то самостоятельным. Словарное обучение — это наш способ смотреть на неё, а не её способ думать. Важно не путать карту с территорией.

Итог: что мы нашли в клетках

Нейрон — не клетка. Клетка — фича. Нейроны полисемантичны по математической необходимости: понятий в языке неизмеримо больше, чем нейронов. Обучение упаковывает их в суперпозицию — почти-перпендикулярные направления в многомерном пространстве. Словарное обучение распутывает эту упаковку и выдаёт чистые клетки-детекторы — фичи, каждая со своей специализацией.

Эти фичи — первый уровень анатомии: отдельные клетки, каждая на своём предметном стекле. Но один детектор «Золотые Ворота» — ещё не мышление. Мышление начинается, когда клетки соединяются и работают цепью.