Скажи слово «собака» по-русски. Потом «dog» по-английски. «Hund» по-немецки. «كلب» по-арабски. Звуки разные. Буквы разные. А за ними — одно и то же: четыре лапы, лает, виляет хвостом. Смысл один. Языков много.

Теперь вопрос про наш «организм» — модель, которую мы разглядываем весь курс. Её учили сразу на десятках языков. Значит ли это, что внутри — десять разных умов, у каждого своя анатомия? Или там один разум с общим ядром смысла, а языки — просто обёртка снаружи?

Ответ исследователей неожиданный: верно и то, и другое сразу. Внутри есть клетки под конкретный язык. И есть абстрактное ядро, где смысл живёт отдельно от языка. А сюрприз в другом — чем больше модель, тем больше в ней этого общего ядра [1].

Часть 1. Два этажа одного организма

В Главе 2 мы уже разглядывали клетки-фичи — крошечные детекторы, каждый загорается на своё понятие. Тогда мы брали примеры из одного языка. Сейчас посмотрим шире.

Исследователи взяли понятие — например, «яблоко» — и проверили, какие клетки на него реагируют в трёх языках: русском, французском, японском. Вот что нашли [1].

Первый этаж: у каждого языка — свои клетки. Одна клетка реагирует на кириллицу. Другая понимает, что перед ней японский текст. Это логично: у грамматики, порядка слов, алфавита — своя «одежда» в каждом языке.

Второй этаж — сверху. Это абстрактные клетки-понятия, они загораются вообще не глядя на язык. «Яблоко» по-русски, pomme по-французски, りんご по-японски — и все три раза зажигается одна и та же клетка-смысл. Вот оно, общее ядро.

Часть 2. Что значит «понятие живёт отдельно от языка»

Остановимся на этой фразе — звучит она красиво, но что за ней на самом деле стоит?

Вспомни Главу 4: модель держит «намеченную рифму» внутри себя ещё до того, как напишет слово. Это внутреннее представление — не слово. Скорее «сгусток смысла», который потом разворачивается в конкретный токен нужного языка.

То же самое с многоязычием. Когда модель читает слово «собака» по-русски, внутри загорается абстрактная клетка — условно «четвероногое домашнее животное». Когда читает dog по-английски — загорается та же самая клетка. Русское и английское слово — это просто два разных входа к одному внутреннему смыслу.

Именно так и происходит. Хорошая модель не переводит слово в слово, впритык подгоняя русское под китайское. Она идёт через общий слой смысла: русское слово → абстрактное понятие → китайский токен. Это устройство переводчика, который сперва понимает, а потом уже говорит. Поэтому у больших моделей перевод получается лучше — у них просто больше этого общего абстрактного слоя [1].

Часть 3. Почему ядро растёт с размером модели

Один из самых неожиданных результатов исследования: доля понятий, которые живут в языко-независимом ядре — учёные называют это universality, — растёт вместе с размером модели [1]. Маленькая модель больше «думает» на конкретном языке. Большая — больше на абстрактных понятиях, которые уже потом одеваются в нужный язык.

Почему так получается? Никто не закладывал в код правило «думай абстрактно, если ты большая модель». Это возникает само, просто из обучения. Вот как это работает на пальцах.

Представь, что тебе нужно научиться переводить между десятью языками. Самый неудобный способ — вызубрить все 90 пар «язык А → язык Б» по отдельности. Самый удобный — вынести смысл в одно общее место и научиться переводить «любой язык → смысл» и «смысл → любой язык». Чем больше модель и чем больше в неё влито данных, тем выгоднее второй способ — и модель как будто сама его находит.

Часть 4. Честная калибровка: ядро не идеально

Красивая картинка «много ручьёв стекаются в одно ядро» нуждается в оговорке. Ядро действительно есть, но оно не идеально чистое [1].

Часть 5. Мост: смысл как геометрия

Если ты проходил курс «Язык и смыслы» из серии «нейро-сознание» — ты уже встречал эту идею: смысл можно представить как точку в многомерном пространстве. Языки — просто разные дороги к одной и той же точке.

В Главе 4 мы видели: пространство и время внутри модели тоже устроены геометрически. Следующий шаг простой: языки — тоже геометрия. Абстрактное ядро — это не список и не таблица. Это область в пространстве активаций, куда стягиваются все языки, когда говорят об одном и том же. Русское «яблоко», французское pomme, японское りんご — три разных вектора, и все три сходятся в одну точку.

Вот почему хороший перевод — это не замена слов одного языка словами другого, а движение по общему пространству смысла. Модель не хранит таблицу «русское слово → китайское слово». Она знает, где в этом пространстве стоит нужное понятие, и умеет назвать его на любом языке.

Итоги главы