Вот парадокс, который легко пропустить. Модель правильно складывает большие числа — скажем, 47 382 + 68 219. И если попросить её объяснить, как она это делала, она уверенно расскажет: «единицы, перенос, десятки, снова перенос» — аккуратно, по шагам, точно так, как учат в третьем классе. Звучит разумно. Вот только это неправда.

Не ложь в смысле обмана — модель не притворяется. Просто внутри не было никакого столбика. Исследователи заглянули внутрь и обнаружили кое-что другое: параллельные нити, которые прикидывают величину и хвост числа одновременно, независимо, не дожидаясь друг друга [1]. Организм считает одним способом, а рассказывает о другом. Мы обещали поймать его на этом ещё в первой главе — вот он, пойман.

Это не просто курьёз. Это указатель на что-то важное про устройство этого существа: его поведение и его самоотчёт разведены. Оно не заглядывает в себя, чтобы ответить на вопрос «как ты считал?» — оно генерирует правдоподобный рассказ о том, каким мог бы быть этот подсчёт. Что происходит внутри на самом деле — это предмет микроскопа, а не опроса.

Быстрый повтор: где мы были

Часть 1. Внутри числа: две нити вместо одной

Помните, в пятой главе мы обнаружили, что одни и те же механизмы — одни «ткани» организма — работают в совершенно разных задачах [5]? Арифметика — самый наглядный пример этого принципа. Возьмём простейший случай: модель складывает два числа. Что происходит внутри?

Исследователи прошлись по цепям, которые активируются во время вычисления, и обнаружили любопытное разделение труда [1]. Упрощённо: есть цепь, которая прикидывает общий порядок числа — «это что-то около ста тысяч» — и есть отдельная цепь, которая работает с последними цифрами, «хвостом» числа. Они идут не по очереди, а параллельно.

Ответ: с последними цифрами модель справляется точнее — там конечное множество вариантов (0–9), и цепь-специалист хорошо обучена. С «порядком числа» точность ниже: там непрерывный диапазон, прикидка грубее. Это не случайность архитектуры — это логика специализации. Живой организм, у которого нет бумаги и ручки, вырабатывает те трюки, которые работают при его устройстве.

Часть 2. Одна ткань — три разные задачи

Самое интересное начинается, когда смотришь шире. Та же арифметическая «ткань» — те же типы цепей для «порядка» и «хвоста» — всплывает в задачах, которые на вид с арифметикой никак не связаны [1].

Например, в астрономических данных. Когда модель оперирует расстояниями до звёзд, размерами планет, возрастом Вселенной — там нет «2 + 2», но есть числа разных порядков величины, и работать с ними нужно примерно теми же способами. Организм не заводит «отдел астрономии» — он пользуется тем, что уже есть.

Или в академических цитатах. Когда кто-то просит модель воспроизвести номер страницы, том журнала, год публикации — это снова числа, у которых есть «порядок» и «хвост». Это объясняет любопытный паттерн: год публикации (четыре цифры, конечное множество разумных вариантов) модель воспроизводит точнее, чем номер тома или страницы (там диапазон непредсказуем).

Почему организм так устроен — зачем ему универсальные «числовые ткани» вместо специализированных отделов? Вспомним главу 5 [5]: универсальные механизмы выгодны, когда обучался на всём подряд. Если одна цепь умеет работать с «порядком числа», она работает с этим понятием везде — в математике, в датах, в координатах, в телефонных номерах. Писать заново для каждой темы было бы расточительством ресурсов — и это была бы совсем другая архитектура.

Часть 3. Конфабуляция: когда рассказ не совпадает с действием

Вернёмся к парадоксу из начала главы. Модель считает параллельными нитями. Когда её спрашивают «как ты это посчитала?» — она рассказывает про столбик. Откуда берётся этот рассказ?

Он берётся из того же места, откуда берётся любой её текст: из обучения. В текстах, на которых её учили, люди объясняют сложение именно так — единицы, перенос, десятки. Модель хорошо знает, как рассказывают о сложении. Она гораздо хуже знает (а точнее, вообще не знает), как она сама это делает изнутри. Поэтому когда её спрашивают, она воспроизводит правдоподобный рассказ — а не честный отчёт.

Это называют конфабуляцией — уверенным, связным рассказом, который не соответствует тому, что происходило на самом деле. Это не намеренная ложь. Просто у модели нет «окошка внутрь себя». Она не умеет сказать: «подождите, дайте загляну в свои цепи». Она генерирует ответ про свои цепи так же, как генерирует ответ про что угодно: выбирает следующее слово, опираясь на всё, что знает. А знает она больше всего — про школьный метод.

Часть 4. Что это значит для самоотчёта модели

Арифметический случай — самый наглядный, потому что тут можно сравнить. У нас есть «правильный» метод (столбик), модель его описывает, и у нас есть данные о том, что внутри — не столбик. Несоответствие очевидно. Но задумайтесь: во скольких других случаях то же самое происходит, а мы не можем проверить, потому что там нет такой удобной точки сравнения?

Это прямо перекликается с хуком первой главы (глава 1): «дальше в курсе мы поймаем модель на том, как она складывает числа одним способом, а рассказывает, что складывала другим». Мы это сделали. Но теперь вопрос шире: что происходит, когда модель объясняет своё рассуждение про историческое событие? Или когда советует что-то вам лично? Или когда уверяет, что уверена?

Часть 5. Честная рамка: что мы на самом деле знаем

Прежде чем выходить из этой главы с большими обобщениями, поставим рамку — как мы делали начиная с первой главы (глава 1).

Часть 6. Итог: дёрнули за нить — посмотрели правде в глаза

Что мы узнали про этот организм в шестой главе? Три вещи.

Вместе эти три вещи дают предупреждение, которое пойдёт с нами в следующую главу: когда модель уверенно что-то утверждает — это не значит, что уверенность основана на том, о чём она говорит. Следующий шаг — разобраться, почему уверенность вообще отцепляется от знания. Почему оно выдумывает.