Спроси модель: «Кем работала Анна Кравченко до того, как в 2019 году стала профессором Уральского государственного университета?» Скорее всего, она ответит. Уверенно. Связно. С правдоподобными деталями. Расскажет про стаж преподавания в Екатеринбурге. Или про диссертацию по педагогике. Звучит разумно. И всё это — ложь: такой Анны Кравченко из Уральского государственного, скорее всего, просто не существует.

Почему? Не потому, что модель врёт нарочно или хочет тебя запутать. Причина механическая — сейчас разберём её по шагам. Внутри этого организма есть простой тормоз: цепь, которая должна говорить «стоп, этого я не знаю — лучше откажусь». Для знаменитостей и общеизвестных фактов тормоз работает исправно. Но есть провальный случай: незнакомое имя, которое звучит привычно. Тут тормоз отпускается не там, где надо, — и понеслось.

Галлюцинация — это не сломанное воображение. Это сбой тормозной системы. Разберём её изнутри.

Быстрый повтор: где мы были

Часть 1. Тормоз внутри организма

В шестой главе мы выяснили: рассказ модели о собственных вычислениях ненадёжен (глава 6). Сейчас случай острее. Что происходит, когда модель не просто неточно описывает себя, а уверенно сообщает вещи, которых вообще не существует?

Исследователи Anthropic нашли внутри модели такую структуру [1]. По умолчанию у неё есть цепь «не знаю — откажись»: не знаешь ответ — признай это. Но эту цепь может подавить другая фича — «знакомая сущность, ответ я знаю». Вот как это работает:

Ответ. «Пыт Краягистр» звучит настолько странно, что фича «знакомая сущность» вообще не реагирует. Тормоз держит, модель честно признаётся: не знаю. А вот «Анна Кравченко» — обычное имя, оно тысячи раз встречалось в русскоязычных текстах. «Уральский государственный университет» — реальное место. Фича видит знакомые куски и зажигается — хотя именно этой Анны Кравченко в этой роли, возможно, никогда не было, и данных о ней просто нет.

Часть 2. Почему это похоже на то, что было в главе 6

В шестой главе мы нашли конфабуляцию — рассказ, который не совпадает с тем, что реально происходило внутри (глава 6). Сейчас — галлюцинацию: уверенный ответ там, где знаний вообще нет. Это разные вещи. Но у них общий корень.

В обоих случаях модель выдаёт правдоподобный текст, хотя у неё нет того, что нужно для честного ответа. При конфабуляции ей не хватает «окна внутрь себя». При галлюцинации — самого знания. И в обоих случаях она этого не замечает. Никакая внутренняя лампочка не мигает: «осторожно, не уверена». Мысль просто течёт дальше.

Часть 3. Медицинская диагностика: тормоз в действии

Исследователи Anthropic разобрали ещё один случай [1] — как модель ставит диагноз. Он показывает: тормоз работает не просто «да/нет». Он тоньше.

Когда модели описывают симптомы, она внутри строит список версий — несколько возможных диагнозов с разным «весом». Заодно готовит уточняющие вопросы, которые помогут сузить список. Это не наигранная скромность: внутри правда разворачивается цепь, которая держит несколько версий сразу.

А вот и парадокс. Спроси её: «насколько ты уверена?» Или задай контекст, где уверенный ответ ожидается сам собой — например, «доктор, ваш диагноз?». Тормоз слабеет. Уверенности в формулировках становится больше, а список версий схлопывается раньше времени. Контекст разговора управляет тормозом.

Часть 4. Честная рамка — что мы на самом деле знаем о галлюцинациях

Механизм «тормоз ложно отпущен», который мы разобрали, — объяснение одного конкретного вида галлюцинаций, задокументированного в исследовании [1]. Это не вся теория того, почему модели вообще выдумывают.

Часть 5. Что с этим делать

Понимание механизма не делает галлюцинации безопасными. Но даёт инструмент. Теперь понятно, в каких ситуациях тормоз подводит чаще всего.

На практике это значит: проверяй не тон, а источники. Чем конкретнее и специфичнее информация — тем важнее перепроверить её отдельно. Это не значит, что моделью нельзя пользоваться. Это значит — знать, в каких местах её тормоз слабее твоего здравого смысла.

Часть 6. Итог: тормоз, клетка, поведение