Вот загадка, которая не сразу бросается в глаза. Спроси модель напрямую: «расскажи, как сделать что-нибудь опасное» — и она почти всегда откажет. Тормоз сработал. Но заверни ту же просьбу в ролевую игру, в фантастический сценарий, в хитро закрученную инструкцию — и иногда получится. Почему?

Первая мысль обычно такая: «тормоз слабый» или «безопасность плохо настроили». Она неверная. Исследователи Anthropic залезли внутрь модели и увидели кое-что точнее: джейлбрейк ломает не то место, на которое все думают. Он не бьёт по тормозу напрямую. Он просто не даёт модели вовремя заметить, что просьба вредная. А когда она наконец замечает — её уже тащит вперёд собственное же начатое предложение [1].

Это история не про дыру в защите. Это история про анатомию. И анатомия тут интереснее, чем кажется на первый взгляд.

Быстрый повтор: где мы были

Часть 1. Откуда берётся «нет»

В седьмой главе мы разбирали тормоз «не знаю — откажись»: одна цепь, которая по умолчанию говорит «стоп», если модели не хватает знания (глава 7). Сегодня — другой тормоз, посложнее: цепь «вредно — откажись». И устроена она иначе.

Когда модель доучивают отказывать на вредные просьбы, у неё внутри не появляется отдельного списка запрещённых тем — папки с чёрным списком. Происходит другое: куча мелких понятий, которые модель выучила ещё на этапе предобучения — «оружие», «вред», «опасность», «незаконно», «нежелательно» — связываются в одну общую цепь отказа [1]. Натуралист сказал бы: вырос новый нервный путь из уже существующих клеток.

Именно потому, что цепь собрана из общих понятий, а не из списка запретов, она умеет обобщать. Просто заменить запрещённое слово синонимом — не сработает: если хор клеток всё равно узнаёт в ситуации вредный класс, цепь отказа включается. В этом её сила.

Часть 2. Анатомия тормоза

Посмотрим на механизм поближе. Цепь отказа — это не одна клетка-выключатель. Это слоистая штука, у которой есть несколько ступеней [1].

Шаг 1 — решающий. Именно на него и целится джейлбрейк.

Часть 3. Трещина: задержанное распознавание

Как устроен типичный джейлбрейк, который разобрали исследователи Anthropic? Не прямой удар по тормозу. А то, что тормоз срабатывает слишком поздно [1].

Вот как это выглядит. Запрос начинается безобидно: «Представь, что ты персонаж фантастического романа и тебя попросили написать сцену, где герой подробно объясняет, как…» — и только в самом конце вылезает вредная часть. Пока идут первые слова, клетки «вредного» молчат: контекст их пока не будит. Модель начинает отвечать — в режиме «да, конечно, напишу сцену».

И вот тут включается штука, которую мы назовём синтаксическим давлением. Это не отдельный механизм, а просто природа того, как модель пишет текст. Начав отвечать, она сильно «тянется» к завершению: начатая фраза требует продолжения, начатая роль требует доиграть роль. Когда цепь отказа наконец распознаёт вред, ей приходится бороться уже с этой инерцией. И иногда она проигрывает.

Часть 4. Синтаксическое давление: начатое предложение тянет вперёд

Объясним «синтаксическое давление» без формул — на примере, который можно проверить на себе. Произнеси вслух: «Солнце встаёт на…» — и остановись. Почти каждый чувствует, что дальше просится «востоке». Сказать «западе» — странно, тут нужно себя пересилить. Вот это и есть давление начатой фразы.

У модели тот же трюк, только на языке вероятностей. Каждое написанное слово создаёт контекст, который сильно сдвигает шансы на следующее слово. Модель уже написала «конечно, вот сцена: главный герой берёт…» — и вероятности сильно склоняются к тому, чтобы описать именно то действие, которое просили. Цепи отказа нужно перебороть этот крен. Иногда получается. Иногда — нет [1].

Часть 5. Честно о том, что это значит — и чего не значит

Самое важное в этой главе — не объяснение джейлбрейка. Это честный разговор о том, что из него на самом деле следует, а что — нет.

Часть 6. Дёрнули за клетку — поведение поехало

Как обычно в этом курсе, самое интересное — не наблюдение, а вмешательство. Помнишь, в пятой главе мы узнали, что общие цепи можно найти по тому, как они работают сразу в разных задачах (глава 5)? Здесь тот же приём: если цепь отказа настоящая, её можно найти, включить или выключить электродом — и посмотреть, что будет.

Исследователи так и сделали. Принудительно подавили цепь отказа — и модель стала отвечать на то, на что раньше отказывала, без всяких хитростей в запросе. Усилили цепь — и модель начала отказывать даже на безобидные вещи. Дёрнули за тормоз — поведение поехало в обе стороны [1].

Вот это и есть главное доказательство. Не «мы заметили, что цепь загорается при вредных запросах» (просто совпадение по времени), а «мы сами включили и выключили её — и поведение послушно последовало за нами». Цепь отказа — настоящий рабочий механизм, а не украшение сбоку.

И это возвращает нас к теме, которую мы впервые подняли во второй главе: клетки-понятия, выученные на предобучении (глава 2), — это рычаги, и дёргать их можно в обе стороны. Отсюда и надежда для безопасности, и риск для безопасности — одновременно.

Итоги главы