Юджин, штат Орегон. Середина 2000-х. Хюн Ким стоит у доски и смотрит на список из двадцати двух пунктов. Каждый пункт — один из аффективных процессов, которые Готтман и его коллеги назвали ключевыми предикторами распада пары: мужчина отказывается принимать влияние жены, жена не смягчает начало разговора, пара не умеет снижать напряжение. Двадцать два процесса. Ким записала их из опубликованных работ Готтмана и сейчас собирается проверить каждый из них — не на парах, которых наблюдал Готтман, а на своих. На восьмидесяти пяти парах из Орегона, молодых, с историей бытового риска, которых её команда отслеживает уже несколько лет.

Процедура простая: возьми утверждения Готтмана, проверь их на независимой выборке, посмотри, что держится. Это и называется репликацией. В нормальной науке это рутина — скучная, обязательная, как контрольный взвес на рыночных весах.

Результат, который Ким получит и опубликует в 2007 году, рутинным не окажется.

Что уже известно — быстро проверьте себя

Часть 1. Две очень разные экзаменовки

Представьте такую ситуацию. Вы готовитесь к экзамену по математике. Преподаватель сам придумал задачи, сам объяснял их на лекциях, сам составил контрольную — и теперь смотрит, насколько хорошо его собственные студенты решают его собственные задачи. Студенты знают стиль, привыкли к подходу, натренировались на похожих примерах. Результат будет хорошим. Это ещё ничего не говорит о том, насколько знание обобщается.

Теперь другой сценарий. Тот же самый учебник математики, те же самые задачи — но экзамен принимает другой преподаватель, в другом городе, у студентов, которые никогда не видели этого учебника. Они решают задачи с нуля, без знакомой подсказки в формулировке.

Именно это различие — ядро сегодняшней главы. Первый сценарий называется пост-хок анализом: строишь формулу на тех же данных, на которых проверяешь. Второй — проспективной независимой репликацией: проверяешь на новых людях, которых формула ещё не видела.

Разница между ними — как между портным, который снял мерки с одного человека и сшил идеальный костюм, и тем же портным, который утверждает, что этот костюм подойдёт любому. Пока не примерил на чужого — не знаешь. Об этом мы говорили ещё в главе 1, когда разбирали разрыв между описанием и предсказанием. Теперь видим этот разрыв в конкретных числах.

Часть 2. Орегонская проверка

Хюн Ким и её коллеги из Орегонского исследовательского института работали с выборкой, которая принципиально отличалась от пар Готтмана. Готтман изучал преимущественно добровольцев, откликнувшихся на объявления в Сиэтле. Ким работала с at-risk выборкой: молодые пары из сообщества с историей проблемного поведения, участники долгосрочного лонгитюдного исследования. Восемьдесят пять пар, проспективное наблюдение, исход через несколько лет.

Ким взяла двадцать два аффективных процесса, которые Готтман и коллеги называли предикторами распада отношений: отказ мужчины принимать влияние партнёрши, отсутствие де-эскалации в конфликте, жёсткое негативное начало конфликта со стороны женщины, reciprocal negativity — взаимная раскрутка негатива — и многие другие. И проверила каждый из них проспективно [3].

Затем она посмотрела на результаты. И увидела то, что увидела.

Часть 3. Что именно не вышло — и что это значит

Три процесса, которые Готтман ставил в центр своей предсказательной модели, в выборке Ким не проявились как значимые предикторы [3]. Отказ мужчины принимать влияние — не реплицировался. Отсутствие де-эскалации — не реплицировался. Жёсткий негативный старт со стороны женщины — не реплицировался. Из двадцати двух позиций два признака дотянулись до статистической значимости.

Это цифра, которая просит интерпретации. Не паники — интерпретации.

Здесь работает та же логика, что и в главе 5 про переобучение. Уравнение, которое выучило одну выборку — сиэтлских добровольцев середины 1980-х — не обязано работать на орегонских молодых парах из группы риска двадцать лет спустя. Это не проблема Готтмана как человека. Это ограничение любой эмпирической программы, которая выросла из конкретной выборки и не прошла достаточной внешней проверки.

И ещё один важный момент: сама Ким формулирует результат именно как вопрос обобщаемости, а не как опровержение. Это честная научная позиция. В науке провал репликации — не приговор, а сигнал: ищите, где именно проходит граница применимости.

Часть 4. Пост-хок против проспективного — в деталях

Вернёмся к принципиальному различию, потому что оно важнее, чем кажется, и встречается не только в науке о браке.

Когда Готтман и Каррер в 1999-м объявили, что первые три минуты конфликта предсказывают исход брака за шесть лет, — это был пост-хок анализ на своих парах [1]. Исследователи уже знали, кто из 124 пар развёлся, а кто нет. Они взяли эти сведения, нашли паттерн в первых трёх минутах, который лучше всего разделяет «разводных» и «неразводных» — и провозгласили это предсказанием. Но «предсказание» здесь не совсем точное слово: они описали прошлое, которое уже знали, а не угадали будущее, которого не знали.

Проспективная репликация устроена иначе. Ким с коллегами смотрели на поведение пар до того, как знали исход. Прописали гипотезы — «вот двадцать два процесса, которые должны предсказывать распад» — и дождались, пока жизнь покажет, что случилось с каждой парой. Это настоящее предсказание.

Важно понимать: сам Готтман прекрасно знал о разнице. Его работа 1992 года с Левенсоном была проспективной по дизайну — 73 пары, два замера с интервалом в несколько лет [4]. Но по мере того, как программа набирала известность и давление публикационных циклов нарастало, пост-хок анализы стали появляться всё чаще. Жить в этом давлении — нелёгкая задача, и история науки знает много примеров, когда строгость методологии медленно уступала соблазну красивого числа.

Часть 5. Как читать провал репликации

Есть два способа интерпретировать то, что сделала Ким. Один — журналистский: «исследователи доказали, что Готтман ошибался». Другой — научный: «репликация выявила границы обобщаемости программы, требуются дальнейшие исследования на разнородных выборках».

Второй способ правильный. Вот почему.

Часть 6. Итоги: что держится, что под вопросом

Итак, после Хейман и Смит-Слеп 2001 (глава 5) и Ким с коллегами 2007 (сегодня) у нас есть достаточно ясная картина.

Что держится. Базовые находки программы Готтмана о том, что отличает несчастливые пары — высокий физиологический аффект во время конфликта, взаимная раскрутка негатива, паттерны, которые позже получили название «Четырёх всадников», — в разной степени воспроизводятся в независимых работах. Это дескриптивная часть программы — она относительно прочная. Мы говорили об этом в главах 2 и 3.

Что не держится. Конкретные предсказательные уравнения — точные цифры точности (83%, 94%), конкретные процессы как универсальные предикторы — не прошли независимую проверку. Это предикативная часть программы: амбициозная, прекрасно продаваемая — и ненадёжная вне родных выборок.

В следующей главе произойдёт нечто необычное. Критику Готтману предъявят не посторонние — а человек из его собственного научного лагеря. Тот, кто сам посвятил жизнь науке о парах и чья программа конкурирует с программой Готтмана. Это разговор взрослых людей, которые не согласны, — и он многое скажет о том, как настоящая наука устроена изнутри.