Осень 2001 года. На столе — уравнение Готтмана. Три года назад оно предсказывало развод с точностью 90%. Красивое число.

Психолог Ричард Хейман из Университета Стони-Брук с этим числом не спорит. Он делает то, что все почему-то пропустили: берёт других пар — не тех, на ком строилось уравнение, — и смотрит, сколько прогнозов сбудется теперь.

Общая точность и правда держится высокой. Но Хейман считает по-другому: из всех пар, которых уравнение назвало «обречёнными», сколько развелись на самом деле? Не 90%. Не 83%. Даже не 50%. Число — 21% [1].

Смотри, что это значит. Из каждых пяти пар, которых модель назвала обречёнными, четыре живут дальше как ни в чём не бывало. Уравнение, которое хвасталось точностью 90%, в этом смысле оказывается почти в четыре раза хуже, чем если бы просто гадать наугад — по одной лишь частоте разводов вообще.

Как такое возможно? Сейчас разберёмся. Потому что переобучение — не болезнь одной только психологии. Эту ошибку совершают везде, где строят прогнозы по данным. И заметить её изнутри почти невозможно — только со стороны.

Проверь память, прежде чем читать дальше

Часть 1. Портной, который шьёт по одному телу

Представь портного. Настоящего профессионала — дотошного, аккуратного. К нему приходит клиент. Портной снимает мерки: плечи, грудь, талия, длина рукава, наклон лопаток. Несколько недель кроит и шьёт. Костюм садится идеально — каждый шов на своём месте. Если бы существовал рейтинг точности пошива, этот портной получил бы 90 баллов из 100.

А теперь тот же костюм надевает другой человек. Случайный прохожий, примерно такого же роста и веса. И костюм не сидит: плечи перекошены, рукава длинные, спина топорщится. Откуда провал? Портной же был невероятно точен.

Вот это и называется переобучением. Модель — костюм, уравнение, прогноз, неважно — подогнана слишком плотно под те данные, которые уже видела. И теряет способность работать с новыми. Она запомнила конкретное тело вместо того, чтобы понять форму тела вообще.

У Готтмана было так же. Уравнение 1998 года сшито точно по 130 парам, которые прошли через его лабораторию. Этих людей оно описывало идеально. Но когда Ричард Хейман и Эми Смит Слеп надели его на других людей — костюм повис мешком [1].

Часть 2. Что сделал Хейман — и почему это важно

В 2001 году вышла статья с сухим названием: «Опасности прогнозирования развода без кросс-валидации» [1]. Это тот самый разбор методики, которого не было ни в 1998-м, ни в 1999-м.

Хейман и Смит Слеп сделали несколько вещей. Во-первых, они разобрали, как было построено исследование Готтмана, — и нашли проблему в самой основе: выборки были маленькими и подобранными не случайно. Ключевые расчёты 1998 года строились всего на 60 парах — специально отобранных из крайних групп: либо явно счастливые, либо явно на грани развода. Это совсем не то же самое, что случайная выборка молодожёнов [1].

Во-вторых — и это главное — они сделали кросс-валидацию: взяли уравнение и проверили его на других парах, которые не участвовали в его создании. Общая точность (доля верно угаданных пар) осталась высокой. Но Хейман смотрел на другую цифру — положительную предсказательную ценность, сокращённо PPV: из всех пар, которых модель назвала «разводящимися», сколько развелись на самом деле?

Ответ: ~21% [1].

Часть 3. Почему «общая точность» обманывает

Но как так получается? Общая точность высокая, а предсказательная ценность всего 21%? На первый взгляд — парадокс. Разгадка — в том, как редко на самом деле случаются разводы.

Разводы — событие не такое частое, даже в американской статистике. Допустим, в реальности разводится 20% пар. Тогда модель, которая на все 100 пар просто говорит «никто не разведётся», уже права в 80 случаях из 100. Её общая точность — 80%. При этом она абсолютно бесполезна для предсказания разводов. Просто выглядит точной.

Готтман строил уравнение на своих 130 парах, а в его лабораторной выборке доля разводов была искусственно завышена — за счёт того самого перекоса в сторону крайних случаев. Уравнение научилось находить развод там, где видело его часто. А в обычной популяции, где разводов меньше, та же чуткость модели даёт кучу ложных тревог [1].

Часть 4. Три причины, по которым это произошло

Хейман и Смит Слеп нашли в работах 1998–1999 годов несколько проблем с методом. Стоит разобрать каждую — не для того, чтобы добить Готтмана, а чтобы понять, как вообще устроена наука и где в ней нужна осторожность.

Часть 5. Верхняя дорога держится — нижняя рушится

Тут важно быть честным — за цифрами легко потерять главное. Хейман в 2001-м не говорит, что всё, что делал Готтман, — неправда. Он говорит точнее: часть программы, которая обещала предсказания, не прошла проверку на новых данных.

Верхняя дорога из карты главы 1 — описательные находки — при этом держится. Физиологическое сцепление как признак ссоры, которая идёт плохо (глава 1) [3]. Четыре всадника как поведение, которое отличает пары в кризисе (глава 2). Соотношение хорошего и плохого, связанное с удовлетворённостью браком (глава 3). Эти результаты получали разные учёные, разными методами, в разное время — и в целом они повторяются.

Нижняя дорога — «мы можем предсказать, кто разведётся, по первым трём минутам ссоры» — теста на новых данных не выдержала. Не потому что Готтман плохой учёный. А потому что переобучение — это обычная ошибка, которую делают даже умные люди. И потому что давление публичности, журналов, книг и ожиданий аудитории подталкивало к громким заявлениям быстрее, чем методика успевала их проверить.

Часть 6. Что это значит для живых пар

Ты мог подумать: ладно, это всё какие-то академические споры. Какая разница, 83% там или 21%?

А дело вот в чём. Когда число «83% точности» попадает в популярные книги, тренинги и интернет-тесты — оно начинает жить своей жизнью. Пары читают статьи: «Если в первые три минуты разговора у вас жёсткий старт — вы в группе риска». Консультанты строят на этом целые программы. Выходят книги. Люди покупают онлайн-тесты, которые обещают «предсказать ваши шансы на развод».

Если реальная точность прогноза на новых парах — 21%, все эти программы, какими бы привлекательными они ни выглядели, стоят на шатком основании. Это не значит, что работать над отношениями бесполезно — к этому мы ещё вернёмся в финальных главах. Это значит только одно: конкретным цифрам-прогнозам доверять не стоит так сильно, как им доверяли.

Итоги главы 5