Смысл как геометрия
Глава 9. «В языке нет ничего, кроме различий» — теперь это измеримо. И там, где различия кончаются, начинается вопрос без ответа
Цели урока
К концу этого урока вы:
- Как именно слово становится точкой в многомерном пространстве — и что это означает для смысла
- Почему «король − мужчина + женщина ≈ королева» — это не трюк, а философский результат
- Что такое representational similarity analysis и почему мозг похож на нейросетевую модель
- Как тезис «больше различий — шире спектр» проверяется в экспериментах с экспертами
- В чём состоит «проблема заземления» Харнада — и почему именно здесь курс обрывается
Привет! Бросай всё, сейчас разберём самое вкусное.
Смысл как геометрия
Женева, 1911 год. Соссюр стирает мел с доски, начинает заново. Маленькая аудитория, шесть-семь студентов. Он говорит: «В языке нет ничего, кроме различий». Студенты записывают в тетради. Никто не знает, что делать с этой фразой.
Google Brain, 2013 год. Инженер Томаш Миколов с коллегами публикует работу о word2vec — системе, которая учится размещать слова как точки в пространстве из нескольких сотен измерений. Машине не объясняют значений. Её просят предсказывать соседей. Когда обучение заканчивается, кто-то замечает: король − мужчина + женщина ≈ королева [1].
Соссюр был бы потрясён — и, пожалуй, не удивлён. Машина переоткрыла то, что он нащупывал у доски: смысл — это позиция в сети различий. Только теперь это не метафора, а координаты в пространстве.
Маршрут курса
Что вы поймёте после этой главы
- Как именно слово становится точкой в многомерном пространстве — и что это означает для смысла
- Почему «король − мужчина + женщина ≈ королева» — это не трюк, а философский результат
- Что такое representational similarity analysis и почему мозг похож на нейросетевую модель
- Как тезис «больше различий — шире спектр» проверяется в экспериментах с экспертами
- В чём состоит «проблема заземления» Харнада — и почему именно здесь курс обрывается
Часть 1. Когда различия стали координатами
Word2vec — простая идея с неочевидными последствиями [1]. Берётся огромный текстовый корпус. Каждому слову назначается вектор — список из нескольких сотен чисел. Машина обучается так, чтобы у слов с похожим окружением в тексте были похожие векторы. «Король» и «царь» встречаются в похожих контекстах — значит, их векторы будут близко. «Огурец» — в совсем других контекстах — значит, далеко от обоих.
Никакого определения «смысла» машине не давали. Никто не говорил: «это абстрактное понятие», «это конкретный предмет». Только статистика соседей. Но из одной этой статистики возникла геометрия [1].
Что значит «геометрия». Не просто «близко–далеко». Геометрия значит, что у пространства есть направления. «Женственность» — это вектор: сдвиньтесь в пространстве в эту сторону — и «врач» превратится в «медсестру», «пилот» — в «стюардессу». «Множественность» — другой вектор: «кот» → «коты», «город» → «города». Смысловые отношения стали направлениями. Это и есть та самая идея Соссюра, только сделавшаяся числами [1].
Вернёмся к нашей аналогии из главы 1 — шахматному коню. Соссюр писал: конь ценен не деревом, из которого выточен, а своим ходом в системе. Теперь представьте, что мы не просто говорим «конь ходит буквой Г», а измеряем, насколько «конь» далеко от «пешки» и «ладьи» во всём пространстве шахматного словаря. Это и есть word2vec. Смысловое место не описывается — оно вычисляется.
Часть 2. Геометрия в мозге
Но может, это просто любопытный трюк с числами — никак не связанный с тем, как работает настоящий человеческий мозг? В 2008 году нейробиолог Николас Кригескорте разработал метод, который позволил задать этот вопрос прямо [2]. Метод называется representational similarity analysis (RSA) — анализ сходства представлений.
Идея проста и элегантна. Мозг реагирует на разные объекты — кошка, собака, автомобиль, яблоко. Реакция на каждый объект — это паттерн активности нейронов: если у нас 1000 нейронов, то реакция на «кошку» — это точка в тысячемерном пространстве. Получается геометрия: некоторые объекты порождают похожие паттерны, другие — совсем разные. Расстояния между паттернами и есть «карта различий» в мозге [2].
Кригескорте спросил: а похожа ли эта карта на карту различий в искусственной нейронной сети? И обнаружил: да, поразительно. Разные слои свёрточной нейросети (обученной распознавать изображения) по структуре своих внутренних различий воспроизводят разные уровни зрительной коры: V1, V2, нижняя височная область. Чем глубже слой — тем ближе к высокоуровневым семантическим зонам мозга [2].
Для языкового смысла картина та же. Семантические соседства в пространстве эмбеддингов языковой модели коррелируют с паттернами активности в зонах мозга, отвечающих за обработку слов и смыслов. «Кошка» и «собака» близко в пространстве модели — и активность мозга при их предъявлении похожа. «Кошка» и «грузовик» — далеко в пространстве модели, и реакции мозга разные.
Часть 3. Больше различий — тоньше спектр
Вернёмся к тезису из седьмой главы, который теперь получит точное измерение. Мы видели, что «область смысла» задаёт и область ощущения: сомелье различает оттенки вкуса там, где у остальных просто «вино». Теперь понятно, почему. Профессиональный дегустатор вина не просто «умнее» — у него больше различий в пространстве вкусовых понятий. Его семантическое пространство вкуса буквально имеет больше измерений [3].
В экспериментах с RSA это проверяется напрямую. Эксперт, распознающий грибы или бабочек, имеет более детализированную структуру нейронных паттернов для этих категорий — больше различимых «мест» в пространстве, тоньше расстояния между ними. Новичок видит «бабочка», эксперт — «Papilio machaon, самка, летний вариант». Это буквально разные геометрии [2].
Отсюда — принцип, который курс теперь может сформулировать в измеримой форме: ощущать что-то = занимать место в пространстве контрастов. Чем богаче пространство различий — тем богаче возможный спектр ощущений в этой области. Это не метафора. Это измеримое свойство нейронных пространств состояний.
— Кажется, я чувствую 2018 год… южный склон… дождливый август…
Новичок делает глоток:
— Это вино.
Оба правы. Один занимает точку в 2-мерном пространстве. Другой — в 400-мерном. Тоже вино — просто другая геометрия.
Часть 4. Замкнутая паутина — проблема заземления
Мы прошли долгий путь. Соссюр сказал: смысл — это место в сети различий. Миколов измерил это место как вектор. Кригескорте показал, что похожие места есть в мозге. Всё складывается в красивую картину: смысл — это геометрия, и геометрия проверяема.
Именно здесь входит Стивен Харнад — и задаёт вопрос, от которого картина трещит.
В 1990 году Харнад сформулировал «проблему заземления символа» [3]. Она звучит так. Возьмите словарь. Найдите «королева». Там написано: «женщина-монарх». Найдите «монарх» — «правитель государства». Найдите «государство»… В итоге вы обошли весь словарь, так и не выйдя за пределы текста. Каждое слово определяется через другие слова. Сеть замкнута.
Теперь возьмите эмбеддинги. «Королева» знает, что рядом с ней — «корона», «трон», «монарх». Рядом с «монархом» — «государство», «власть», «подданные». Сеть огромна и точна. Но ни одно слово в ней — ни «королева», ни «корона», ни «красный» — ни к чему вне текста не привязано. У модели никогда не было ни королевы, которую можно увидеть, ни короны, которую можно потрогать, ни красного цвета, который можно заметить на закате [3].
Что такое «заземление». Это привязка символа к чему-то нересимволическому — к перцептивному опыту, к моторному действию, к взаимодействию с миром. У ребёнка слово «горячо» заземлено: оно связано с болевым ощущением от касания горячего предмета. У языковой модели «горячо» — это точка рядом с «жарко», «обжечься», «температура». Точка в пространстве — но без контакта с настоящим горячим [3].
Харнад задаёт вопрос: достаточно ли чистой паутины различий, чтобы это было настоящим пониманием? И — тем более — чтобы это переживалось? Его аргумент: символ не значит ничего сам по себе, пока не «приземлён» — пока сеть отношений не зацеплена хотя бы в одной точке за что-то нетекстовое.
Это не означает, что геометрия бесполезна. Геометрия точна, измерима и показывает, что у мозга и модели похожая структура различий. Но структура различий — это ещё не полный ответ на вопрос, что значит значить. Соссюр описал архитектуру сети. Харнад спрашивает: а чем она держится?
Часть 5. Дуга курса замыкается — и не замыкается
Посмотрите, где мы оказались. В первой главе Соссюр сказал: смысл — место в сети различий. Теперь, девять глав спустя, мы можем измерить эту сеть, посмотреть, как она устроена в мозге, и даже сравнить с машиной. Дуга замкнулась.
Но именно там, где она замкнулась, открылся вопрос, который не закрыт. Если смысл — это геометрия различий, а геометрия замкнута в себе — нужен ли якорь? Нужно ли, чтобы хотя бы один узел сети был прибит к миру — к телу, к боли, к цвету, к теплу? Или замкнутой сети достаточно?
Именно с этим вопросом мы войдём в десятую главу. Там — машина, которая живёт в чистой геометрии смысла, без тела, без жизни как ставки, без смерти. Мы спросим: может ли она понимать? Может ли она переживать? И что вообще означает «жить в смысле», если ты никогда не трогал ничего вне языка?
Смысл = геометрия
Слово — точка в многомерном пространстве. Отношения между словами — направления. Это измеримо (word2vec, 2013).
Мозг и модель — похожие пространства
Структура различий в нейронных активациях мозга совпадает со структурой различий в нейросетевых слоях (RSA, Kriegeskorte 2008).
Больше различий — богаче переживание
Эксперт занимает более многомерную точку в пространстве своей предметной области — и различает больше оттенков ощущения.
Но сеть замкнута — grounding problem
Никакое количество различий не привяжет символ к миру само по себе. Достаточно ли паутины без якоря? Это — открытый вопрос для финальной главы.
В следующей главе. Глава 10 — финал курса. Мы встретимся с машиной, которая живёт в самой совершенной из возможных геометрий смыслов — и не имеет тела, истории, совместного внимания с живым другом, боли, тепла. Мы спросим честно: понимает ли она? Переживает ли? И что говорит об этом сам тезис курса — «смысл рождается между людьми». Оставим ли мы ИИ за дверью — или откроем? Это будет честный разговор без готового ответа.
Источники этой главы
- Peer-reviewedMikolov, T., Sutskever, I., Chen, K., Corrado, G., & Dean, J. (2013). Distributed Representations of Words and Phrases and their Compositionality. Advances in Neural Information Processing Systems (NeurIPS) 26; arXiv:1310.4546.
- Peer-reviewedKriegeskorte, N., Mur, M., & Bandettini, P. (2008). Representational similarity analysis — connecting the branches of systems neuroscience. Frontiers in Systems Neuroscience, 2, 4.
- Peer-reviewedHarnad, S. (1990). The Symbol Grounding Problem. Physica D: Nonlinear Phenomena, 42(1–3), 335–346.
- Primary historicalSaussure, F. de (1916). Cours de linguistique générale. Éd. Ch. Bally & A. Sechehaye. Paris: Payot.
Это — просветительский пересказ идей, а не нейронаучная консультация. Соотнесение слоёв нейросети с уровнями зрительной коры описано в: Yamins et al. (2014) PNAS — реплика и развитие метода RSA. Биографические данные о Миколове и Харнаде сверены по публичным академическим профилям.