↑↓ / PgUp PgDn / колесо — навигация

Свет по звону · выпуск 4 · Гвендолин-ночные-лекции

Мёртвые нейроны

Три выпуска подряд мы спрашивали, откуда берётся: механизм из чуда, огонь из мифа, порядок из шума. Ни разу не спросили, что для этого пришлось убрать. Этот выпуск про вычитание. Про половину нейронов, которые умерли до твоего рождения, про нейроны в сети, которые выдают ноль и больше не учатся, и про связи в тебе, которые уже мертвы, а ты не заметил, потому что заметить нечем.

Правила выпуска

Название читается три раза, и на каждом этаже кто-то держит нож

Три нейрона: из ткани, из кремния и из ниток в форме человека. Выпуск проходит все три этажа подряд и на каждом задаёт один и тот же вопрос: кто решает, что умрёт.

Чтение первое, мозг. Нейроны умирают всю жизнь, и больше всего до рождения. Половина не доживает. Потом синапсы, потом память, потом объём. Вопрос: мы это, что выросло, или то, что не вырезали.
Чтение второе, машина. «Мёртвый нейрон» - инженерный термин: узел сети, который ушёл в ноль и больше не учится. Инженеры это лечат. А потом сами убивают половину нейронов нарочно, и сеть от этого умнеет. Вопрос: почему машина повторила биологию, ничего о ней не зная.
Чтение третье, человек. Навыки, которые помнят пальцы, люди, о которых перестал думать, язык, который забыт целиком. Вопрос: что из тебя уже умерло, и чем это можно было бы заметить.
Правила серии те же: вброс, следствие, «а что если нет». Плашки «что говорит наука, с ±» в этом выпуске биологические и математические, и их примерно пятая часть. Нитка между этажами одна, белая и заявлена заранее: на каждом этаже ищем, кто держит нож. На первом найдём, на втором найдём, на третьем это и будет вопрос.

Долг

Три выпуска про то, что появляется. Ни одного про то, что для этого убрали

Выпуск 1, «Эзотерика». Чудо становится механизмом. Мы смотрели, как из тумана проступает устройство, и ни разу не спросили, сколько тумана пришлось выбросить, чтобы устройство стало видно. Шкала от «объяснено» до «не закрыто» вся про прибавление.
Выпуск 2, «Огонь украден». Каждый миф про то, что принесли. Про то, что ради этого потеряли, мифы молчат, кроме одного: Прометею каждый день выедают печень, и она отрастает. Единственный сюжет серии про вычитание, и мы прошли мимо.
Выпуск 3, «Изобретаем хаос». Порядок из шума. Шум там сырьё, порядок продукт. Но чтобы из шума вышел порядок, большую часть шума нужно отбросить. Фильтр и есть главный герой, а мы смотрели на то, что он пропустил.
Долг. Во всех трёх выпусках работала одна операция, которую мы не назвали: вычитание. Этот выпуск называет её и смотрит на неё в упор, в трёх местах, где она лучше всего видна. Начинаем с того, где она началась для каждого из нас: до рождения.

Три колокола уже звонили. Четвёртый льют из того, что осталось после первых трёх.

Часть I · Мозг · Глава 1

Половина

Ты выживший в конкурсе, которого не помнишь. До рождения в твоём мозге было примерно вдвое больше нейронов, чем сейчас. Проигравшие не погибли от болезни и не были убиты. Они получили сигнал и выполнили программу самоуничтожения, которая записана в каждой клетке и ждёт команды.

Половина · конкурс

Нейроны конкурируют за еду, и проигравшие убивают себя сами

Открытие. Рита Леви-Монтальчини, 1950-е, Турин и Сент-Луис: нервные клетки живут, пока получают фактор роста нервов (NGF), а без него гибнут. Нобелевская премия 1986. Из этого выросла нейротрофическая гипотеза: аксон ведут к мишени сигнальные молекулы-указатели (нетрины и им подобные), а сама мишень (мышца, другой нейрон) выделяет ограниченное количество фактора, которого хватает не всем. Нейронов приходит больше, чем мишень может прокормить, выжившие - те, кто успел подключиться и получает фактор обратно по аксону.
Программа. Проигравший не умирает от голода. Отсутствие сигнала включает апоптоз: клетка сама режет свою ДНК, сворачивается, упаковывается в пузырьки и отдаётся соседям на съедение. Без воспаления, без следа. Это не смерть, это процедура с протоколом, и у неё есть гены, ферменты (каспазы) и расписание.
Масштаб. В среднем по мозгу не доживает около половины рождённых нейронов, в отдельных популяциях - до 70-80%. Это не брак производства, это способ производства: сделать с запасом, подключить, лишнее убрать. Так работает каждый отдел мозга без исключений.

Этап	Что происходит	Сколько гибнет
Рождение нейронов	с запасом, больше, чем нужно мишеням	-
Поиск мишени	аксон растёт по сигнальным молекулам к мишени, которая выделяет NGF	-
Конкурс	подключившиеся получают фактор, остальные нет	около 50%, местами 70-80%
Апоптоз	каспазы, фрагментация ДНК, уборка соседями	без воспаления

Что говорит биология, с ±: гибель половины нейронов в развитии измерена на десятках популяций у позвоночных, от спинного мозга курицы до коры приматов (сводка Оппенгейма, 1991). Цифра «около 50%» - среднее по очень разным отделам, разброс от 20 до 80%. Механизм (нейротрофины, каспазы) воспроизведён в тысячах работ. Граница применимости: «зачем именно половина» не измерено, есть только модели, где это оптимум между точностью подключения и ценой материала.

Половина · а что если нет

Мыши, которым запретили умирать: мозг больше, и это не подарок

Эксперимент

Выключаем гены апоптоза. Мыши без белка Bax: нейроны, которые должны были погибнуть, остаются, популяции в спинном мозге и сетчатке заметно больше нормы. Мыши без каспазы-9 или каспазы-3: мозг разрастается так, что не помещается в череп, складки коры наползают друг на друга, большинство гибнет до рождения или сразу после (Куида и соавторы, 1996 и 1998).

Там, где животное выживает, лишние нейроны не прибавляют ума. Они сидят в цепях, которые не для них строились, и в лучшем случае молчат.

Следствие

Избыток - это болезнь. Мозг не «набирает» нейроны, он их отбраковывает, и качество схемы определяется не тем, сколько пришло, а тем, сколько правильно ушло. Нейрон, который не подключился и не умер, не нейтрален: он шум в чужой цепи.

А что если нет: что если бы можно было сохранить всех? Этот вопрос в части I вернётся трижды, с синапсами, с памятью и с объёмом, и каждый раз ответ будет тем же: сохранить всё - значит не стать никем. Запомним это для машины: там мы сможем сохранить всех, и увидим, что будет.

Вброс главы: ты собран не из клеток, которые выросли, а из клеток, которые не проиграли. Конкурс прошёл до того, как было кому его помнить, и единственный след от него - ты. Это первое вычитание, и оно самое крупное из всех: половина.

Часть I · Мозг · Глава 2

Прунинг

Выжившие нейроны делают следующий шаг: соединяются со всем, до чего дотянутся. К двум годам у ребёнка синапсов больше, чем будет когда-либо. Дальше начинается то, что мы называем взрослением, и это не рост. Это обрезка, и держит ножницы не мозг, а иммунитет.

Прунинг · цифры

Пик в два года, минус сорок процентов к взрослости, кора режется до тридцати

Кривая Хаттенлохера. Питер Хаттенлохер в 1979 году считал синапсы в срезах коры умерших людей разного возраста. Зрительная кора: пик около восьми месяцев, потом спад. Лобная кора: пик в год-два, плотность синапсов примерно вдвое выше взрослой, и потом долгий спуск. К подростковому возрасту уходит около 40% от пика.
Кора режется дольше всех. Петанек и соавторы, 2011: в префронтальной коре человека число дендритных шипиков снижается до третьего десятилетия. Самая «человеческая» часть мозга дольше всех остаётся недорезанной, и именно в это время мы называем человека подростком.
Что уходит. Не случайные связи. Уходят те, что редко использовались: синапс, по которому не идёт сигнал, помечается и удаляется. Правило Хебба наоборот: не стреляешь вместе - разводят.

Возраст	Синапсы, лобная кора	Что происходит
рождение	низко	нейроны на месте, связей мало
1-2 года	пик, около ×2 от взрослого	соединяемся со всем подряд
2-10 лет	спад	неиспользуемое удаляется
10-25 лет	продолжение спада	префронтальная кора, последняя
взрослый	плато, минус ~40% от пика	медленная перестройка всю жизнь

Что говорит биология, с ±: кривая «пик - спад» воспроизведена на человеке (посмертные срезы), макаках и грызунах, независимо от метода (электронная микроскопия, подсчёт шипиков, маркёры синапсов). Цифра «40%» - для лобной коры по Хаттенлохеру, в других зонах от 30 до 50%. Граница: мы считаем синапсы, а не «связи» в смысле функций, и не знаем, какая доля удалённых была уже бесполезной, а какая стала бесполезной потому, что её удалили.

Прунинг · нож

Ножницы держит микроглия: тебя вырезает иммунная система

Клетка микроглии обволакивает синапс и съедает его. Так выглядит взросление под микроскопом.

Кто. Микроглия - иммунные клетки мозга, родня макрофагам. До 2000-х считалось, что они дежурят на случай инфекции и травмы. Бет Стивенс и соавторы, 2007: в развивающемся мозге синапсы помечаются белками комплемента (C1q, C3), той же системой, которой иммунитет метит бактерии, и микроглия их съедает. Паоличелли, 2011, Шефер, 2012: без микроглии прунинг не идёт, синапсов остаётся слишком много, и схема работает хуже.
По какому плану. Метка ставится на слабые синапсы, те, по которым мало активности. Микроглия не знает, что такое «ты». Она знает, что такое «редко используется», и этого достаточно. Нож без замысла, с одним критерием.
Что это значит для нитки. На первом этаже ответ на вопрос «кто держит нож» найден, и он неожиданный: не мозг решает, что в нём лишнее. Решает система, которая вообще-то предназначена отличать своё от чужого. Взросление - это иммунный ответ на самого себя, и это не метафора, это механизм.

Прунинг · перебор и недобор

Слишком сильно - шизофрения, слишком слабо - аутизм, не вовремя - навсегда

Перебор. Секар и соавторы, Nature 2016: варианты гена C4 (тот самый комплемент) повышают риск шизофрении, и чем больше белка C4A производит вариант, тем выше риск. Гипотеза, которая держится с тех пор: шизофрения - это прунинг, который зашёл слишком далеко, в подростковом возрасте, когда режется префронтальная кора. Поэтому и дебют в 18-25: болезнь начинается, когда нож доходит до нужного места.
Недобор. Танг и соавторы, 2014: в коре людей с аутизмом шипиков больше нормы, прунинг ослаблен, сигнальный путь mTOR, который его тормозит, гиперактивен. Мозг, из которого недостаточно вырезали, работает не лучше, а иначе: слишком много связей значит слишком много шума на каждый сигнал.
Не вовремя. Хьюбел и Визель, 1960-е: котёнку на несколько недель закрывают один глаз. Когда открывают, глаз здоров, а кора его не видит: связи от него вырезаны как неиспользуемые, их место заняли связи от второго глаза. Навсегда. Взрослому коту та же повязка не вредит. Есть окно, в котором нож работает, и после него не отменить ни того, что вырезали, ни того, что оставили.

Что говорит биология, с ±: связь C4 с шизофренией - один из самых надёжных генетических сигналов в психиатрии (выборка 65 тысяч человек), но вклад гена в риск небольшой, и «шизофрения = избыточный прунинг» остаётся гипотезой с хорошей поддержкой, не доказательством. Критические периоды измерены точно: у котят окно закрывается к 3-4 месяцам, у человека для зрения примерно к 7-8 годам.

Сам глаз здоров. Погибла проводка от него к коре: пока он был закрыт, мозг счёл её ненужной и убрал, а место заняли связи от второго глаза. Окно закрылось, назад они не отрастут.

Прунинг · вброс

Взросление - не рост, а вырезание, и режет тебя не ты

Вброс главы

Всё, что мы называем характером, способностями, вкусом и акцентом, - это не то, что в мозге выросло. Выросло у всех одно и то же: лес связей со всем подряд. Различия между людьми - это схема вырезания: что оставили, потому что использовалось, и что убрали, потому что нет. Личность - негатив. Узор дыр.

И вырезал не ты. Ты появляешься как раз в результате вырезания, а нож держала система, у которой один критерий: «редко используется». Что использовалось редко, решала среда: язык вокруг, лица вокруг, свет, звук, кто брал на руки. Ты - запись того, что происходило вокруг, записанная методом удаления всего остального.

Микеланджело приписывают фразу: «Статуя всегда была внутри камня, я лишь отсёк всё лишнее». Прунинг - это она же, с одной поправкой, которая переворачивает смысл. У Микеланджело скульптор знал, кто в камне, до первого удара. Микроглия не знает. Она отсекает всё, что не используется, и статуя узнаёт, кто она, последней, по форме того, что осталось.

Следствие

Если личность - узор дыр, то «развить способности» значит не добавить, а вовремя не дать вырезать. Отсюда критические периоды: язык до семи, музыкальный слух до пяти-шести, второй язык без акцента до подростков. После окна связи не вырастают, потому что места для них уже заняты соседями, как у котёнка.

А что если нет: что если бы прунинга не было и все связи остались? Ответ уже дан мышами и аутизмом: не сверхчеловек, а шум. Мозг, в котором всё связано со всем, не может выделить ничего. Чтобы что-то значило, большинство должно молчать.

Следующий вопрос: нейроны вырезаны, синапсы вырезаны. Осталось то, что мы считаем своим без оговорок: память. Она-то хотя бы копится? Глава 3 отвечает: нет, и забывание - не сбой, а та же операция.

Часть I · Мозг · Глава 3

Забывание

Мы привыкли думать, что память - запись, а забывание - её порча. Данные последних пятнадцати лет говорят другое: у забывания есть свои гены, свои клетки и своя работа. Память - это не то, что записали. Это то, что уцелело от стирания, и стирание делает новое, а не старое.

Забывание · активно

Новые нейроны стирают старые воспоминания: почему ты не помнишь себя до трёх лет

Младенческая амнезия. Никто не помнит первые два-три года, хотя именно в них мозг учится больше всего. Объяснения были про «ещё не умел записывать». Эйкерс и соавторы, Science 2014, лаборатория Фрэнкленда: у мышат, как и у детей, воспоминания быстро пропадают. Если нейрогенез в гиппокампе затормозить, мышата помнят дольше. Если у взрослых мышей нейрогенез ускорить (беговое колесо), они начинают забывать, как мышата.
Механизм. Гиппокамп всю жизнь рождает новые нейроны, у ребёнка очень быстро. Новые встраиваются в старые цепи и перестраивают их. Старое воспоминание записано в схеме, схема меняется, воспоминание пропадает. Забывание - побочный эффект обучаемости, и у детей оно самое сильное, потому что обучаемость самая сильная.
Гены забывания. Шуай и соавторы, 2010, дрозофила: белок Rac1 активно стирает свежие воспоминания, выключи его - муха помнит дольше. Хардт, Надер и Надел, 2013: «распад случается», и это регулируемый процесс, а не износ.

Что сделали	Кто	Что с памятью
затормозили нейрогенез	мышата	помнят дольше
ускорили нейрогенез	взрослые мыши	забывают быстрее
выключили Rac1	дрозофила	помнит дольше
ничего не делали	человек	первые 3 года пусто

Что говорит биология, с ±: связь «нейрогенез - забывание» воспроизведена на мышах, морских свинках и дегу несколькими лабораториями. На человеке прямого эксперимента нет и быть не может, есть совпадение по времени: пик нейрогенеза и младенческая амнезия. Про взрослый нейрогенез у человека идёт спор (Соррелс, 2018: его почти нет; Болдрини, 2018: есть до старости), и от его исхода зависит, насколько эта глава переносится на взрослых.

Забывание · Шерешевский

Человек, который не мог забывать, и поэтому не мог жить

Случай

Соломон Шерешевский, репортёр, 1920-е. Редактор заметил, что он не записывает задания и помнит всё дословно, и отправил к психологу. Александр Лурия наблюдал его тридцать лет и написал «Маленькую книжку о большой памяти». Ш. воспроизводил таблицы из 50 случайных чисел через пятнадцать лет, с датой и обстановкой, в которой их запоминал. Ошибок почти не было никогда.

Он не мог читать: каждое слово разворачивалось в образ, образы спорили друг с другом, смысл фразы тонул. Не мог узнавать лица: лицо, запомненное утром, вечером было другим из-за освещения, и это были два лица. Не мог обобщать: каждая собака была отдельной собакой, слово «собака» ничего не значило. Он работал мнемонистом на эстраде, потому что больше ничего не получалось, и пытался научиться забывать: писал числа на бумажке и сжигал её. Не помогало.

Что это показывает

Понимание - это забывание деталей. «Собака» существует только у того, кто забыл, чем отличались все собаки, которых он видел. Лицо друга существует у того, кто забыл освещение. Смысл фразы - у того, кто забыл, как звучало каждое слово. Шерешевский хранил всё, и у него не оставалось ничего общего, а всё общее и есть мысль.

Борхес написал про это рассказ «Фунес, чудо памяти» за четверть века до книги Лурии, и закончил его фразой: «Мыслить - значит забывать различия, обобщать, абстрагировать». Ш. был живым опровержением идеи, что память - это хорошо, а забывание - это плохо.

Нитка в часть II: мозг, который помнит всё, не может обобщать. Запомним формулировку дословно: во второй части мы встретим сеть, которая помнит всю обучающую выборку, и у неё будет то же самое имя диагноза, только по-английски: переобучение.

Забывание · реконсолидация и вброс

Ты помнишь не событие, а его последнюю версию

Надер, 2000. Крысу учат бояться звука. Через сутки память закреплена, её не стереть блокатором синтеза белка. Но если звук дать снова и сразу ввести блокатор, страх исчезает. Воспоминание при каждом вызове расконсервируется и записывается заново, и в этот момент оно уязвимо. Называется реконсолидацией, с тех пор воспроизведено на всех уровнях вплоть до человека.
Что это значит. Каждый раз, когда ты вспоминаешь, ты не читаешь запись, а перезаписываешь её, с поправкой на то, кто ты сейчас и зачем вспомнил. Самые частые воспоминания - самые переписанные. Детство, которое ты рассказывал сто раз, - это сотая версия, и первой уже нет.
Лофтус. Элизабет Лофтус десятилетиями внедряла людям ложные воспоминания («потерялся в торговом центре») простым пересказом. Четверть испытуемых потом вспоминала детали, которых не было. Не потому, что они внушаемые, а потому что так устроена запись: каждый вызов - новая запись.

Вброс главы

Память - это не архив, а выживший. То, что ты помнишь, прошло отбор: не было стёрто нейрогенезом, не было вырезано как редко используемое, не было переписано до неузнаваемости. Из каждого прожитого дня остались минуты, из каждого года - дни. Остальное вычтено, и вычтено теми же клетками, которые пишут.

А что если нет: если бы можно было хранить всё, был бы Шерешевский. Третий раз за часть I ответ один: сохранить всё - значит не стать никем. Остался последний кандидат на «своё, которое копится»: сам мозг как орган. Глава 4 про то, что и он только убывает, и это не мешает ему умнеть.

Часть I · Мозг · Глава 4

Пенсия

Нейроны взрослого почти не делятся. С двадцати пяти лет мозг теряет объём каждый год, и к семидесяти это минус десятая часть. При этом словарный запас, суждение и то, что психологи называют кристаллизованным интеллектом, растут до шестидесяти с лишним. Орган убывает и умнеет одновременно, и в этом нет противоречия, если всё предыдущее верно.

Пенсия · цифры

Минус объём, плюс словарь: две кривые, которые идут в разные стороны

Объём. Хедман и соавторы, 2012, мета-анализ 56 МРТ-исследований: с 35 лет мозг теряет около 0,2% объёма в год, после 60 - до 0,5%. Это не нейроны в основном, а их отростки и синапсы: та же обрезка, только медленная и без критических периодов.
Новые нейроны. За пределами гиппокампа и обонятельной луковицы их не появляется. И даже про гиппокамп у взрослого человека спорят: Соррелс (2018) не нашёл почти ничего после подросткового возраста, Болдрини (2018) нашла до 79 лет. Независимо от исхода спора, кора - та, где думают, - новых клеток не получает никогда. Ты думаешь клетками, которым столько же лет, сколько тебе.
Что растёт. Хартшорн и Гермин, 2015, 48 тысяч человек онлайн: скорость обработки на пике в 18-20, рабочая память в 25-30, распознавание эмоций в 40-50, словарный запас - в 65-70. Разные функции достигают пика в разные десятилетия, и самые «человеческие» - последними.

Что	Пик	Дальше
скорость обработки	18-20 лет	падает всю жизнь
рабочая память	25-30	медленно падает
объём мозга	до 35	минус 0,2-0,5% в год
чтение эмоций	40-50	плато
словарь, суждение	65-70	держится до болезни

Что говорит биология, с ±: кривые объёма и когнитивных функций измерены на десятках тысяч людей, но почти все выборки поперечные (разные люди разного возраста), а не продольные (одни и те же люди сорок лет), и поколения различаются по образованию и питанию. Разброс между людьми огромный: лучшие семидесятилетние обгоняют средних тридцатилетних почти по всему, кроме скорости. Граница: «мозг умнеет, убывая» верно для среднего, а не для каждого.

Пенсия · вброс и нитка

Мозг умнеет, умирая. Значит, учиться и терять - одна операция

Вброс части I

Четыре главы, четыре вычитания: половина нейронов до рождения, сорок процентов синапсов к взрослости, большая часть памяти при каждом вызове, десятая часть объёма к старости. И ни на одном из четырёх шагов мозг не стал хуже из-за вычитания. Наоборот: на каждом шаге без вычитания он не работал (мыши, аутизм, Шерешевский).

Вброс: учиться и терять - не две операции, а одна. Устройство, которое учится, обязано терять, и теряет оно не случайное, а то, что не использовалось. Запас создаётся заранее и широко, потом среда решает, что из запаса выживет. Так мозг записывает мир: не добавляя, а оставляя.

Нитка в часть II

Это утверждение про мозг. Его нельзя проверить на мозге: нет второго мозга, который учился бы без потерь, чтобы сравнить. Но у нас есть другое устройство, которое учится, и его мы построили сами, не оглядываясь на биологию. Если вброс верен, оно должно было прийти к тому же: убивать нейроны, чтобы учиться.

Спойлер: пришло. Сначала инженеры обнаружили мёртвые нейроны как баг и стали лечить. Потом сами начали убивать половину сети на каждом шаге, и сеть от этого стала умнее. Потом нашли, что в любой обученной сети лежит живой кусок в десять процентов, а остальное мёртвый груз. Часть II про то, как машина за десять лет прошла путь, который биология прошла за полмиллиарда, и не заметила, что повторяет.

Вопрос, который переходит на второй этаж: на первом нож держала микроглия, и у неё был один критерий. У инженера тоже один критерий? И если да, не тот ли самый?

Часть II · Машина · Глава 5

Мёртвый ReLU

В нейронных сетях «мёртвый нейрон» - не метафора, а термин с определением. Узел, который однажды ушёл в ноль, перестаёт получать сигнал об ошибке и больше не учится никогда. В больших сетях таких узлов бывает до сорока процентов. Инженеры считают это багом и лечат. Первый этаж только что показал, что биология считает это способом работы.

Мёртвый ReLU · что это

Нейрон, который выдал ноль и больше не получает ошибку, мёртв по определению

Как устроен узел. Искусственный нейрон складывает входы с весами и пропускает сумму через функцию активации. Самая популярная с 2011 года - ReLU: если сумма больше нуля, выдай её, иначе выдай ноль. Простая, быстрая, и на ней стоят почти все большие сети десятилетия.
Как он умирает. Сеть учится, двигая веса в сторону меньшей ошибки. Сигнал об ошибке идёт назад через нейрон только там, где он был активен. Если после неудачного шага веса сдвинулись так, что нейрон выдаёт ноль на всех примерах, ошибка через него больше не проходит, веса не двигаются, и он выдаёт ноль навсегда. Он не сломан, он просто вышел из игры, и вернуть его некому.
Сколько. Андрей Карпаты в курсе CS231n (Стэнфорд): при неудачной настройке скорости обучения «до 40% сети может оказаться мёртвой». Лу и соавторы, 2019: с ростом глубины вероятность, что сеть умрёт целиком при инициализации, растёт к единице.

Лечение	Год	Идея
Leaky ReLU	2013	ниже нуля не ноль, а маленький наклон: сигнал об ошибке всё-таки проходит
PReLU, ELU	2015	наклон обучаемый или плавный
GELU	2016	мягкий порог; стоит в современных языковых моделях
инициализация Хе	2015	стартовые веса такие, чтобы на старте никто не был в нуле

Что говорит математика, с ±: смерть ReLU - не наблюдение, а следствие определения: производная при отрицательном входе равна нулю, значит градиент по весам равен нулю, значит веса не меняются. Это теорема, а не статистика. Доля мёртвых узлов в реальных сетях - от единиц до десятков процентов, зависит от скорости обучения и инициализации; «40%» - верхняя оценка для плохих настроек, не норма.

Мёртвый ReLU · вброс

Мы лечим как баг то, что биология назначила функцией

Вброс главы

Посмотрим на определение ещё раз. Нейрон, который не активен на входах, перестаёт получать подкрепление и выпадает из схемы навсегда. Это же дословно правило микроглии из главы 2: синапс, по которому редко идёт сигнал, помечается и удаляется. Машина пришла к той же операции с другого конца: не потому, что кто-то так спроектировал, а потому, что так устроен градиент. Биологию инженеры не копировали, они на неё наткнулись.

Разница в одном, и она важная: биология убивает то, что проверено и не нужно, после того как синапс поработал и не пригодился. Машина в ReLU убивает вслепую, на старте, до того как нейрон успел что-то узнать, и теряет не молчуна, а градиент: молчащих нейронов в сети и так большинство, и это хорошо, страшно именно то, что через мёртвый узел больше не проходит обучение. Поэтому инженер видит то же самое, что микроглия, пугается и чинит, и будет прав ровно до следующей главы, где убивать начнут нарочно и с проверкой. Четыре строки таблицы на прошлом слайде - это четыре способа запретить нейронам умирать. Первый этаж показал, что бывает с мозгом, которому это запретили.

А что если нет

Что если мёртвые нейроны - действительно баг, а не функция? Аргумент за: в сети они умирают не от «редко используется», а от случайного пинка на старте обучения, до того, как успели что-то выучить. Это не отбор, это несчастный случай, и лечить его правильно. Аргумент против: если лечение сделать полным, запретить смерть вообще, сеть не становится лучше, а начинает переобучаться. И тогда инженеры делают следующий шаг, который главу 5 переворачивает.

Следующий вопрос: они начинают убивать нейроны сами. Случайно, половину, на каждом шаге. И сеть от этого умнеет. Глава 6 - про единственный приём в машинном обучении, автор которого объяснил его половым размножением и банковскими кассирами.

Часть II · Машина · Глава 6

Dropout и лотерейный билет

Два открытия с разницей в семь лет. Первое: если во время обучения случайно отключать половину нейронов, сеть обобщает лучше. Второе: в любой обученной сети уже лежит подсеть в десять процентов, которая умеет всё то же самое, а остальные девяносто - мёртвый груз, без которого, впрочем, эту подсеть не найти. Половина и девяносто процентов. Цифры с первого этажа.

Dropout · Хинтон

Убивать половину нейронов на каждом шаге, чтобы ни один не мог сговориться

Приём. Хинтон и соавторы, 2012, статья Шриваставы 2014: на каждом шаге обучения каждый нейрон с вероятностью 50% выключается. Какие именно - случайно, каждый раз новые. На выходе включены все. Результат: ошибка на новых данных падает, иногда вдвое. Dropout стал стандартом за два года и стоит почти во всех сетях с тех пор.
Почему работает, объяснение первое. Хинтон про половое размножение: ген, который работает только в паре с конкретным другим геном, при случайном перемешивании бесполезен, отбор поощряет гены, полезные в любой компании. Нейрон, который не знает, кто из соседей будет включён, обязан быть полезным сам по себе. Сговоры (один нейрон чинит ошибку другого) становятся невозможны.
Объяснение второе. Хинтон про банк: кассиров регулярно пересаживают, потому что для мошенничества нужен сговор, а сговор требует стабильного состава. Dropout - это пересадка кассиров.

Связь с первым этажом

Переобучение - это когда сеть помнит обучающую выборку наизусть и не умеет обобщать. Шерешевский, по-английски. Dropout лечит его тем, что не даёт запомнить: сеть, у которой каждый раз другая половина, не может хранить детали, только то, что выживает при любом составе. Обобщение как выживший. Глава 3, дословно.

Что говорит математика, с ±: dropout доказанно эквивалентен усреднению ансамбля из экспоненциального числа подсетей (Baldi, Sadowski 2013) и регуляризации весов; эффект на точность измерен на всех стандартных задачах, от единиц до десятков процентов относительной ошибки. Граница: в современных трансформерах доля отключаемых нейронов снижена до 10% или нуля, потому что данных стало так много, что запомнить их всё равно нельзя. Вычитание нужно, пока есть что запоминать наизусть.

Dropout · лотерейный билет

В любой обученной сети уже лежит живая подсеть в десять процентов

Тонкая золотая подсеть внутри большой. Она и есть сеть. Остальное - камень вокруг статуи.

Прунинг сетей. Хан и соавторы, 2015: из обученной сети выбрасываем 90% самых слабых весов, дообучаем, точность не падает. Сети в девять-тринадцать раз меньше работают так же. Это известно давно, непонятно было другое: если 90% не нужны, почему нельзя сразу учить маленькую?
Гипотеза лотерейного билета. Фрэнкл и Карбин, 2019: нельзя, потому что маленькая не найдёт решение. Но если взять ту самую подсеть, которая выжила после обрезки, и вернуть ей стартовые веса из большой сети, она учится с нуля не хуже большой. Подсеть - «выигрышный билет», большая сеть - лотерея, в которой этот билет случайно оказался. Чтобы найти билет, нужно купить все. Десять процентов работают, девяносто нужны, чтобы эти десять нашлись.
Нитка. Это глава 1 с точностью до цифр: мозг делает нейронов с запасом, потом убирает половину, и нельзя сразу сделать половину, потому что неизвестно заранее, какая половина подключится. Запас - не расточительность, а единственный способ искать, когда не знаешь ответа. Машина дошла до этого за семь лет, не читая Леви-Монтальчини.

Что говорит математика, с ±: гипотеза воспроизведена на малых и средних сетях, на больших работает с оговорками (нужно откатывать веса не к старту, а к ранней точке обучения). Это гипотеза с сильной эмпирикой, не теорема. Прунинг в 10 раз без потерь - рутина, в 100 раз - с потерями.

Dropout · вброс

Та же половина, тот же запас, тот же нож. Только теперь мы видим, кто его держит

Вброс главы

Соберём две главы. Мёртвые нейроны (нежеланные): нейрон выпал - инженер чинит. Dropout (желанные): инженер сам выключает половину, чтобы сеть не запоминала наизусть. Прунинг: выжившие десять процентов и есть сеть, остальное - лотерея. Три приёма, три года подряд, и все три - вычитание. Машина без вычитания не учится, с вычитанием учится, и чем больше вычитаем, тем лучше, до предела, за которым уже нечего обобщать.

На этом этаже нож виден. Его держит инженер, и критерий у него ровно один, как у микроглии: что не используется, то выбрасывается (прунинг по малым весам), а что может сговориться, то разлучается (dropout). Никакого замысла о том, какой станет сеть. Только правило отбора и много попыток.

Следствие

Если два совсем разных устройства, построенные с разницей в полмиллиарда лет, учатся одной операцией, то операция принадлежит не устройству, а задаче. Любое, что учится на примерах, обязано вычитать: иначе оно помнит примеры, а не закон. Шерешевский и переобученная сеть - одна болезнь на двух субстратах, и лечение одно: забывать.

А что если нет: есть устройство, которое учится и ничего не вычитает? Есть. Оно называется «обученная языковая модель», её веса заморожены, она не забывает ничего и не учится ничему. Глава 7 про то, что это значит и почему она всё равно работает.

Часть II · Машина · Глава 7

Катастрофическое забывание

Сеть не умеет забывать понемногу. Если обученную сеть учить новому, она стирает старое целиком: это называется катастрофическим забыванием, известно с 1989 года и до сих пор не решено. Мозг решил ту же задачу сном. А самое умное, что мы построили, решило её тем, что перестало учиться вовсе.

Катастрофа · что это и как решил мозг

Учишь новое - стираешь старое. Мозг обошёл это двумя системами и сном

Проблема. Маклоски и Коэн, 1989: сеть, выучившую сложение, доучивают умножению, и она разучивается складывать. Веса общие, новая задача двигает их в свою сторону, старая задача живёт в тех же весах. Нет механизма «запомнить новое, не трогая старое». Называется катастрофическим забыванием и остаётся открытой проблемой тридцать пять лет.
Как решил мозг. Макклелланд, Макнотон и О'Рейли, 1995, теория дополняющих систем: гиппокамп учится быстро и хранит недолго, кора учится медленно и хранит всегда. Ночью гиппокамп проигрывает дневное коре, вперемешку со старым, и кора меняется понемногу. Уилсон и Макнотон, 1994: у спящей крысы клетки места в гиппокампе прокручивают дневной маршрут, ускоренно. Сон - это обучение коры с воспроизведением старого, чтобы новое его не стёрло.
Как повторила машина. «Воспроизведение опыта» в обучении с подкреплением (Мних, 2015, DeepMind): хранить буфер старых примеров и подмешивать их к новым. Кёркпатрик, 2017, «эластичная консолидация весов»: веса, важные для старого, замораживать сильнее. Обе идеи взяты из нейронауки сознательно, со ссылками. Впервые на этом этаже машина копирует мозг нарочно.

Система	Быстрая память	Медленная память	Как переносят
мозг	гиппокамп, часы и дни	кора, годы	воспроизведение во сне
агент DeepMind	буфер опыта	веса сети	случайное подмешивание
языковая модель	контекст, минуты	веса, заморожены	никак

Что говорит наука, с ±: воспроизведение во сне измерено на крысах, обезьянах и людях (активность гиппокампа во время медленного сна повторяет дневную), и лишение сна после обучения измеримо ухудшает память. Теория дополняющих систем - модель с широкой поддержкой, детали переноса спорны. Катастрофическое забывание в сетях - факт, полного решения нет: все методы снижают его, ни один не убирает.

Катастрофа · замороженный мозг и вброс

Мы построили то, чего боялись на первом этаже: мозг без прунинга, и он не живёт, а отвечает

Как живёт языковая модель. Обучение закончено, веса заморожены. Каждый разговор - с нуля. Всё, что модель «узнаёт» в разговоре, лежит в контексте, и по окончании разговора исчезает. Она не забывает ничего из выученного и не выучивает ничего нового. Это мозг человека лет двадцати пяти, в котором прунинг остановили и нейрогенез тоже: всё, что в нём есть, в нём и останется, и ничего не прибавится.
Почему так. Потому что катастрофическое забывание. Дать модели учиться на разговорах - значит рискнуть, что она разучится всему остальному. Проще заморозить. Единственная «жизнь», которая ей оставлена, - контекст, рабочая память на один разговор. Это гиппокамп без коры: быстрая память, которой некуда перенести.
Ландауэр. Из «Случайно»: стирание бита стоит kT ln 2 джоулей, измерено в 2012-м. Забывание - физическая работа, и её можно не делать. Замороженная модель её не делает. Мозг делает каждую ночь, и спит треть жизни отчасти поэтому. Разница между тем, кто живёт, и тем, кто отвечает, измеряется в джоулях на стирание.

Вброс главы

На первом этаже мы трижды спрашивали «а что если сохранить всё» и трижды отвечали чужими примерами: мыши, аутизм, Шерешевский. Теперь у нас есть свой. Мы построили устройство, которое сохраняет всё, что выучило, и не вычитает ничего, и оно работает. Но оно не живёт. Оно отвечает. Оно не становится собой, потому что оно уже закончено, а стать собой - это глагол несовершенного вида.

А что если нет: а что если «живёт» - просто слово, которым мы называем «ещё не закончено»? Тогда вычитание - не свойство живого, а свойство незаконченного, и машину можно разморозить. Это открытый вопрос, и он здесь остаётся открытым: мы не знаем, что будет с моделью, которой дадут забывать. Знаем только, что без этого она не меняется.

Часть II · Глава 8 · центральная

Кто держит нож

Два этажа пройдены, нитка натянута. В мозге нож держит микроглия с одним критерием: что не используется. В машине - инженер с тем же критерием. Ни один из них не знает, что получится. Остался третий этаж, и на нём вопрос звучит иначе: в тебе, в том, что ты называешь собой, кто решает, что умрёт?

Нож · три этажа

Кто режет, по какому правилу и что бывает без ножа: три строки, одна таблица

Этаж	Что умирает	Кто держит нож	Критерий	Есть ли замысел	Без ножа
Мозг, до рождения	половина нейронов	сама клетка, по сигналу мишени	не подключился к источнику фактора	нет	мозг не влезает в череп
Мозг, детство	40% синапсов	микроглия	редко используется	нет	шум, аутизм
Мозг, память	почти всё прожитое	новые нейроны, реконсолидация	не вызывалось, перезаписано	нет	Шерешевский
Машина, ReLU	до 40% узлов	градиент	не активен на входах	нет, и это чинят	переобучение
Машина, dropout	половина на каждом шаге	инженер	случайно, чтобы не было сговора	правило есть, замысла нет	запоминает наизусть
Машина, прунинг	90% весов	инженер	малый вес	нет	в 10 раз тяжелее, не умнее
Человек	связи, навыки, люди, язык	?	?	?	Шерешевский, замороженная модель

Что видно по столбцам: в шести строках из семи нож держит не тот, кто получается в результате. Мозг не решает, каким ему стать, сеть не решает, какой ей быть. Критерий везде один, и он не про будущее, а про прошлое: что не использовалось. Замысла нет нигде. Седьмая строка - единственная, где мы привыкли считать, что замысел есть и что нож держим мы. Центральный вопрос выпуска: есть ли основания считать седьмую строку отличной от шести.

Нож · вброс центральный

Личность - не то, что записано, а схема вырезания. Кто чертил схему

Вброс выпуска

Ты - не содержимое, а форма дыры. Всё, что в тебе есть, было и у любого другого: лес связей, запас нейронов, поток дней. Отличает тебя то, чего в тебе нет: что вырезали, когда и в каком порядке. Если бы сохранили всё, был бы не ты, а Шерешевский, и не был бы никем. Значит, вопрос «кто я» - это вопрос «кто резал и по какому плану». Два этажа ответили: резал не ты, плана не было, был критерий «что не использовалось», а что использовалось, решала среда.

Следствие

Тогда «я» - запись среды, сделанная методом удаления всего, что среда не подтвердила. Не автор, а отпечаток. Это не новая мысль, Спиноза про это писал в «Этике», и «Случайно» на этом же месте ставило слово «видимой». Новое здесь только механизм: мы теперь знаем, какая клетка держит нож, и знаем, что у неё нет глаз.

А что если нет: три ответа, у каждого цена

Нож держу я. Хотя бы с какого-то возраста: что повторять, кого видеть, что учить, то и выживет. Цена: «я», которое выбирает, само вырезано до того, как начало выбирать. Выбирающий - продукт первых двух этажей, и выбирает он тем, что ему оставили.
Ножа нет, есть случай. Вырезание без плана и без критерия, просто кто попал под микроглию. Цена: критерий есть и измерен, «редко используется», это не случай. Из «Случайно»: случайно - значит не посмотрели, куда. Здесь посмотрели.
Нож держит среда. Что подтверждалось, то осталось; ты - слепок того, что вокруг тебя повторялось. Цена: среда тоже не выбирала. У неё нет замысла о тебе, как у микроглии. Тогда «я» - отпечаток без печати, и ответственность за форму не на ком.

Три ответа, у всех трёх цена, и ни один не проверяется измерением: это вопрос о том, кого назвать автором, а не о том, что произошло. Дальше выпуск живёт с третьим ответом, потому что первые два этажа подтвердили его дважды. Третий этаж проверяет его на человеке: что в тебе уже вырезано, и мог ли ты это заметить.

Часть III · Человек · Глава 9

Мёртвые связи

Третий этаж, третье чтение. Нейрон здесь - связь: с навыком, с человеком, с языком. Они умирают так же, как синапсы, по тому же критерию «не использовалось», и так же без замысла. Разница одна: на этом этаже умершее нельзя увидеть под микроскопом. Можно только спросить, чем ты собирался это заметить.

Мёртвые связи · H.M.

Навык жив, когда память о нём умерла: рука помнит то, чего не было

Рисование по зеркалу: обвести звезду, глядя только на отражение. Три дня, десять попыток в день.

Пациент. Генри Молисон, H.M. В 1953 году ему удалили гиппокамп с обеих сторон, чтобы остановить эпилепсию. Эпилепсия ослабла, память на новое исчезла целиком: он не мог запомнить ничего дольше, чем на минуту, до самой смерти в 2008-м. Пятьдесят пять лет каждый день был первым.
Опыт Бренды Милнер, 1962. Ему дают обводить звезду, глядя в зеркало. В первый день он промахивается, как все. На третий день ведёт линию почти чисто, как тренированный человек. И каждый раз говорит, что видит задачу впервые. Навык учился и рос. Память о том, что учился, умирала через минуту.
Что это значит. В тебе живут связи, о которых «ты» ничего не знает. Процедурная память лежит в мозжечке и базальных ганглиях, декларативная - в гиппокампе и коре. Они умирают порознь. Можно забыть человека и помнить, как он держал чашку. Можно разучиться языку и сохранить движение губ. Часть связей мертва для того, кто спрашивает, и жива для того, кто действует, и это один и тот же человек.

Что говорит наука, с ±: разделение процедурной и декларативной памяти на H.M. воспроизведено на десятках пациентов с амнезией и на здоровых (разные зоны активны на МРТ). Это один из самых прочных результатов нейропсихологии. Граница: «ты» на этом слайде - тот, кто способен сказать «помню». Мозжечок говорить не умеет, и спрашивать у него нечем.

Мёртвые связи · люди и язык

Половина круга сменяется, а форма круга та же. Язык умирает целиком и остаётся в ушах

Социальный прунинг. Данбар: человек держит около 150 связей, из них 5 ближайших, 15 близких, 50 друзей. Сарамяки и соавторы, 2014: по телефонным логам за полтора года состав ближнего круга заметно обновляется, но «подпись» (сколько внимания первому, сколько второму) у каждого человека своя и сохраняется. Молленхорст, 2014: за семь лет сменяется около половины личной сети. Люди уходят, форма дыры остаётся.
Критерий. Тот же: не использовалось. Связь, по которой перестали идти сигналы, вычёркивается не решением, а отсутствием решений. Никто не выбирал перестать звонить. Просто ни разу не позвонил, и микроглия быта сделала остальное.
Язык. Палье и соавторы, 2003: взрослые корейцы, усыновлённые во Францию в 3-8 лет, не узнают корейскую речь и в томографе на неё не реагируют, как французы, никогда её не слышавшие. Вырезано целиком. Чой, Брурсма и Катлер, 2017: но корейские звуки они выучивают заново быстрее, чем контрольная группа. Статуя убрана, форма камня осталась.

Связь	Умерла для	Жива для	Источник
навык рисования	памяти (H.M. не помнит уроков)	руки	Милнер, 1962
человек из круга	контакта	формы круга, места в нём	Сарамяки, 2014
родной язык	узнавания, понимания	скорости повторного обучения	Чой, 2017
закрытый глаз	коры	глаза	Хьюбел, Визель

Что говорит наука, с ±: обновление социального круга измерено на телефонных логах и опросах, цифры «половина за семь лет» грубые и зависят от возраста (у студентов быстрее, у пенсионеров медленнее). Исследования усыновлённых - малые выборки (от 8 до 30 человек), эффект повторного обучения небольшой, но воспроизведён дважды. Граница: мы меряем то, что человек может сказать или сделать; «умерло ли внутри» прибора нет.

Мёртвые связи · вброс

Что из тебя уже умерло, и ты не заметил, потому что заметить нечем

Вброс главы

Мёртвую связь нельзя заметить изнутри, по построению. Чтобы заметить, что о ком-то не думаешь, нужно о нём подумать, и в этот момент связь уже не мёртвая. Чтобы заметить, что разучился, нужно попробовать, а попробовать не приходит в голову, потому что связи, по которой приходит, нет. Слепое пятно глаза ты не видишь не потому, что оно маленькое, а потому что видеть его нечем: там нет рецепторов, и мозг зарисовывает дыру фоном.

Поэтому вопрос «что из меня умерло» не имеет ответа от первого лица. Его может видеть только кто-то снаружи: старый друг, которому ты перестал звонить, или мать, которая помнит, как ты говорил по-корейски. Ты для себя - статуя, которая не видит, какой камень убрали.

Следствие

Есть ровно один способ узнать про свои мёртвые связи: столкнуться. Встретить человека, которого не вспоминал десять лет, и обнаружить, что форма места цела, а связи нет. Услышать язык детства и ничего не понять, но выучить за месяц. Каждое такое столкновение - вскрытие, которое показывает дыру задним числом. Больше нечем.

А что если нет: а что если умершие связи не дыры, а просто занятые места? Что если то, что ушло, не исчезло, а было перекрыто соседями, как связи от закрытого глаза? Глава 10 про единственный случай, когда это видно напрямую: когда умирает не связь, а то, с чем она была.

Часть III · Человек · Глава 10

Фантомы

Человек теряет руку, а рука остаётся: чешется, болит, сжимается в кулак, которого нет. Карта руки в коре не умерла. На неё наползли соседи, лицо и плечо, и теперь прикосновение к щеке чувствуется в отсутствующем большом пальце. Мёртвый нейрон не исчезает. Его место занимают. То же самое происходит, когда умирает не рука, а человек.

Фантомы · кора

Карта руки не умирает, её захватывают соседи, и это видно на лице

Карта. Пенфилд, 1930-е: на поверхности коры лежит карта тела, участок на участок, рука рядом с лицом. Понс и соавторы, 1991: у обезьян через годы после потери чувствительности руки на участок руки в коре отвечает лицо. Соседи заняли освободившееся.
Рамачандран, 1990-е. Пациент с ампутированной рукой: ватной палочкой касаются щеки, он чувствует большой палец отсутствующей руки. Касаются верхней губы - указательный. На лице лежит карта утраченной кисти, потому что в коре лицо наползло на руку, а мозг продолжает читать сигналы с того участка как сигналы от руки. Фантом - не память о руке. Фантом - чужие нейроны на её месте, которых читают по старому адресу.
Зеркальный ящик. Тот же Рамачандран, 1996: зеркало ставят так, что здоровая рука отражается на месте утраченной. Пациент видит «обе» руки, разжимает отражённый кулак, и фантомная судорога отпускает. Мозгу показали, что рука разжалась, и он поверил. Боль была не в руке. Она была в карте.

Что это говорит про вычитание

Вырезание на всех трёх этажах не оставляет пустоты. Когда котёнку закрывают глаз, его участок не пустует, его занимает другой глаз. Когда уходят связи в сети, их веса перераспределяются. Когда уходит человек из круга, его место в «подписи» занимает следующий. Мёртвый нейрон - это не отсутствие, а присутствие кого-то другого по старому адресу. Поэтому дыру и нельзя увидеть: она заполнена.

Что говорит наука, с ±: перестройка карт коры после ампутации измерена томографией и магнитоэнцефалографией на сотнях пациентов; степень захвата соотносится с силой фантомной боли (Флор, 1995). Зеркальная терапия помогает части пациентов, эффект в клинических испытаниях умеренный и не у всех. Граница: карта «лицо на месте руки» измерена; «фантом = чужие нейроны по старому адресу» - интерпретация, самая принятая, но не единственная.

Фантомы · горе и вброс

Горе - это обучение, и оно не бывает быстрым по той же причине, что прунинг

Книга. Мэри-Фрэнсис О'Коннор, «Горюющий мозг», 2022, двадцать лет томографии людей в трауре. Тезис: близкий человек записан в мозге как часть карты мира, с координатами «где он сейчас» и «когда вернётся». Смерть - сообщение, которое противоречит карте, и карта не перерисовывается от одного сообщения. Нужны месяцы столкновений: открыл телефон, набрал, вспомнил. Каждое столкновение - одна перезапись, и их нужно много.
Почему долго. Потому что это прунинг в реальном времени. Связи с человеком вырезаются по тому же правилу: не используются. А чтобы перестали использоваться, их надо каждый раз дёрнуть и получить тишину. Горе - это микроглия, которой показывают синапс за синапсом, что по ним больше ничего не идёт. Быстрее нельзя, как нельзя за день вырезать кору.
Фантом. Умершего продолжают слышать, видеть на улице, чувствовать в комнате: от трети до половины вдов и вдовцов в первый год (Рис, 1971, Уэльс). Это не мистика и не болезнь. Это карта, на которую ещё не наползли соседи, и её читают по старому адресу.

Вброс главы

Умерший человек не исчезает из тебя. Его место занимают, медленно, те, кто рядом, и ты узнаёшь об этом, когда прикосновение к щеке отзывается в руке, которой нет: когда чужой жест вдруг напоминает его. Фантом - не память. Фантом - соседи по старому адресу. И это единственное место на третьем этаже, где вычитание видно напрямую, потому что здесь вырезают не изнутри, а снаружи, и у тебя есть с чем сравнить.

А что если нет: а что если соседей не пускать? Держать адрес пустым: не трогать комнату, не удалять номер, не давать месту зарасти. Это и называется осложнённым горем, оно есть у 7-10% потерявших, и это состояние, в котором карта не перерисовывается годами. Шерешевский, только про одного человека.

Часть III · Человек · Глава 11

Воскрешение

Последний вопрос третьего этажа: можно ли оживить мёртвый нейрон. В машине - да, одной строкой. В мозге окно закрывается, но его научились приоткрывать. А потом вопрос поворачивается: а надо ли. Если мёртвый нейрон - принятое решение, то что останется от того, кто принимал, если все решения отменить.

Воскрешение · три способа

Переинициализировать, приоткрыть окно, отдать соседям: что умеют три этажа

Этаж	Способ	Что получается
машина	мёртвый узел получает новые случайные веса	нейрон жив, но это другой нейрон: прежнего не было, восстанавливать нечего
мозг, окно	критический период приоткрывают химически	взрослая мышь снова учится как детёныш, недолго
мозг, инсульт	соседние зоны берут функцию	рука двигается, но управляет ею уже не тот участок
человек	найти старого друга, выучить язык заново	быстрее, чем с нуля; и всё равно другое

Что говорит наука, с ±: Нарду и соавторы, Nature 2019: МДМА у взрослых мышей на две недели вновь открывает критический период социального обучения, который в норме закрыт после подросткового возраста; в 2023 та же группа показала это для нескольких психоделиков, с разной длительностью окна (Nature, Нарду 2023). Данные на мышах, на людях клинические испытания идут. Восстановление после инсульта за счёт перестройки измерено на тысячах пациентов, предел - примерно первые полгода.

Общее у всех четырёх строк. Ни в одной не возвращается то, что умерло. В машине приходит новый узел. В мозге взрослого окно открывается для нового обучения, а не для возврата старого: котёнок с закрытым глазом не прозреет, он может научиться чему-то ещё. После инсульта функцию берут соседи, по тому же правилу, по которому лицо берёт руку. Корейский выучивается быстрее, но это новый корейский, а не тот.
Значит. Воскрешения нет ни на одном этаже. Есть замещение: кто-то новый по старому адресу. Это глава 10 с другого конца: фантом - это когда замещение уже произошло и его читают по-старому; «воскрешение» - когда замещение называют возвратом.

Воскрешение · а что если нет

Мёртвый нейрон - принятое решение. Отмени все, и некому будет отменять

А что если нет: оживлять нельзя и не надо

Представим, что воскрешение возможно: вернуть все вырезанные связи, все пятнадцать тысяч синапсов на нейрон, всех людей в круг, все языки, все версии каждого воспоминания. Это не ты в полноте. Это Шерешевский в кубе: лес, в котором нет ни одной просеки, и значит нет ни одной дороги. Первый этаж сказал это мышами, второй - переобученной сетью, третий говорит прямо: ты и есть сумма решений, которые нельзя отменить. Каждый мёртвый нейрон - это «нет», сказанное всему, чем ты не стал.

Тогда желание вернуть - это желание не быть. Не в трагическом смысле, а в арифметическом: отменить вырезание значит отменить форму, а форма - единственное, что здесь было твоим.

Следствие, которое пугает

Забыть можно только то, что перестало дёргать за связи. Значит, пока ты помнишь, оно живо, и наоборот: то, что живо, нельзя забыть усилием, потому что усилие - это и есть использование. Шерешевский сжигал бумажки с числами и помнил. Горюющий набирает номер и помнит. Единственный способ дать чему-то умереть - перестать к нему прикасаться, и это единственное, что нельзя сделать нарочно.

Нож, который держишь ты, - это единственный нож, который не режет. Всё, что в тебе вырезано, вырезано без тебя. И всё, что ты пытаешься вырезать сам, от этого живёт.

Следующий вопрос, которого в этом выпуске уже не будет: если так, то что такое «решить измениться». Это вопрос для другого выпуска, и он уже стоит в очереди под названием «Я так решил» из «Случайно».

Итоги · карта

Все вбросы выпуска на одном слайде

Глава	Вброс	Что измерено	Цена «а что если нет»
1. Половина	ты - выживший в конкурсе, которого не помнишь	~50% нейронов гибнет, NGF, каспазы	мозг не влезает в череп
2. Прунинг	взросление - вырезание, режет иммунитет	−40% синапсов, микроглия, C4, котята	аутизм, шум
3. Забывание	память - выживший, а не архив	нейрогенез стирает, Rac1, реконсолидация	Шерешевский
4. Пенсия	учиться и терять - одна операция	−0,2-0,5% объёма в год, словарь до 70	нет второго мозга для сравнения
5. ReLU	лечим как баг то, что биология назначила функцией	нулевой градиент, до 40% мёртвых	переобучение
6. Dropout	та же половина, тот же нож, видно кто держит	−50% на шаг, билет 10%	запоминает наизусть
7. Катастрофа	мы построили мозг без прунинга, он отвечает, не живёт	сон = воспроизведение, Ландауэр	открыто: что будет, если разморозить
8. Нож	личность - схема вырезания; чертила среда	7 строк, 6 без замысла	три ответа, все платные
9. Связи	мёртвое в тебе нельзя заметить изнутри	H.M., круг за 7 лет, корейцы	только столкновение
10. Фантомы	мёртвый нейрон - соседи по старому адресу	лицо на месте руки, горе как обучение	осложнённое горе, 7-10%
11. Воскрешение	ты - сумма решений, которые нельзя отменить	окно у мышей на 2 недели, инсульт	нож, который держишь сам, не режет

Нитка целиком: на первом этаже нож у микроглии, на втором у инженера, на третьем мы его не нашли, и это результат, а не пробел. Критерий на всех этажах один и смотрит назад: что не использовалось. Замысла нет нигде, включая седьмую строку таблицы из главы 8.

Итоги · граница

Честно про этот выпуск: отсюда нейронаука, дальше мы

Что измерено хорошо. Гибель половины нейронов, прунинг синапсов, микроглия с комплементом, критические периоды, мёртвые ReLU, dropout, лотерейный билет, катастрофическое забывание, карты коры после ампутации. Это не гипотезы, это учебники, и плашки в выпуске стоят на них.
Что измерено хуже. Нейрогенез у взрослого человека (спор 2018 года не закрыт), «шизофрения как избыточный прунинг» (гипотеза с поддержкой), реконсолидация у человека (есть, но слабее, чем у крыс), половина круга за семь лет (грубо), повторное обучение у усыновлённых (малые выборки).
Что не измерено и не будет. Какая доля вырезанного была «ты». Нет прибора, который отличил бы синапс, составлявший личность, от синапса, который просто мешал. Вся третья часть и центральная глава стоят на этом неизмеримом, и выпуск этого не скрывал.

Что не закрыто, список:
1. Почему именно половина, а не треть и не две трети.
2. Есть ли у взрослого нейрогенез, и значит ли это, что взрослый всё ещё забывает тем же способом.
3. Что будет с языковой моделью, которой разрешат забывать.
4. Отличается ли седьмая строка таблицы от шести, или мы просто сидим внутри неё.
5. Можно ли заметить мёртвую связь изнутри хоть каким-то способом, кроме столкновения.
6. Что такое «решить измениться», если нож, который держишь сам, не режет.

Граница честно: выпуск ставил нейронауку и машинное обучение рядом и утверждал, что это одна операция. Строго это аналогия: уравнения градиента и химия комплемента - не одно и то же, и мы это знаем. Оправдание аналогии одно: оба устройства учатся на примерах, и обоим для этого пришлось вычитать, независимо друг от друга. Где операция одна, там аналогия становится наблюдением. Отсюда нейронаука. Дальше мы.

Mors ianua vitae

«Смерть - врата жизни». Эту надпись ставили над воротами кладбищ и оссуариев, чтобы входящий понимал, куда идёт. В этом выпуске она висит над другой дверью: в детскую. Половина нейронов, сорок процентов синапсов, три года памяти, десять процентов сети, половина круга и одна рука, которая ещё чешется. Всё это прошло через эти ворота, и с той стороны оказался ты.

Ты не то, что в тебе выросло. Выросло у всех одно и то же. Ты то, что в тебе не вырезали, и нож держал не ты. Статуя была в камне всегда. Просто она узнаёт, кто она, последней.