← все презентацииоткрыть презентацию →
Карта презентации

Мёртвые нейроны

Три выпуска подряд мы спрашивали, откуда берётся: механизм из чуда, огонь из мифа, порядок из шума. Ни разу не спросили, что для этого пришлось убрать. Этот выпуск про вычитание. Про половину нейронов, которые умерли до твоего рождения, про нейроны в сети, которые выдают ноль и больше не учатся, и про связи в тебе, которые уже мертвы, а ты не заметил, потому что заметить нечем.
44 слайдов · 13 глав

Вступление

  1. Название читается три раза, и на каждом этаже кто-то держит нож02
  2. Три выпуска про то, что появляется. Ни одного про то, что для этого убрали03
Часть I · Мозг · Глава 1

Половина

Ты выживший в конкурсе, которого не помнишь. До рождения в твоём мозге было примерно вдвое больше нейронов, чем сейчас. Проигравшие не погибли от болезни и не были убиты. Они получили сигнал и выполнили программу самоуничтожения, которая записана в каждой клетке и ждёт команды.

  1. Нейроны конкурируют за еду, и проигравшие убивают себя сами05
  2. Мыши, которым запретили умирать: мозг больше, и это не подарок06
Часть I · Мозг · Глава 2

Прунинг

Выжившие нейроны делают следующий шаг: соединяются со всем, до чего дотянутся. К двум годам у ребёнка синапсов больше, чем будет когда-либо. Дальше начинается то, что мы называем взрослением, и это не рост. Это обрезка, и держит ножницы не мозг, а иммунитет.

  1. Пик в два года, минус сорок процентов к взрослости, кора режется до тридцати08
  2. Ножницы держит микроглия: тебя вырезает иммунная система09
  3. Слишком сильно - шизофрения, слишком слабо - аутизм, не вовремя - навсегда10
  4. Взросление - не рост, а вырезание, и режет тебя не ты11
Часть I · Мозг · Глава 3

Забывание

Мы привыкли думать, что память - запись, а забывание - её порча. Данные последних пятнадцати лет говорят другое: у забывания есть свои гены, свои клетки и своя работа. Память - это не то, что записали. Это то, что уцелело от стирания, и стирание делает новое, а не старое.

  1. Новые нейроны стирают старые воспоминания: почему ты не помнишь себя до трёх лет13
  2. Человек, который не мог забывать, и поэтому не мог жить14
  3. Ты помнишь не событие, а его последнюю версию15
Часть I · Мозг · Глава 4

Пенсия

Нейроны взрослого почти не делятся. С двадцати пяти лет мозг теряет объём каждый год, и к семидесяти это минус десятая часть. При этом словарный запас, суждение и то, что психологи называют кристаллизованным интеллектом, растут до шестидесяти с лишним. Орган убывает и умнеет одновременно, и в этом нет противоречия, если всё предыдущее верно.

  1. Минус объём, плюс словарь: две кривые, которые идут в разные стороны17
  2. Мозг умнеет, умирая. Значит, учиться и терять - одна операция18
Часть II · Машина · Глава 5

Мёртвый ReLU

В нейронных сетях «мёртвый нейрон» - не метафора, а термин с определением. Узел, который однажды ушёл в ноль, перестаёт получать сигнал об ошибке и больше не учится никогда. В больших сетях таких узлов бывает до сорока процентов. Инженеры считают это багом и лечат. Первый этаж только что показал, что биология считает это способом работы.

  1. Нейрон, который выдал ноль и больше не получает ошибку, мёртв по определению20
  2. Мы лечим как баг то, что биология назначила функцией21
Часть II · Машина · Глава 6

Dropout и лотерейный билет

Два открытия с разницей в семь лет. Первое: если во время обучения случайно отключать половину нейронов, сеть обобщает лучше. Второе: в любой обученной сети уже лежит подсеть в десять процентов, которая умеет всё то же самое, а остальные девяносто - мёртвый груз, без которого, впрочем, эту подсеть не найти. Половина и девяносто процентов. Цифры с первого этажа.

  1. Убивать половину нейронов на каждом шаге, чтобы ни один не мог сговориться23
  2. В любой обученной сети уже лежит живая подсеть в десять процентов24
  3. Та же половина, тот же запас, тот же нож. Только теперь мы видим, кто его держит25
Часть II · Машина · Глава 7

Катастрофическое забывание

Сеть не умеет забывать понемногу. Если обученную сеть учить новому, она стирает старое целиком: это называется катастрофическим забыванием, известно с 1989 года и до сих пор не решено. Мозг решил ту же задачу сном. А самое умное, что мы построили, решило её тем, что перестало учиться вовсе.

  1. Учишь новое - стираешь старое. Мозг обошёл это двумя системами и сном27
  2. Мы построили то, чего боялись на первом этаже: мозг без прунинга, и он не живёт, а отвечает28
Часть II · Глава 8 · центральная

Кто держит нож

Два этажа пройдены, нитка натянута. В мозге нож держит микроглия с одним критерием: что не используется. В машине - инженер с тем же критерием. Ни один из них не знает, что получится. Остался третий этаж, и на нём вопрос звучит иначе: в тебе, в том, что ты называешь собой, кто решает, что умрёт?

  1. Кто режет, по какому правилу и что бывает без ножа: три строки, одна таблица30
  2. Личность - не то, что записано, а схема вырезания. Кто чертил схему31
Часть III · Человек · Глава 9

Мёртвые связи

Третий этаж, третье чтение. Нейрон здесь - связь: с навыком, с человеком, с языком. Они умирают так же, как синапсы, по тому же критерию «не использовалось», и так же без замысла. Разница одна: на этом этаже умершее нельзя увидеть под микроскопом. Можно только спросить, чем ты собирался это заметить.

  1. Навык жив, когда память о нём умерла: рука помнит то, чего не было33
  2. Половина круга сменяется, а форма круга та же. Язык умирает целиком и остаётся в ушах34
  3. Что из тебя уже умерло, и ты не заметил, потому что заметить нечем35
Часть III · Человек · Глава 10

Фантомы

Человек теряет руку, а рука остаётся: чешется, болит, сжимается в кулак, которого нет. Карта руки в коре не умерла. На неё наползли соседи, лицо и плечо, и теперь прикосновение к щеке чувствуется в отсутствующем большом пальце. Мёртвый нейрон не исчезает. Его место занимают. То же самое происходит, когда умирает не рука, а человек.

  1. Карта руки не умирает, её захватывают соседи, и это видно на лице37
  2. Горе - это обучение, и оно не бывает быстрым по той же причине, что прунинг38
Часть III · Человек · Глава 11

Воскрешение

Последний вопрос третьего этажа: можно ли оживить мёртвый нейрон. В машине - да, одной строкой. В мозге окно закрывается, но его научились приоткрывать. А потом вопрос поворачивается: а надо ли. Если мёртвый нейрон - принятое решение, то что останется от того, кто принимал, если все решения отменить.

  1. Переинициализировать, приоткрыть окно, отдать соседям: что умеют три этажа40
  2. Мёртвый нейрон - принятое решение. Отмени все, и некому будет отменять41
  3. Все вбросы выпуска на одном слайде42
  4. Честно про этот выпуск: отсюда нейронаука, дальше мы43

«Смерть - врата жизни». Эту надпись ставили над воротами кладбищ и оссуариев, чтобы входящий понимал, куда идёт. В этом выпуске она висит над другой дверью: в детскую. Половина нейронов, сорок процентов синапсов, три года памяти, десять процентов сети, половина круга и одна рука, которая ещё чешется. Всё это прошло через эти ворота, и с той стороны оказался ты.