Написано командой Qubic Scientific
Мозг динамичен и не является бинарным
Биологические сети мозга не функционируют как переключатель решений между активацией и отдыхом. В живых системах бездействие само по себе подразумевает динамичность. Абсолютный «отдых» был бы несовместим с жизнью. Как мы видели в первой главе, жизнь разворачивается во времени.
Отдельный нейрон может казаться событием «всё или ничего», передавая электрический ток другому нейрону для его ингибирования или возбуждения. Однако перед этой передачей, действие потенциала, нейрон непрерывно получает положительные и отрицательные входные данные в области, называемой дендритами. Если глобальная сумма этих входов превышает определённый порог, происходит физическое конформационное изменение, и электрический ток распространяется по аксону к следующему нейрону. Большую часть времени нейронная обработка происходит ниже порога действия, где возбуждающие и ингибирующие токи постоянно интегрируются.
В вычислительной нейробиологии хорошо установлено, что мозг является непрерывной динамической системой, состояния которой развиваются даже в отсутствии внешних стимулов (Деко и др., 2009; Нортхофф, 2018).
В мозге нет дискретных событий или сбросов. Каждый внешний стимул воздействует на живую систему, которая уже имеет предыдущее состояние. Стимул может смещать возбуждающее или тормозящее состояние, но никогда статическое. Это похоже на мяч на футбольном поле: одна и та же траектория вызывает разные результаты в зависимости от динамических позиций игроков. С идентичным путем игра может провалиться или стать решающим ассистом.
Механизмы, которые поддерживают нейроны активными независимо от немедленных стимулов, хорошо известны.
Один из них состоит из подThreshold входов, которые изменяют мембранный потенциал, не генерируя потенциал действия.
К другим относятся молчаливые синапсы и дендритные шипы, которые сохраняют латентную связь между нейронами или способствуют локальной активации.
Самый важный механизм включает метаботропные рецепторы, связанные с нейротрансмиттерами, которые организуют контекст. Они не определяют напрямую, будет ли вызван потенциал действия. Вместо этого они определяют, что является актуальным, что предсказывает вознаграждение, какой уровень тревоги или опасности присутствует, насколько новизна существует в системе, какой уровень устойчивого внимания требуется, какой баланс между исследованием и эксплуатацией уместен, что должно быть закодировано, а что забыто, как регулируется внутреннее состояние и когда контроль импульсов или временная стабильность являются выгодными.
Другими словами, метаботропные рецепторы реализуют форму мудрого метаконтроля. Они не являются данными, а параметрами! Они функционируют как динамические переменные, которые настраивают поведение системы. Они позволяют системе стать чувствительной к функциональному значению ситуации (новизна, релевантность, вознаграждение или угроза) без необходимости немедленных реакций.
Возвращаясь к футбольной метафоре, метаботропные рецепторы соответствуют тактике команды: решению, когда атаковать или защищаться, то есть решению, как играется игра.
С вычислительной точки зрения эти механизмы действуют через промежуточные состояния. Они не являются двоичными (активными/неактивными). Система работает в трех режимах: возбуждающий, тормозящий и промежуточное состояние, которое не производит немедленного выхода, но модулирует будущую динамику.
Когда мы говорим о тернарности в биологических нейронных сетях, мы не имеем в виду математическую абстракцию или исчисление, а буквальное функциональное описание того, как мозг поддерживает баланс с течением времени.
По этой причине вычислительная нейробиология не изучает в первую очередь соответствия вход-выход, а скорее то, как состояния непрерывно реорганизуются. Эти состояния по своей природе являются предсказательными (Фристон, 2010; Деко и др., 2009).
LLM являются двоичными вычислениями.
В больших языковых моделях концепция тернарности не имеет смысла. Обучение в основном основано на обратном распространении ошибки. То есть, как только величина ошибки относительно ожидаемых данных известна, алгоритм оптимизации корректирует параметры с использованием внешнего сигнала.
Как это работает? Модель производит выход, например, предсказание самого вероятного следующего слова: "Париж — столица ...". Если ответ Финляндия, это сравнивается с правильным словом из обучающего набора (Франция). Из этого сравнения вычисляется численная ошибка. Эта ошибка количественно определяет, насколько предсказание отклоняется от ожидаемого значения. Ошибка затем преобразуется в градиент, то есть математический сигнал, который указывает, в каком направлении и на сколько должны быть скорректированы параметры модели, чтобы уменьшить ошибку. Веса обновляются назад только после того, как выход был произведен и оценен.
Ошибка вычисляется апостериори, веса корректируются так, чтобы правильный ответ стал Францией, и система возобновляет работу, как будто ничего не произошло.
В больших языковых моделях разделение между динамикой и обучением особенно выражено. Во время вывода параметры остаются фиксированными; нет онлайн-пластичности, нет habituation, нет усталости и нет временной адаптации. Система не меняется, будучи активной.
В футбольной метафоре LLM напоминают тренера, который пересматривает ошибки после матча и корректирует тактику для следующего. Но во время самого матча команда играет все девяносто минут без какой-либо возможности технической или тактической модификации!
Существует предматчевая стратегия и постматчевая коррекция, но нет динамики во время игры!
Таким образом, LLM не являются тернарными в функциональном смысле. Они представляют собой матрицы "внимания" (трансформеры), обученные оффлайн (Васвани и др., 2017). Это не количественное ограничение, а онтологическое различие.
Тернарная динамика Neuraxon и Aigarth
Neuraxon представляет собой принципиально другую структуру. Его базовая единица не является функцией входа-выхода, как в LLM, а внутренним непрерывным состоянием, которое развивается с течением времени. В Neuraxon возбуждение представлено как +1, торможение как −1, а между этими двумя состояниями существует нейтральный диапазон, представленный 0.
В каждый момент времени система интегрирует влияние текущих входов, недавней истории и внутренних механизмов, чтобы сгенерировать дискретный триномиальный выход (возбуждение, торможение или нейтральность).
Отношения между временем и тернарностью являются центральными. Нейтральное состояние не представляет собой отсутствие вычислений или бездействия, а является подсThreshold фазой, в которой система накапливает влияние, не производя немедленного выхода. Это можно сравнить с динамическим тактическим изменением в футбольной команде, независимо от того, приводит ли это к голу или нет.
Aigarth выражает ту же логику на структурном уровне. Не только сами единицы являются тернарными, но и сеть может расти, реорганизовываться или разрушаться в зависимости от своей полезности, вводя эволюционное измерение, которое усиливает непрерывную адаптацию. Комбинация Neuraxon–Aigarth (микро–макро) порождает вычислительные ткани, способные оставаться активными (единицы интеллектуальной ткани), что невозможно для архитектур, основанных исключительно на обратном распространении.
Вопрос аппаратного обеспечения нельзя игнорировать. В настоящее время нет универсального тернарного оборудования, но существуют активные исследовательские направления в области тернарной логики, включая многозначные мемристоры и нейроморфные вычисления на основе резистивных или спинтронных устройств (Ян и др., 2013; Индивери и Лю, 2015). Эти подходы направлены на снижение потребления энергии и, что более важно, на достижение тернарных вычислений, согласованных с физической, живой и непрерывной динамикой.
Имеет ли смысл тернарная архитектура даже без специализированного тернарного оборудования? Несмотря на это ограничение, имеет, потому что архитектура предшествует физическому субстрату. Проектируя тернарные системы, мы раскрываем неспособность двоичной логики отражать динамический мир. В то же время тернарные архитектуры, такие как Neuraxon–Aigarth, уже могут давать улучшения на существующем двоичном оборудовании, снижая ненужную активность.
Ссылки
Деко, Г., Джирса, В. К., Робинсон, П. А., Брейкспер, М., и Фристон, К. Дж. (2009). Динамический мозг: от спайковых нейронов до нейронных масс и корковых полей. PLoS Computational Biology, 5(8), e1000092.
Фристон, К. (2010). Принцип свободной энергии: единая теория мозга? Обзоры природы нейробиологии, 11(2), 127–138.
Индивери, Г., и Лю, С.-С. (2015). Память и обработка информации в нейроморфных системах. Труды IEEE, 103(8), 1379–1397.
Нортхофф, Г. (2018). Спонтанный мозг: от проблемы ума и тела к нейрофеноменологии. MIT Press.
Васвани, А., Шазир, Н., Пармар, Н., и др. (2017). Внимание — это все, что вам нужно. Программы передовых нейронных информационных систем, 30.
Ян, Д. Д., Струков, Д. Б., и Стюарт, Д. Р. (2013). Мемристивные устройства для вычислений. Nature Nanotechnology, 8(1), 13–24.
\u003ct-120/\u003e\u003ct-121/\u003e