Тайны восприятия

Рис. 17.2. Примеры использованных нами в качестве прототипов лиц. Буквы служат для идентификации образов ив то жевремя выступают в роли кодового обозначения изображений

Рис. 17.3. Если синергетическому компьютеру предъявить фрагмент изображения лица (как на крайней левой картинке), то компьютер сможет воссоздать само лицо целиком и установить его кодовое обозначение. Изображения представляют собой снимки с монитора компьютера и иллюстрируют ход процесса распознавания. Интересно отметить, что на определенной стадии распознавания изображение лица выглядит «размытым»

Рис. 17.4. Если синергетическому компьютеру предъявлена только буква, служащая кодовым обозначением одного из сохраненных образов, то компьютеру удастся воссоздать соответствующее лицо. Приэтом процесс распознавания, как и в предыдущем случае, проходит через стадию «размытости»

ром полученных данных. Изображения на рис. 17.4 отражают ход другого процесса: на этот раз компьютеру было предложено реконструировать лицо по известному — в данном случае буквенному — коду. Компьютер успешно справился и с этой задачей. Изображения, представленные на рис. 17.3

и 17.4, сняты с монитора компьютера; по этим изображениям, представленным в виде временных рядов, можно проследить ход всего эксперимента. Изображения эти «обсчитаны» нами на обыкновенном, последовательном, компьютере, который, впрочем, способен лишь моделировать то, что происходит при распознавании образов в синергетическом смысле. На таком компьютере можно просчитать и неоднократно упоминавшиеся в этой книге процессы образования ячеек в нагреваемой снизу жидкости (рис. 2.13), несмотря на то, что нам известно, что все ячейки образуются одновременно в результате самоорганизации. То же относится и к процессу распознавания образов: принцип параллельной одновременной обработки всех точек изображения помогает нам лучше понять концепцию, лежащую в основе синергетического компьютера. Упомянутое параллельное — т. е. одновременное во всех точках изображения (или пикселях) — изменение оттенка серого отчетливо видно на рис. 17.3. Как же происходит такая обработка?

18.Сетевая архитектура синергетического компьютера — шаг к мозгу

Чтобы лучше понять, как все вышесказанное соотносится с деятельностью мозга, представим себе путь, по которому следуют нервные импульсы из сетчатки в кору головного мозга, где они обрабатываются и дают в конце концов осознанное зрительное впечатление. В нашей компьютерной модели это происходит следующим образом. Каждому пикселю воспринимаемого изображения ставится в соответствие «модельный» нейрон (рис. 18.1), составляющий в совокупности с другими нейронами некий плоский слой. Каждый отдельный нейрон нашей модели характеризуется собственным уровнем возбуждения, собственной активностью, изменяющейся в зависимости от изменения оттенка серого, — аналогичным образом свет различной интенсивности воздействует на зрительные клетки сетчатки. Нейроны мозга — как нам уже известно — соединены друг с другом синапсами; в нашей модели нейроны также соединены друг с другом, причем каждый модельный нейрон напрямую связан со всеми остальными модельными нейронами (рис. 18.2) и способен посылать им сигналы, сила которых соответствует его собственному уровню возбуждения. Получаемые сигналы нейроны модели умножают и складывают, изменяя тем самым свою собственную активность. Со временем в результате такой деятельности модельных нейронов из «входного образа» (рис. 17.3, слева) возникает «выходной образ» (рис. 17.3, справа). Секрет успешной работы такой системы заключается

164

Рис. 19.1. Холмистый ландшафт для случая всего лишь двух отличительных признаков идвух прототипов. Прототипам соответствуют долины. Если признаки предложенного образа не в точности совпадают с признаками прототипов, то такому образу соответствует положение мяча вне обеих долин. Приэтом мяч скатывается по склону в ближайшую долину. См.также рис. 19.2-19.4

впамяти образам. Одна из этих долин соответствует распределению интенсивностей света с рис. 19.2, а другая — распределению интенсивностей, показанному на рис. 19.3.

Вслучае, если наблюдаемое распределение интенсивностей отлично

иот первого запомненного образа (рис. 19.2), и от второго (рис. 19.3) — а представляет собой нечто вроде того, что изображено на рис. 19.4, — возникает вполне объяснимая неопределенность. К какому же из эталонных образов новое распределение окажется ближе? Ответ на этот вопрос дает динамика движения мяча по ландшафту, изображенному на рис. 19.1. Где-то на этом ландшафте имеется точка, соответствующая распределению с рис. 19.4. Оказавшись в этой точке, мяч, естественно, будет стремиться попасть в ближайшую к ней точку минимума. Из состояния, соответствующего распределению с рис. 19.4, система перейдет (следуя движению мяча)

всостояние, соответствующее распределению с рис. 19.2, и следовательно, эти распределения (рис. 19.2 и 19.4) будут идентифицированы как наиболее похожие. Можно также сказать, что в результате такого распознавания «ошибочная» картинка (рис. 19.4) с «неверным» тоном серого заменяется

Рис. 19.2. Один из прототипов: образ, содержащий только два отличительных признака (слева —черная область, справа —некоторый оттенок серого)

Рис. 19.3.Другой прототип

Рис. 19.4. Оттенок серого в предложенном образе может отличаться от оттенка сохраненного прототипа — так, например, правый квадрат данного рисунка темнее, чем правый квадрат на рис. 19.2, но светлее, чем нарис. 19.3. Синсргстичсский компьютер может установить, на какой издвух сохраненных прототипов предложенный образ похож больше, и «исправить» этот образ в соответствии с рис. 19.2

в восприятии компьютера на «правильную» картинку, оттенок серого на которой одинаков с запомненным.

Этот очень простой пример, в котором задействованы всего два модельных нейрона, может дать читателю вполне адекватное представление о том, как можно интерпретировать процесс распознавания образа по изображе-

нию, состоящему из очень большого количества пикселей, сетью, состоящей и соответствующего количества модельных нейронов. Каждый пиксель или модельный нейрон в нашей модели можно представить в виде координатной оси в пространстве, количество измерений которого равно количеству пикселей (или нейронов). Это многомерное пространство нам вряд ли удастся вообразить, однако математическими средствами такое вполне осуществимо. В полученном многомерном пространстве также имеется уже знакомая нам холмистая местность, по которой в поисках близлежащей «долины распознанного образа» катается «мяч состояния».

Читатель, возможно, уже догадался, что секрет синергетического компьютера заключается в правильном построении «холмов» потенциального барьера. Для такого построения нам потребуются знание определенных величин, о которых мы, впрочем, уже наслышаны. Направления, по которым в модельном пространстве располагаются долины, определяются с помощью так называемой матрицы обучения, причем такая матрица строится определенным образом из начальных запомненных образов (в описанном случае это образы распределения интенсивности). Каждая долина обладает определенной глубиной, которая определяется, в основном, через так называемый параметр внимания. В дальнейшем будет представлен способ определения этого параметра непосредственно из экспериментов по восприятию двойственных изображений. Между долинами должны располагаться цепи холмов, предназначение которых состоит в том, чтобы направлять мяч состояния системы в нужную долину (т. е. сопоставлять предложенному образу наиболее близкий к нему из запомненных). Поэтому цепи холмов строятся в соответствии с имеющимися начальными запомненными образами. И наконец, следует позаботиться и о том, чтобы возбуждение отдельного нейрона (модельного) не могло расти бесконечно.

Поскольку при движении по координатной оси в направлении от начала координат возбуждение постоянно и неизбежно растет (рис. 19.5), необходимо воздвигнуть «снаружи» достаточно высокий потенциальный барьер, который обеспечивал бы возвращения мяча в долины. Разумеется, все перечисленные «строительные требования» можно выразить математически. Заинтересовавшегося читателя мы отсылаем к списку специальной литературы (с. 255 и далее). Менее же заинтересованный в математическом обосновании читатель уже, надеемся, получил некоторое представление о том, как строится холмистая местность нашей модели.

Интересно, что из конструкции холмистой местности непосредственно следуют величины сил синаптических связей между модельными нейронами; иными словами, величины синаптических сил можно предсказать,

Рис. 19.5. Уровень возбуждения отдельной клетки прямо пропорционален некоторой переменной

переменная

основываясь на известных «строительных требованиях». В этом и заключается главное и очень большое преимущество синергетического компьютера перед всеми до сих пор известными моделями нейронных сетей. Об остальных отличиях мы непременно поговорим позднее, когда будем рассматривать другие нейронные сети. Можно легко представить, насколько громоздким оказалось бы математическое представление движения мяча по потенциальным холмам в многомерном пространстве (порядка 10 000 измерений), и нам никогда бы не удалось получить надежных результатов, не приди к нам на помощь еще одна синергетическая концепция — параметр порядка. Подобно тому как положение отдельных цилиндрических ячеек в жидкости (рис. 2.11 и 2.13) определяется одним параметром порядка, одним параметром порядка можно определить и набор оттенков серого для всех пикселей образа. То есть с помощью одного-единственного параметра порядка можно определить любой образ — включая и лицо человека. То же можно сказать и об уровне возбуждения каждого отдельного модельного нейрона — уровни возбуждения всех нейронов сразу определяются опятьтаки одним-единственным параметром порядка. Это чрезвычайно упрощает дело, так как теперь мы можем рассматривать уже не изменения активности каждого отдельного нейрона, а лишь процесс «борьбы» между различными параметрами порядка.

Динамику изменений параметров порядка в процессе их борьбы между собой можно проследить по движению мяча по холмистой местности. Величины отдельных параметров порядка определяются заданными начальными распределениями оттенков серого, соответствующими различным лицам. В процессе распознавания каждый параметр порядка стремится подчинить себе всю систему, причем победителем в этой борьбе становится тот параметр, определяемый которым запомненный тестовый образ оказывается более всего похожим на предложенную для распознавания картинку.

20.Еще одна сетевая реализация синергетического компьютера: «бабушкины клетки»

Интересно, что параметр порядка оказывается не просто абстрактным понятием, но и находит вполне конкретное воплощение в трехслойной нейронной сети (рис. 20.1). Верхний слой составлен из отдельных клеток, каждой из которых соответствует один пиксель. Когда нашему компьютеру предъявляется фрагмент какого изображения, в отдельных клетках (модельных нейронах) верхнего слоя возникает соответствующее возбуждение, и они посылают сигналы (электрические импульсы) к клеткам второго слоя. Важным нюансом здесь является то, что сила тока сигнала не только пропорциональна уровню возбуждения клетки первого слоя, но и зависит от имеющихся запомненных образов (см. рис. 20.2). Процесс первоначального обучения сводится, таким образом, к установлению связей определенной силы между клетками первого и второго слоя (см. рис. 20.1). Каждая клетка второго (среднего) слоя соотносится с каким-либо из первоначально заданных параметров порядка. Так, например, клетка 1 представляет параметр порядка, соответствующий образу (или лицу) 1, клетка 2 — образу 2 и т. д.

оо

Рис. 20.1. Трехслойная нейронная сеть. Верхний слой соответствует слою нейронов, изображенному нарис. 18.1 справа. Этот слой генерирует входные сигналы, которые передаются во второй слой, в результате чего в нейронах второго слоя возникает определенное возбуждение. Параметры порядка клеток второго слоя вступают в борьбу между собой; победивший параметр порядка возбуждает третий слой клеток, где и формируется полное изображение

Рис. 20.2.Более подробное объяснение процессов воздействия первого слоя на второй (см. рис.20.1). Возбуждение клеток входного слоя (Ei, E2 и т.д.) умножается на весовые коэффициенты gi,\, gi,2 ит.д.,а затем передается наклетки 1, 2, 3 среднего слоя. В этих клетках полученные сигналы складываются. Справа нарисунке— передача сигнала в клетку 2. Все передачи из клеток первого слоя в клетки второго происходят одновременно

В процессе распознавания между этими клетками возникает нечто вроде конкурентной борьбы. Перед началом «схватки» клетки среднего слоя должны определиться со своими исходными состояниями (т. е. установить себе первоначальные уровни возбуждения). Производится такая установка посредством сложения всех поступающих из первого слоя сигналов. Побеждает та клетка, уровень возбуждения которой оказался в результате такой процедуры самым высоким. Далее возбуждение этой клетки достигает максимума, в то время как возбуждение в остальных клетках затухает, и их активность приближается к нулю. Клетка, оставшаяся возбужденной, может теперь денервировать некоторый «выходной» набор клеток третьего слоя, которые, собственно, и дают на выходе нашего компьютера то запомненное распределение оттенков серого, которое соответствует предложенному фрагменту. Удивительно, что концепция такой клетки, которую мы будем называть здесь клеткой параметра порядка, не нова. Психофизиологам, если помните, для подтверждения одной гипотезы очень нужна была именно такая клетка — они называли ее «бабушкиной клеткой». Гипотеза же заключалась в том, что в зрительной коре головного мозга имеются некие особые нервные клетки, каждая из которых реагируют исключительно на свой, очень специфический, световой раздражитель (таким раздражителем может быть, например, лицо родной бабушки обладателя этих клеток). Существуют ли в действительности подобные клетки, окончательно пока не выяснено. Хотя, как уже упоминалось, имеются сообщения об эксперимен-

тах с овцами и высшими приматами, в ходе которых такие клетки якобы были обнаружены. Например, при демонстрации обезьяне человеческого лица возникает ярко выраженная реакция определенной нервной клетки коры ее головного мозга. Разумеется, эта клетка может быть и частью какого-то комплекса клеток, и тогда распознавание образа оказывается результатом деятельности целого ряда клеток, а не одной-единственной «бабушкиной клетки». Более того, наша модель синергетического компьютера требует, чтобы все «бабушкины клетки» были соединены между собой, так что и в нашем случае восприятие не является результатом деятельности одной клетки, но сети, составленной из всех таких клеток.

Решающее преимущество при восприятии концепция параметра порядка дает лишь тогда, когда мы не привязываем его к какому-то конкретному «вместилищу» (например, к «бабушкиной клетке»): каждому воспринятому образу (например, лицу) соотносится некоторый специфический параметр порядка. Как мы увидим позднее, параметр порядка остается неизменным, даже если соответствующее ему изображение лица удалено в пространстве, увеличено, уменьшено или вовсе повернуто набок; то же относится и к искаженным, зашумленным или пропущенным через различные фильтры изображениям. Иными словами, концепция параметра порядка совпадает по своим свойствам с концепцией собственно образа. Как это часто случается в науке, за преимущество, полученное нами благодаря параметру порядка, приходится платить, и вот какова цена: параметр порядка есть величина весьма абстрактная и требует от нас столь же абстрактного мышления.

Обобщим вышесказанное. Синергетический компьютер —т. е. компьютер, построенный в соответствии с законами синергетики — может быть реализован в виде сети связанных между собой клеток, так называемых модельных нейронов. Изменения общего состояния нейронной сети можно наглядно представить через движение мяча по холмистой местности. На абстрактном уровне такое движение (изменение состояния системы) будет соответствовать ходу конкурентной борьбы между различными параметрами порядка, в результате которой один из параметров побеждает (а мяч закатывается в какую-то из долин), и система приходит наконец в некое устойчивое структурное состояние. Движение мяча (и борьбу параметров порядка) можно смоделировать как на обычном, последовательном, компьютере, так и в сети из соединенных между собой клеток.

Принимая во внимание результаты экспериментальных исследований (на кошках), которые показали, что генерируемые нейронами нервные импульсы могут накладываться друг на друга, заметим в завершение данной главы, что наша модель также предполагает такую возможность; однако это