Lecture 1

Новые информационные технологии

Лекция № 1. Обработка информации в мозге человека

Естественно, что в информационно-коммуникационных технологиях используются подходы и методы искусственного интеллекта, основанные на представлениях об обработке информации в мозге человека.

Например, рассмотрим архитектуру стандартной системы распознавания речи.

Слайд 1

Система автоматического распознавания речи на основе искусственно-интеллектуального подхода к интеграции знаний

Можно заметить, что в ней использованы известные уровни представления лингвистической информации.

Слайд 2

Уровни представления лингвистической и экстралингвистической информации

(снизу вверх)

• прагматический

• семантический

• синтаксический

• лексический

• морфологический

• акустико-фонетический

Откуда берется такое иерархическое представление? Посмотрим, как обрабатывается информация в мозге человека. Для начала посмотрим, как устроен мозг человека.

Слайд 3

Головной мозг человека (На материале Silverthorn Human Physiology: An Integrated Approach, 2nd ed.)

Головной мозг человека включает в свой состав, в том числе: 1. лобную долю, lobus frontalis, 2. таламус, thalamus, 3. гиппокамп, hippocampus, 4. миндалевидное тело, corpus amygdaloideum, 5. гипоталамус, hypothalamus, 6. обонятельную луковицу, bulbus olfactorius.

За обработку специфической (зрительной, слуховой и т.д.) информации в мозге человека отвечают три основные структуры: кора головного мозга, гиппокамп и таламус. В колонках коры хранится информация о событиях, в гиппокампе – информация о связях событий в рамках более крупных событий, а таламус отвечает за управление передачей информации.

Слайды 4, 5

Большие полушария головного мозга человека

Кора больших полушарий головного мозга человека расположена в черепной полости головы. Она занимает поверхности больших полушарий и представляет собой компактно упакованную структуру. Если ее расправить, то она имеет площадь около 1200 квадратных сантиметров. Компактность упаковки коры достигается за счет расположения коры в складках. В результате на поверхности коры появляются извилины, которые отделяются друг от друга бороздами. Извилины собираются в более крупные фрагменты – области коры. Выделяют затылочные, височные, теменные и лобные области, а также – соматосенсорную и моторную кору. Затылочные области отвечают за обработку зрительной информации, височные – за обработку слуховой информации, соматосенсорная кора обрабатывает соматосенсорную и кинестетическую информацию, моторная кора ответственна за управление движениями, теменная кора интегрирует все виды специфической информации в единое целое, а лобные доли отвечают за целенаправленное поведение.

Извилины коры, отделенные друг от друга бороздами.

Складки коры. Строение коры (вертикальный

срез).

Слайд 6

Строение коры большого мозга (вертикальный срез):

I - молекулярный, II - наружный зернистый, III - наружный пирамидный, IV - внутренний зернистый, V - ганглиозный ( гигантских пирамид), VI – полиморфный.

Слайды 7, 8

Строение пирамидного нейрона

I - тело клетки, II – дендриты, III – аксон, IV - перехваты Ранвье, V - терминальные волокна.

Строение пирамидного нейрона. Связи между областями коры.

Нейроны являются основными функциональными единицами нервной системы. Они получают информацию от рецепторных органов и других нейронов (информация приходит на дендриты), интегрируют и перерабатывают информацию (в дендритах и теле нейрона), и передают ее другим нейронам и исполнительным (эффекторным) органам (с помощью аксона).

Слайд 9

Наружная кора левого полушария головного мозга

Наружная кора левого полушария головного мозга: поля Бродмана. Специально выделены первичные сенсорные области: зрительная - 17, слуховая - 41 и соматосенсорная - 1, 2, 3 (в совокупности их принято называть сенсорной корой), моторная (4) и премоторная (6) кора. (Оксфордский толковый словарь общей медицины, 2002 г.).

Области коры делятся на более мелкие фрагменты – поля (нумерация по Бродману). Информация от сенсорных органов приходит в первичные проекционные зоны зрительной коры (поле 17), слуховой коры (поле 41). Затем поступает во вторичные (поле 18 зрительной коры), и третичные проекционные зоны (поле 19 зрительной коры). Наименее вариативны, а потому, наиболее изучены связи в зрительной коре. То же можно сказать и о соматосенсорной информации. Далее, вся эта информация поступает в теменную кору, в которой формируется единое интегральное представление всей специфической информации, поступающей от всех сенсорных органов. С учетом всей этой информации в моторной коре формируются двигательные реакции, которые в виде управляющих импульсов передаются в спинной мозг и далее мышцам тела.

Слайд 10

Многоуровневая иерархическая структура из процессов обработки информации одной модальности

Многоуровневая иерархическая структура из процессов обработки информации одной модальности, в которой на каждом уровне имеется множество параллельно включенных процессов, связанных с процессами следующего уровня по типу "каждый-с-каждым".

Слайд 10

Левое полушарие головного мозга человека

(речевые зоны)

Все области полушарий головного мозга человека парные, кроме двух, отвечающих за речевые функции: зоны Брока и зоны Вернике. Зона Вернике отвечает за восприятие речи, зона Брока – за артикуляцию речи.

Слайды 11, 12

Связи в слуховом анализаторе

Помимо строения слухового анализатора нам понадобится понимание структуры зрительного анализатора. Дело в том, что модель мира, которая формируется в головном мозге человека, является многомодальной: в ее формировании участвует информация различных модальностей, в первую очередь слуховой, зрительной и соматосенсорной.

Слайды 13, 14

Связи в зрительном анализаторе

В соответствующих полях коры формируются представления о событиях мира данной модальности. В речевой слуховой коре – это представления лингвистических событий, в зрительной коре – представления событий, воспринятых зрительным анализатором. Наиболее понятны такие представления в соматосенсорной и моторной коре. Это органы тела человека в их проекции на соответствующую зону коры.

Слайд 15

Гомункулюс (проекции органов человека на соматосенсорную и моторную кору)

Слайды 16, 17

Колонка коры. Гиперколонка коры

Колонка коры (слева). Здесь: I - пирамидные нейроны, II – их дендриты, III - возвратные коллатерали аксонов пирамид третьего слоя, IV - боковые связи, V – их аксоны, VI-VII - связи из других областей коры, VIII - вставочные нейроны.

Гиперколонка коры (справа). Здесь: I - пирамидные нейроны, II – колонка, а - аксонные пучки, б - специфические афферентные волокна, в - горизонтальная клетка.

Пирамиды третьего слоя коры собираются в объединения, отграниченные друг от друга анатомически – в виде колонок близко расположенных нейронов. Эти объединения также формируются и по функциональному типу: нейроны, входящие в колонку, обрабатывают одну и ту же информацию, приходящую на колонку по одному афферентному волокну из таламуса. Кроме того, они управляются общей горизонтальной клеткой первого слоя коры, как единое образование. В колонках и формируются представления о событиях, составляющие модель мира.

Слайд 18

Нейроподобный элемент с временной суммацией сигналов

Нейроподобный элемент с временной суммацией сигналов. 1. Вход. 2. Возбуждающие синапсы. 3. Тормозные синапсы. 4. Тело клетки (сумматор). 5. Выход. 6. Обобщенный дендрит - многоразрядный регистр сдвига. 7. Управляющий синапс.

Слайд 19

Нейронная сеть из нейроподобных элементов с временной суммацией сигналов

Пирамидные нейроны третьего слоя возбуждаются избирательно в зависимости от комбинации возбуждающих и тормозных синаптических связей на их дендрите. Эта комбинация называется адресом нейрона. Поэтому, если есть некоторое множество таких нейронов с разными адресами, произвольная информационная последовательность, поступающая на вход такого множества, отобразится избирательно в последовательность сработавших пирамидных нейронов, сформирует траекторию. Причем, если во входной последовательности найдется повторяющийся фрагмент, он снова попадет на те нейроны, которые уже были пройдены, так как в нем повторятся их адреса.

Таким образом, пирамидные нейроны в колонках как бы отлавливают повторяющуюся во входной последовательности информацию. Если мы имеем на входе некоторый текст (или квазитекст), в некоторых последовательностях нейронов запомнятся повторяющиеся фрагменты текста. Например, слова.

Если на те же нейроны, после обучения словам, подать информационную последовательность, то после взаимодействия ее с обученными нейронами, на выходе сформируется последовательность, содержащая информацию, связывающую слова в тексте. Старая информация отфильтруется, останется только новая – информация о связях слов.

Слайд 20

Ассоциативное преобразование

Модуль для структурной обработки.

Квадратик – это одна колонка (множество пирамидных нейронов с разными адресами). При обучении нейронов, они запоминают слова, которые повторялись в тексте. Колонка с обученными нейронами начинает извлекать из входной информационной последовательности связи слов в тексте. Последовательность связей может в свою очередь обучить нейроны другой колонки, в результате чего ее нейроны будут хранить информацию о повторяющихся словах более высокого уровня.

Слайд 21

Это колонки, в которых формируются словари разного уровня.

Вспомним иерархию лингвистических событий разного уровня (снизу-вверх).

• прагматический

• семантический

• синтаксический

• лексический

• морфологический

• акустико-фонетический

Действительно, в слуховой коре можно увидеть наличие сформированных словарей разного уровня. Конечно, представление там более дробное и подробное. Но идея иерархической обработки сохраняется. При обучении постепенно заполняются колонки иерархической структуры. Формируются словари, например, флективных морфем, корневых основ, синтаксических групп.

Такой же обработке подвергается любая другая внутренне структурированная входная информация, например, зрительная. Только в этом случае словари будут содержать события зрительной модальности: элементарных представлений, элементов объектов, объектов.

Слайд 22

Однако на этом обработка не заканчивается. Следующий уровень представления информации – семантический. Вспомним про гиппокамп, в котором сохраняется информация о связях событий в рамках сцен.

Слайд 23

Семантический уровень представления

Информация семантического уровня заключается в смысловой сочетаемости событий. Одни события могут находиться рядом, другие не могут, но могут через третьи события. Удобным способом представления семантики являются семантические сети. Здесь ближайшие соседи понятия являются его семантическими признаками.

Слайд 24

Гиппокамп

Гиппокамп. 7 - мозолистое тело, 8 – валик, 9 - птичья шпора, 10 – гиппокамп, 11 – бахромка, 12 – ножка.

Слайд 25

Ламели гиппокампа

Гиппокамп состоит множества ламелей, каждая из которых имеет поле СА₃, которое моделируется полносвязной сетью Хопфилда.

Слайд 26

Ламель гиппокампа

Гиппокамп получает информацию из энторинальной коры, она поступает в поле СА₃, которое условно можно назвать весовой матрицей, формирующей в памяти основное представление о пространственно-временном контексте входных событий. Далее она попадает в матрицу поля СА₁, и наконец, в субикулюм, который вновь направляет

информацию в энторинальную кору.

Слайд 27

Архитектура гиппокампа

Поле СА₃ является ассоциативной памятью, хранящей события в их взаимосвязях.

Слайд 28

Основная структура связей поля СА3, взятая из работы [Brown T.H., Zador A.M., 1994]

В качестве модели можно рассмотреть автоассоциативную память на основе сети Хопфилда.

Слайд 29

Пример сетей Хопфилда

Сеть Хопфилда имеет единственный слой нейронов. Все нейроны связаны со всеми. Связи являются направленными.

Нейроны – это понятия, и все это напоминает семантическую сеть.

Слайд 30

Ассоциативная память на основе сети Хопфилда

На основе искусственной нейронной сети Хопфилда можно построить ассоциативную память. Суть ее заключается в следующем. Рассмотрим сетку батута, растянутую на пружинах. Если ее оттянуть в одном или нескольких местах, а потом отпустить, она вернется в свое первоначальное состояние. Если сетку сделать из резиновых жгутов разной толщины, закрепленных на пружинах не только в горизонтальной, но и в вертикальной плоскостях, сетка примет некоторую конфигурацию, зависящую от толщины резиновых жгутов (вес связей в сети Хопфилда) и оттягивающих пружин. Сеть принимает (запоминает) некоторый образ. Если нарушить ее равновесие (оттянуть в каких-то местах), она поколеблется вокруг своего положения равновесия, а потом в него вернется. Так работает ассоциативная память. После того, как в нескольких ее частях запомнились некоторые образы, на вход подается тестовый образ. Сеть сходится к одному из запомненных образов, который более всего похож на входной образ.

Слайд 31

Парадигматическая обработка в левом полушарии (она одинакова для всех модальностей)

• семантический уровень (ассоциативная сеть)

• синтаксический уровень (ситуации – синтаксические группы для речевой информации)

• лексический уровень (объекты – корневые основы)

• морфологический уровень (элементы объектов флексии)

• базовый уровень (элементарные образы - фонемы)

Слайд 32

Представление зрительной информации в правом и левом полушариях (по В.Д. Глезеру)

В левом полушарии формируются схематические многоуровневые представления. В правом полушарии - индивидуальные двухуровневые.

Слайд 33

Парадигматическая обработка в левом полушарии (на примере обработки зрительной информации)

В левом полушарии многомодальная модель имеет многоуровневую структуру. А образы, в ней представленные, имеет вид схем.

Слайд 34

Парадигматическая обработка в правом полушарии (на примере обработки зрительной информации)

В правом полушарии многомодальная модель имеет двухуровневую структуру. А образы, в ней представленные, индивидуализированы и содержат всю историю обучения.

Слайд 35

Три иерархии представления модели мира: лингвистическая и многомодальная схематическая левого полушария, и многомодальная образная – правого полушария

Три иерархии представления модели мира: лингвистическая и многомодальная схематическая левого полушария, и многомодальная образная – правого полушария. (1) -индивидуальная многомодальная модель мира правого полушария, (2) - социализированная модель мира левого полушария, (3) - подсистема управления синтезом речи, (4) - артикуляторные органы, (5) - периферия слуховой подсистемы, (6) -подсистема распознавания речи.

Здесь есть две иерархии представлений – лингвистической и многомодальной информации – в левом полушарии, и одна многомодальная иерархия – в правом полушарии. Все три иерархии связаны между собой по уровням. Слово связано с объектом который оно представляет. Многомодальная иерархия правого полушария двухуровневая. В ней есть только объекты и их части. Зато – все индивидуальные представители объектов. Все столы, например, которые мы видели за свою жизнь. Многомодальная иерархия левого полушария многоуровневая схематическая. В ней представлены схемы объектов разного уровня. Стол – это четыре ножки и крышка. Лингвистическая иерархия левого полушария содержит все лингвистические уровни.

Над ними надстраивается семантика в виде ассоциативной сети сочетаемости понятий и событий, ими определяемых.

А далее, при наличии такой модели в каждой модальности начинается распознавание в процессе коммуникации. Например, при распознавании речи.

Слайд 36

Структура коммуникационной системы для организации речевого поведения

Распознавание становится возможным, если у коммуникантов имеются одинаковые модели мира. Если один коммуникант знает, из какого набора возможностей ему надо выбирать при распознавании.

Слайд 37

Информационно-кодовая модель коммуникации Шеннона и Уивера

Коммуникация возможна только в том случае, если у коммуникантов имеется одинаковое представление о передаваемых сообщениях (одинаковая модель мира). В этом случае возможно распознавание адресатом информации, которая передается адресантом.

Слайд 38

• Под распознаванием понимается вычисление степени совпадения выделенного из преобразованного сигнала, полученного адресатом от адресанта, образа, с таким же образом, находящимся в модели мира адресата

• Узнавание – это неполное распознавание

• Понимание – это распознавание в пределах всей (или части) модели предметной области

Слайд 39

Правило Байеса

Простейший (и теоретически дающий верхнюю границу точности) способ распознавания – применить правило Байеса.

Адресант передает, а адресат принимает одно из группы событий (классов, к которым относятся передаваемые и получаемые сообщения). Группа событий обладает следующими свойствами (она - полная):

1) все события попарно несовместны: ; ;

2) их объединение образует пространство элементарных исходов W: .

Слайд 40

Информационно-кодовая модель коммуникации Шеннона и Уивера,

модифицированная для коммуникационного акта Якобсоном

Ну а дальше – распознавание и синтез речи, анализ текстов, в том числе, контекстные перевод, системы речевого диалога, например в интегральном роботе. То есть целиком, или по частям система коммуникации. Человека с машиной, или машины с человеком.

Слайд 41

Автоматическое распознавание речи

Общая блок-схема ориентированной на задачу системы распознавания речи

Слайд 41

Автоматический синтез речи

Структура текстового процессора

Слайд 42

Автоматический анализ текстов

Здесь (1) блок первичной обработки, (2) лингвистический процессор, (3) семантический процессор. Лингвистический процессор состоит из словарей: (4) слов разделителей, (5) служебных слов, (6) общеупотребимых слов, (7) флективных и (8) корневых морфем. Семантически процессор содержит: (9) блок отсылок в текст, (10) блок формирования семантической сети, (11) блок хранения семантической сети, (12) блок выделения понятий, и (13) блок управления.

Слайд 43

Интегральный робот

Слайд 44

Семантическое представление в интегральном роботе