Нейроподобные растущие сети – новаЯ технологиЯ обработки информации
Ященко В. А.
Институт математических машин и систем АН Украины, г. Киев, Украина
Введение.
История развития Computer science свидетельствует о неуклонно растущем уровне информационных технологий и интеллектуализации вычислительных систем.
Становление новой информационной технологии тесно связано с развитием искусственного интеллекта и обусловлено (по утверждению Г.Поспелова) тем, что в теории искусственного интеллекта были разработаны логико-лингвистические модели, позволяющие формализовать конкретные знания об объектах и протекающих в них процессах [1].
В.М.Глушков уделял большое внимание проблемам обработки информации и разработки интеллектуальных систем. В своих работах он подчеркивал важность интеллектуализации процессоров с двух позиций. Он говорил: "Идея интеллектуализации процессоров, решая свою основную задачу - упрощение общения пользователя с ЭВМ, способствует в то же время и решению другой важнейшей задачи - увеличению производительности ЭВМ"[2]. Действительно, использование макроопераций в вычислительном процессе существенно повышает общее быстродействие ЭВМ. Так, ЭВМ "МИР-2" успешно конкурировала в скорости выполнения ряда аналитических преобразований с большими ЭВМ.
Национальный японский проект ЭВМ пятого поколения также следует расценивать как дальнейшее развитие идей интеллектуализации вычислительной техники.
Другим компьютерным течением, получившим развитие параллельно с развитием ЭВМ с традиционной архитектурой, являются нейрокомпьютеры. Все возрастающий интерес к нейроинтеллектуальным системам объясняется значительными трудностями, возникающими при классической реализации искусственного интеллекта, и успехами в области разработки нейрокомпьютеров и систем на их основе. В нейронных сетях, применяемых в нейрокомпьютерах, в отличие от традиционных ЭВМ, элементы имеют множество параллельных соединений, и информация распределяется по всей сети, осуществляя параллельные вычисления. Это позволяет решать задачи в реальном времени на высоком интеллектуальном уровне.
С целью поддержки фундаментальных исследований в этом направлении в Японии с 1993 года принята программа “Real world computing program”. Ее основная цель- создание адаптивной, эволюционирующей ЭВМ. Проект рассчитан на 10 лет. Основой разработки является нейротехнология, используемая для распознавания образов, обработки семантической информации, управления роботами, которые способны адаптироваться к окружающей обстановке.
Анализ современного состояния Computer science показывает, что в настоящее время вычленились составляющие, которые фактически превратились в отдельные научные направления, уже имеющие явно выраженные признаки отдельных научных дисциплин. Это нейрокомпьютерные дисциплины и дисциплины, изучающие классические формы ЭВМ.
В истории развития науки подобная дифференциация знаний не является специфичной только для Computer science. Дифференциация и обособление научных знаний в отдельные научные дисциплины является историческим фактом. Этот факт стал для Л. фон. Берталанфи исходной позицией в разработке общей теории систем. Главная цель этой теории определена Берталанфи как синтез научных знаний, выработанных отдельными научными дисциплинами, в единое целое - знания об окружающей человека действительности.
“Общая теория систем определяет совокупность общесистемных свойств реальных систем, в которой центральное положение занимает свойство иерархичности. Оно состоит в том, что каждая данная система является метасистемой по отношению к составляющим ее подсистемам и одновременно подсистемой системы более высокого ранга (уровня), выступающей по отношению к ней метасистемой. Из этого следует, что мир является системой, знания о которой должны быть сведены в целое путем установления связей и отношений между отдельными научными дисциплинами. Это означает, что знания, выработанные каждой научной дисциплиной, представляют собой части целого и должны быть подвергнуты операции синтеза путем выявления связей и отношений между частями. А связи и отношения могут быть выявлены только проведением междисциплинарных исследований” [3].
Таким образом, вычленение и обособление научных знаний в Computer science, следует считать объективным процессом, который должен завершиться синтезом этих знаний в единое целое. Этот синтез открывает возможность, благодаря междисциплинарным исследованиям, выработать знания о тех закономерностях, которые являются общими для дисциплин, образующих междисциплинарную область, так как познать эти закономерности, находясь в рамках каждой отдельной дисциплины нельзя.
Цель и задачи
.
Исходя из этого,была определенацель – разработать новую технологию обработки информации, основанную на синтезе знаний выработанных сложившимися в Computer science направлениями.
Для достижения поставленной цели необходимо решить следующие задачи:
- в результате синтеза знаний, заключенных в технологиях обработки информации в нейронных сетях, семантических сетях, растущих пирамидальных сетях и интеллектуальных системах, разработать новую нейроподобную структуру;
- описать топологию и логику функционирования этой структуры, сформулировать определения и разработать правила ее построения;
- разработать математический аппарат построения новой структуры;
- для повышения уровня интеллектуализации ЭВМ разработать модель представления знаний на базе новой структуры.
Из проведенных междисциплинарных исследований было установлено, в новую информационную структуру должны быть “погружены” функции, обеспечивающие “жизнеспособность” интеллектуальных систем.
К этим функциям относятся:
а) восприятие
– функция, обеспечивающая прием и трансформацию визуальной, текстовой, звуковой и др. видов информации во внутреннее представление системы, обработку визуальной информации и соотнесение ее с обработкой текстовой информации, а также порождение визуальных образов на основе внутреннихпредставлений хранимых в системе;
б)представление знаний и их обработка
–
функция, формирующая понятия, обеспечивающая накопление, обобщение, структурирование и классификацию знаний о внешнем мире (о проблемной области);
в)общение и обучение
– функция, преобразующая во внутренние образы различные текстовые, речевые, зрительные и др. сообщения. Система, обеспечивающая поддержку данной функции, должна воспринимать вопросы, адресуемые ей и синтезировать ответы и свои вопросы, обучаться решению проблем возникающих в процессе ее функционирования;
г) поведение
–
функция, вырабатывающая механизмы поведения системы с целью адекватного взаимодействия с окружающей средой.
С целью синтеза новой информационной технологии были проанализированы технологии обработки информации в семантических сетях, растущих пирамидальных сетях (РПС), разработанных и исследованных профессором В.П.Гладуном [4], и нейросетях. Ни одна из этих технологий полностью не удовлетворяет требованиям, предъявляемым к синтезируемой структуре (не содержит всей совокупности вышеперечисленных функций).
Однако анализ показал, что РПС содержат привлекательный механизм восприятия, структурирования, обобщения и классификации информации одновременно с перестройкой (ростом) самой структуры сети. Но в РПС отсутствует механизм определения весовых коэффициентов связей между вершинами сети и порогов возбуждения самих вершин. В результате РПС лишаются свойств пластичности сети и тем самым лишаются возможности обработки неточной информации, чем в совершенстве обладают нейронные сети.
Нейронные сети создавались как аналоги биологических нейронов, организованных в некотором соответствии с анатомией мозга. В связи с этим нейронные сети моделируют многие свойства, присущие мозгу. Так, они обучаются на примерах и извлекают существенные признаки из поступающей информации. Отклик сети после обучения может быть до некоторой степени нечувствителен к небольшим изменениям входных сигналов. Эта способность выделять образ сквозь искажения важна для распознавания образов в реальном мире. Она позволяет преодолеть требования строгой точности, предъявляемые обычным компьютером, и открывает путь к системе, которая может иметь дело с окружающим нас миром. В то же время, несмотря на многочисленные достоинства и успешные применения нейронных сетей, они имеют ряд недостатков, ограничивающих их возможности.
Нейроподобные растущие сети
.В результате синтеза знаний, выработанных различными направлениями Computer science, получены новые знания, имеющие отражение в новой структуре – нейроподобных растущих сетях
(н-РС),на основекоторых, сохраняя преимущества технологий обработки информации в нейронных сетях, РПС и интеллектуальных системах, осуществляется новая технология обработки информации. В теории нейроподобных сетей основными понятиями являются понятия структуры, раскрывающей схему связей и взаимодействия между элементами сети, а также понятие архитектуры.
Нейроподобные сети представляются следующими категориями:
топологическая (пространственная)
структура - это граф связей элементов сети; логическая
структура определяет принципы и правила установления связей, а также логику функционирования сети; физическая
структура - схема связей физических элементов сети (в случае аппаратной реализации нейроподобной сети); архитектура сети
определяется как принципы построения сети, выражающие единство физической и логической структур.
Класс н-РС состоит из однослойных, многослойных, многомерных однослойных и многомерных многослойных нейроподобных растущих сетей,
а также из однослойных, многослойных, многомерных однослойных и многомерных многослойных рецепторно-эффекторных нейроподобных растущих сетей
[5,6]. Топологическая структура нейроподобных растущих сетей представляется связным ориентированным графом. Логическая структура описывается правилами построения и функционирования сети.
Определение 1
. Нейроподобной растущей сетью называется совокупность определенным образом взаимосвязанных нейроподобных элементов, предназначенных для приема и преобразования информации, причем в процессе приема информации сеть увеличивается в размерах - растет.
|
Рис.1 |
Нейроподобные растущие сети (рис.1) формально задаются следующим образом: S = (R, A, D, M, P, N),
здесь R
-
конечное множество рецепторов, которые составляют порождающее множество сети;A
-
конечное множество нейроподобных элементов, соответствующих сочетаниям признаков, которые определяют условные и безусловные рефлексы, реакции, мотивации и т.п., а также слова, фразы, описания понятий, объектов, конъюнктивные связи объектов, и т.п; D
-
конечное множество дуг, связывающих рецепторы с нейроподобными элементами и нейроподобные элементы между собой; P
={Pi
},
здесь Pi
- порог возбуждения вершины ai
, Pi
= f(mi
)
і
P
(P
- минимально допустимый порог возбуждения) при условии, что множеству дуг D
, приходящих на вершину ai
, соответствует множество весовых коэффициентов M
={mi
},
причем mi
может принимать как положительные, так и отрицательные значения; N
-
коэффициент связности сети.
В биологических средах информация об одном и том же объекте или классе объектов представляется в различных отображениях, например, в зрительном, вербальном, тактильном и др. В связи с этим при моделировании описаний внешнего мира необходимо иметь возможность отражать данные описания в различных взаимосвязанных структурах. Такой структурой являются многомерные нейроподобные растущие сети, описывающие объекты или классы объектов в различных информационных пространствах.
Определение 2
. Информационным пространством называется область нейроподобной растущей сети, состоящая из множества вершин и дуг, объединенных в единую информационную структуру.
Определение 3
. Множество взаимосвязанных ациклических графов, описывающих нейроподобные растущие сети в различных информационных пространствах, называются многомерными нейроподобными растущими сетями (мн-РС).
Формально мн-РС задается пятеркой: S = (R, A, D, P, M, N),
<
при этом R
Й
Rl
, Rr
, Rv
; A
Й
Al
, Ar
, Av
; D
Й
Dl
, Dr
, Dv
;
P
Й
Pl
, Pr
, Pv
, где Rl
, Rr
, Rv
- конечное подмножество рецепторов; Al
, Ar
, Av
- конечное подмножество нейроподобных элементов; Dl
, Dr
, Dv
- конечное подмножество дуг; Pl
, Pr
, Pv
- конечное подмножество порогов возбуждения нейроподобных элементов, принадлежащих различным информационным пространствам, например, лингвистическому, речевому или визуальному; M
- конечное множество весовых коэффициентов связей; N
- конечное множество переменных коэффициентов связности.
Базовым принципом физиологии высшей нервной деятельности является основной закон биологии - единство организма и среды. Этот закон предусматривает приспособительную изменчивость организма относительно среды.
В основе приспособительного поведения любого организма лежит способность к обучению, т.е. способность запоминать последствия своих действий. Можно сказать, что изучение разумного поведения - это в какой-то мере исследование способности приобретать знания о связях в окружающем мире. “Организм обучаетсяпутем построения сенсорно-моторных схем: он извлекает из своего опыта соотношения между информацией, воспринимаемой его сенсорными системами, и своими действиями (моторной активностью)” [7].
Таким образом, взаимодействие биологических объектов с окружающей средой осуществляется через акты движения. С целью обеспечения возможности моделирования процессов обучения и приобретения системой знаний нейроподобные растущие сети развиваются в рецепторно-эффекторные нейроподобные растущие сети (рэн-РС).
Определение 4.
Рецепторно-эффекторной растущей сетью называется двухсторонний ациклический граф, в котором минимальное число заходящих дуг на вновь образуемые вершины графа равно переменному коэффициенту n, где n всегда больше двух.
Рис.2 |
Определение 5.
Рецепторно-эффекторные растущие сети, в которых каждой дуге рецепторной зоны, приходящей на вершины этой зоны, соответствует определенный весовой коэффициент, а вершинам - определенный порог возбуждения, и каждой дуге эффекторной зоны, приходящей на вершины этой зоны соответствует определенный весовой коэффициент, а вершинам - определенный порог возбуждения, называются рецепторно-эффекторными нейроподобными растущими сетями.
Рецепторно-эффекторные нейроподобные растущие сети (рис.2) формально задаются следующим образом:
S=(R, Ar
, Dr
, Pr
, Mr
, Nr
, E, Ae
, De
, Pe
, Me
, Ne
), R
={ri
},
- конечное множество рецепторов, Ar
={ai
},
- конечное множество нейроподобных элементов рецепторной зоны, Dr
={di
},
- конечное множество дуг рецепторной зоны, E
={ei
},
- конечное множество эффекторов, Ae
={ai
},
- конечное множество нейроподобных элементов эффекторной зоны, De
={di
},
- конечное множество дуг эффекторной зоны, Pr
={Pi
}, Pe
={Pi
},
где Pi
- порог возбуждения вершины air
, aie
Pi
=f(mi
)
при условии, что множеству дуг Dr
, De
, приходящих на вершину air
, aie
, соответствует множество весовых коэффициентов Mr
={mi
}, Me
={mi
},
причем mi
может принимать как положительные, так и отрицательные значения. Nr
, Ne
- переменные коэффициенты связности рецепторной и эффекторной зон. В рэн-РС рецепторные поля R
, являются аналогом сенсорной и рецепторной областей биологических объектов, эффекторныеполя E
- аналог моторной области биологических объектов. Рецепторно-эффекторные нейроподобные растущие сети подразделяются на однослойные, многослойные и многомерные рецепторно-эффекторные нейроподобные растущие сети
.
Нейроподобные растущие сети являются динамической структурой, которая изменяется в зависимости от значения и времени поступления информации на рецепторы, а также предыдущего состояния сети. В ней информация об объектах представляется ансамблями возбужденных вершин и связями между ними. Запоминание описаний объектов и ситуаций сопровождается вводом в сеть новых вершин и дуг при переходе какой - либо группы рецепторов и нейроподобных элементов в состояние возбуждения. Процесс возбуждения волнообразно распространяется по сети. Переменный коэффициент связности позволяет управлять числом дуг, приходящих на вновь образуемые нейроподобные элементы, и числом нейроподобных элементов в сети, что является одной изотличительных чертой нового класса сетейот существующих нейронных сетей.
Основные отличия и сравнительные характеристики
нейроподобных растущих сетей и общепринятых нейронных сетей приведены в табл.1.
Табл. 1
Нейроподобные растущие сети |
Нейронные сети |
| Нейроподобный элемент
. Вычислительное устройство с памятью. |
Нейронный элемент
. Пороговый элемент |
| Определяется некоторая произвольная функция входов, например: формула Байеса P(H:E)=P(E:H) P(H)/(P(E:H) P(H)+ P(E:неH) P(неH))*
|
Определяется взвешенная сумма входов, обработанная не линейно |
| Связи и веса
задаются и появляются ровно столько сколько необходимо. |
Связи и веса
Количество связей избыточно. Требуются специальные методы отсеивания связей. |
Коэффициент связности
Позволяет управлять соотношением связь / нейроподобный элемент . |
Коэффициент связности
Отсутствует |
| Перестраиваемая структура
. Нейроподобные элементы связаны между собой по смыслу |
Фиксированная структура.
Элементы связаны каждый с каждым |
Возможность композиции и декомпозиции
|
Возможность композиции и декомпозиции
Отсутствует |
| Многоуровневая структура. Число уровней (слоев) произвольное, определяется по смыслу. | Используется обычно до 3-х уровней (слоев).
Использование более 3-х слоев не осмысленно. |
| Скорость обучения
от нескольких минут до секунд. |
Скорость обучения
|
| Появление ложных фантомов
(ложных аттракторов) – отсутствует |
Появление ложных фантомов
|
| Емкость сети
100% |
Емкость сети
20-30% |
Параллелизм вычислений
Эффективность счета повышена (счет по активной части сети). |
Параллелизм
Эффективность счета понижена (счет по всей сети ( по всей матрице связей)). |
*) P(H) – априорная вероятность исхода в случае отсутствия дополнительных свидетельств
P(H:E) – вероятность осуществления некоторой гипотезы H при наличии определенных подтверждений свидетельств E.
P(E:H), P(E:неH) – соответственно, вероятности получения ответа Да если возможный исход верен или неверен.
Из самого названия нейроподобные растущие сети
видно, что сеть нейроподобная, т.е. обладает свойствами нейронных сетей, в то же время растущая, сохраняя свойства РПС, что позволяет избежать некоторых недостатков присущих нейронным сетям. И в то же время поддерживает функции присущие биологическим объектам и интеллектуальным системам.
Так, функция восприятие
, осуществляется рецепторным полем н-РС, а в многомерных н-РС рецепторными полями различных информационных пространств (визуального, текстового, звукового, тактильного и др.).
Представление знаний их обработка и обучение сети
, осуществляются в рецепторных зонах н-РС и в рецепторных и эффекторных зонах рецепторно-эффекторных н-РС в процессе восприятия информации и построения сети.
Общение и поведение
системы, обладающей новой информационной структурой, определяется наличием в рецепторно-эффекторных н-РС рецепторной и эффекторной зон. В рецепторной зоне осуществляется накопление условий возникающих во внешней среде, а в эффекторной зоне вырабатываются действия адекватные внешним условиям, осуществляя адекватное взаимодействие с окружающей средой. Рецепторно-эффекторные н-РС, содержащие рецепторные и эффекторные зоны, позволяют на соответствующие условия (восприятие информации) вырабатывать управляющие воздействия во внешний мир (формировать поведения системы).
Заключение.
В основе нейроподобных растущих сетей является синтез знаний выработанных классическими теориями - растущих пирамидальных сетей и нейронных сетей. Первые из них дают возможность образовывать смыслы, как объекты и связи между ними по мере построения самой сети, т.е. число объектов, как и связей между нимибудет такое именно, какое нужно, будучи ограниченным лишь объемом памяти машины. При этом каждый смысл (понятие) приобретает отдельную компоненту сети как вершину, связанную с другими вершинами. В общем это вполне соответствует структуре отражаемой в мозге, где каждое явное понятие представлено определенной структурой и имеет свой обозначающий символ. Если указанные компоненты являются нейроподобными элементами, а связи приобретают различный вес, то получим универсальную нейроподобную сеть со всеми ее необходимыми свойствами. Вместе с тем эта сеть практически свободна от ограничений на количество нейроподобных элементов в котором и нужно разместить соответствующую информацию, т.е. построить саму сеть, представляющую данную предметную область. Во вторых эта сеть приобретает повышенную семантическую ясность за счет образования не только связей между нейроподобными элементами, но и самих элементов как таковых, т.е. здесь имеет место не просто построение сети путем размещения смысловых структур в среде нейроподобных элементов, а, собственно, создание самой этой среды, как эквивалента среды памяти [6].
1. Поспелов Г.С. Искусственный интеллект – основка новой информационной технологии. М.: Наука, 1988. – 280 с.
2. Глушков В.М. Основы безбумажной информатики. М.: Наука, 1987. – 552с.
3. Брюхович Е.И. К вопросу об информатизации общества. Методология решения задачи научного предвидения для вывода из кризиса отечественной вычислительной техники // Математические машины и системы. - 1997.-№2.-С.122-132.
4. Гладун В.П. Процессы формирования новых знаний - София: СД "Педагог 6", - 1994. - 192с.
5. Ященко В.А. Рецепторно-эффекторные нейроподобные растущие сети эффективное средство моделирования интеллекта. I, II - // Кибернетика и сист. анализ № 4, 1995. С. 54 – 62, № 5, 1995. С. 94 - 102.
6. Рабинович З.Л., Ященко В.А. Подход к моделированию мыслительных процессов на основе нейроподобных растущих сетей // Кибернетика и сист. анализ № 5, 1996. С.3-20.
7. Линдсей П., Норман Д. Переработка информации у человека (Введение в психологию).Под редакц. А.Р. Лурия. - М.: - 1974. - с.549.