Психологическая интуиция искусственных нейронных сетейНейронные сети применяются для решения задач искусственного интеллекта, в системах технических органов чувств и управления производственными процессами. Адаптивные сетчатки Хопфилда применяются для создания устойчивых к помехам систем связи. В стадии опытно-конструкторских разработок (например, в лабораториях фирмы Siemens ) находятся образцы аппаратных нейрокомпьютеров массового применения – нейросопроцессоров к персональным компьютерам. Нейрокомпьютеры находят применение во многих отраслях современной науки – ядерной физике, геологии, метеорологии. Исследование искусственных нейронных сетей составляют значительные разделы в таких науках, как биофизика, вычислительная математика, электроника. Привлекательным было бы и применение искусственных нейронных сетей к наукам о человеке. Однако здесь возникает следующая проблема: их теория не сформировалась пока в достаточной степени для того, чтобы описать процессы, происходящие в системах, в виде явных и пригодных для моделирования на современной вычислительной технике алгоритмов. Выражается это в частности в том, что диагностический аппарат психологии и медицины в существенной части основан на подходах, связанных с изучением и систематизацией прецедентов. Моделирование же биофизических процессов затруднено огромной сложностью систем – так, при работе с психологическими задачами функционирование системы, состоящей из количества элементов порядка 10 9 (человеческого мозга) недоступно для моделирования на вычислительной машине любой мыслимой сегодня мощности. Попытки применения нейросетевых подходов в медицине были предприняты с немалым успехом группой НейроКомп. При помощи нейросетевых экспертных систем были решены задачи прогнозирования осложнений инфаркта миокарда, ранней диагностики и дифференциальной диагностики злокачественных опухолей сосудистой оболочки глаза, моделирования лечения и прогнозирования его непосредственных результатов у больных облитерирующим тромбангиитом, дифференциальной диагностики «острого живота», изучения иммунореактивности. Вообще, на пути применения искусственных нейронных сетей к задачам из области биологии, медицины и психологии можно ожидать несколько важных результатов. Во-первых, нейронные сети, работая по неявным алгоритмам и решая задачи, не имеющие явного решения, по механизму решения задач приближаются к человеческому мозгу, что может дать важный материал для изучения процессов высшей нервной деятельности. Во-вторых, нейросети могут служить в качестве математического инструмента для научных исследований при поиске взаимосвязей и закономерностей в больших информационных структурах, изучения взаимного влияния различных факторов и моделирования сложных динамических процессов. В силу этого разработка методов нейросетевого моделирования и анализа информации является актуальной задачей. Раздел информационной науки, называемый нейроинформатикой и начавшийся в свое время еще работами Розенблатта над теорией обучения сетей перцептронов пережил несколько бумов и спадов. В настоящий момент самые общие представления о нейроинформатике таковы: Принципы работы нейрокомпьютеров напоминают взаимодействие клеток нервной системы - нейронов через специальные связи - синапсы. Основой работы самообучающихся нейропрограмм является нейронная сеть, представляющая собой совокупность нейронов - элементов, связанных между собой определенным образом. Обучение нейронной сети достигается путем подстройки параметров - весов синапсов и характеристик преобразователей с целью минимизации ошибки определения примеров обучающей выборки - пар вида «требуемый выход - полученный выход». В обучении используется алгоритм сверхбыстрого вычисления градиента функции ошибки по обучаемым параметрам при помощи аппарата двойственных функций. Наличие методов, позволяющих получать в высокопараллельном (при наличии соответствующего аппаратного обеспечения) режиме градиент функции ошибки позволяет использовать для обучения нейронных сетей обширный аппарат методов безусловной оптимизации многомерных функций. Опыт, накопленный исследователями в области нейроинформатики, показывает, что при помощи аппарата нейронных сетей возможно удовлетворение крайне острой потребности практикующих психологов и исследователей в создании психодиагностических методик на базе их опыта, минуя стадию формализации и построения диагностической модели. Таким образом, данная работа посвящена исследованию вопроса о возможности развития психологической интуиции у нейросетевых экспертных систем. Целью данной работы являлось исследование следующих аспектов применения нейронных сетей к психологическим задачам: изучение функционирования нейронных сетей при решении классических задач психодиагностики; изучение возможностей и механизма интуитивного предсказания нейросетью отношений между людьми на основе их психологических характеристик; Для более детального уяснения механизма интуиции искусственных нейронных сетей при решении психологических задач, характеризующихся чрезвычайно высокой размерностью пространства входных сигналов, требовалось также создание программной модели нейроимитатора с оптимизацией объема нейронной сети для решения конкретной задачи. Для достижения указанных целей были поставлены следующие задачи: - - - - Для решения этих задач в диссертационной работе сделано следующее: В первой главе показан круг задач, связанных с компьютерной психодиагностикой и диагностической интуицией. Выполнен обзор методов создания психодиагностических методик, освещен круг применяемых при этом математических методов и алгоритмов. В связи с этим проведено развернутое обзорное исследование алгоритмов восстановления зависимостей и методов безусловной оптимизации, а также приведены основные сведения, касающиеся аппарата нейронных сетей. Во второй главе описывается серия экспериментов, направленных на проверку гипотезы о применимости нейронных сетей к задачам психодиагностики. На материале скользящего контроля по обучающей выборке из 273 примеров исследуется качество (погрешность) постановки психологического диагноза нейронной сетью на базе стандартного теста ЛОБИ. Проводится исследование возможности применимости нейронных сетей как аппарата психодиагноста - исследователя при определении и оптимизации структуры психологических тестов. Исследуется влияние структуры психологических тестов на диагностическую интуицию искусственной нейронной сети. В третьей главе анализируется серия экспериментов, направленных на проверку гипотезы о возможности интуитивного предсказания нейросетью отношений между людьми на основе их психологических качеств, объективно описываемых психологическим тестом. Исследование проведено на материале 48 исследуемых и 474 пар взаимных выборов. Проведена работа по определению оптимальной структуры нейронной сети для предсказания социального статуса исследуемых на основе опросника. Произведена оценка погрешности прогноза статуса исследуемых в группе, выполнено сравнение ее с расстоянием между случайными примерами. Выполнено перекрестное межгрупповое, а также общее для всех групп исследование с целью выяснения внутригрупповой локальности психологической интуиции нейронной сети. На базе оценок значимости входных параметров нейронной сети проведена оценка избыточности базового опросника, исследовано влияние минимизации опросника на качество предсказания статуса исследуемых в группе. Произведена оценка погрешности прогноза отношений между двумя исследуемыми, выполнено сравнение ее с расстоянием между случайными примерами. В четвертой главе описана идеология, структура объектов и алгоритмы функционирования нейроимитатора с автоматически наращиваемым объемом сети. Выполнена проработка математической постановки задачи обучения нейронной сети с поэтапным исчерпанием ошибки. Исследована необходимость применения математического аппарата нейронных сетей для решения данной задачи. Сформулирован подход к решению задачи оценки необходимого объема нейронной сети при помощи сетевой и выборочной констант Липшица. Выполнена проработка объектно-ориентированной структуры программного нейроимитатора, исследована возможность применения такой же (или подобной) структуры для построения классических нейонных сетей. Доработаны согласно с требованиям объектно-ориентированного программирования классические алгоритмы обучения нейронных сетей. Новизна - - - - - Практическая значимость Полученные в работе результаты дают подход к раскрытию механизма интуиции нейронных сетей, проявляющейся при решении ими психодиагностических задач. Показывается также путь использования понимания механизма психологической интуиции нейросетевых экспертных систем в существенном упрощении процесса формирования диагностических моделей. Результаты представляют интерес для теории создания психодиагностических методик, позволяют рекомендовать нейронные сети для применения в данной области. Представленный в работе нестандартный для компьютерных методик интуитивный подход к психодиагностике, заключающийся в исключении построения описанной реальности, позволяет сократить и упростить работу над психодиагностическими методиками. Исследование механизма интуиции нейронных сетей при предсказании психологической совместимости в группе и парной совместимости дает важный материал для осмысления механизма данного явления. Идеология, апробированная при создании программного имитатора нейронной сети, открывает путь к оптимизации структуры искусственных нейронных сетей по принципу достаточного для данной задачи объема. Созданная для данной программы структура объектов является универсальным аппаратом для моделирования сложных функций при помощи сетей автоматов и нахождения локальных экстремумов этих функций при помощи методов безусловной оптимизации. Положения выносимые на защиту: - - - - - Публикации. Основные результаты работы опубликованы в 11 печатных работах. Апробация работы. Материалы диссертации были представлены на Всероссийском семинаре «Нейроинформатика и ее применение» в 1994 и 1995 годах, на конгрессе «Новые концепции раскрытия высших функций мозга» в 1995 году в японском городе Тохва, на всемирном нейросетевом конгрессе в Вашингтоне в июле 1995 года, в двух докладах на международном симпозиуме «Нейроинформатика и нейрокомпьютеры» в Ростове на Дону в сентябре 1995 года, на круглом столе по вопросам интеллектуальных технологий краевой конференции «Проблемы информатизации региона» в 1996 году, на 3-ей международной конференции «Математика, компьютер, образование» в Дубне в 1996 году. Последние результаты, полученные при создании полутораслойного предиктора доложены на конференции «Проблемы информатизации региона»-97. Разработанные методики оценки и прогноза совместимости в учебных группах используются в повседневной деятельности ФАР КГТА. Глава 1. Психодиагностика и нейронные сети 1.1 Задачи и методы современной психодиагностики Важное место среди задач современной психологии занимает психодиагностика - принятие решения о наличном психологическом состоянии человека в целом или по отношению к какому либо отдельно взятому человеческому свойству. Целью психодиагностики по современным понятиям согласно [26] является описание индивидуально - психологических особенностей, свойств личности в интересах теории и практики. По одной из наиболее употребляемых в настоящее время трактовок [71] психодиагностика является наукой, в русле которой решаются следующие вопросы: 1. 2. 3. 4. 5. 6. Точная психодиагностика в любом психологическом эксперименте предполагает оценивание психологических свойств испытуемого. Одним из ключевых в современной психодиагностике является понятие диагноза, которое в [61] трактуется следующим образом: «Понятие «диагноз» является своеобразным выражением и конкретизацией общенаучного понятия «состояние», отражающего доминирующий способ изменеия и развития систем в данных отношениях, в определенном месте и времени». Согласно [21] диагностика как практическая деятельность осуществляется в целях преобразования реального состояния объекта. Диагностическое познание в целом является таким видом познания, в котором субъект, исходя из своих практических потребностей, ставит вполне определенную цель - использовать законы функционирования диагностируемого объекта для осуществления вмешательства в систему, то есть приведение ее в состояние нормального функционирования методами управления. Однако психодиагностический метод согласно [7], [26] имеет свои особенности. Его анализ позволяет выделить специфические мотивы, определяющие активность субъекта, особую стратегию его поведения, специфику ситуации - как социальную (взаимодействие психолога и исследуемого), так и стимульную (например, с разной степенью структурированности) - и т.д. Существенную сложность в психодиагностике составляет парадокс теоретического и психодиагностического описания одной и той же реальности, суть которого заключается в гносеологическом различии между «теоретической» и «измеренной» личностью, отличающейся в свою очередь от личности реальной. Следствием данной сложности является то, что попытки отождествления «теоретической» и «измеренной» личности оказываются, в конечном счете, малопродуктивными, носят искусственный характер. Область применения психодиагностики согласно [71] весьма широка. В нее входят: – – – – – – – – Можно утверждать, что психодиагностика может применяться всюду, где требуется точное знание о степени развития тех или иных свойств человека. Согласно [47] психодиагностика характеризуется широким спектром методических подходов. Данное многообразие обуславливает существование различных систем классификации психодиагностического эксперимента в зависимости от значимых для классификации атрибутов. Для компьютерной психодиагностики таким значимым атрибутом может служить формализуемость психодиагностической методики, которая позволяет определить возможность использования в психодиагностическом эксперименте компьютерной информационной технологии. Понятие «формализуемость» конкретизируется разбиением на самостоятельно систематизирующиеся элементы: воздействие на испытуемого в ходе эксперимента (стимулы), ответы (отклики) испытуемого на это воздействие и операции с информацией, рожденной реакцией испытуемого на стимулы. 1.2 Сущность интуитивного метода Согласно [81] интуиция - знание, возникающее без осознания путей и условий его получения, в силу чего субъект имеет его как результат «непосредственного усмотрения». Интуиция трактуется и как специфическая способность (например, художественная и научная интуиция) и как «целостное охватывание» условий проблемной ситуации (чувственная интуиция, интеллектуальная интуиция) и как механизм творческой деятельности (творческая интуиция). Научная психология рассматривает интуицию как необходимый, внутренне обусловленный природой творчества момент выхода за границы сложившихся стереотипов поведения и, в частности, логических программ поиска решения задачи. Согласно [80] интуиция - эвристический процесс, состоящий в нахождении решения задачи на основе ориентиров поиска, не связанных логически или недостаточных для получения логического вывода. Для интуиции характерна быстрота (иногда моментальность) формулирования гипотез и принятия решений, а также недостаточная осознанность его логических оснований. Интуиция проявляется в условиях субъективно или объективно неполной информации и органически входит в присущую мышлению человека способность к экстраполяции. Механизм интуиции состоит в симультантном объединении нескольких информативных признаков разных модальностей в комплексные ориентиры, направляющие поиск решения. В таком одновременном учете различной по своему качеству информации состоит отличие интуитивных процессов от дискурсивных, в которых в одном мыслительном акте (логическом шаге) может учитываться только какая-то одна модификация признаков задачи, связываемых между собой. Ориентиры поиска в интуитивных и дискурсивных процессах не имеют принципиального различия по составу входящей в них информации. Логические принципы, в том числе формальные, включаются в интуитивно формируемый информативный комплекс и, будучи сами по себе недостаточными для получения решения, в сочетании с другими информационными связями определяют направление поиска. Основную роль в интуиции играют семантические обобщения, относящиеся к данной области задач. Такова интуиция врача или ученого. 1.3 Математические модели и алгоритмы психодиагностики В работе исследователя по конструированию психодиагностического теста принято выделять три этапа [20], [47]. На первом этапе конструируется «черновой» вариант теста. В него включаются задания, ответы на которые, по мнению экспериментатора, должны отражать индивидуально-психологические различия испытуемых по данному конструкту. На втором этапе исследователь выбирает диагностическую модель и определяет ее параметры. Под диагностической моделью понимается способ компоновки (преобразования, агрегирования) исходных диагностических признаков (вариантов ответов на задания теста) в диагностический показатель. На третьем этапе проводится стандартизация и испытание построенной диагностической модели. Наиболее употребляемой в психодиагностике является линейная диагностическая модель. Без применения эмпирико-статистического анализа не обходится ни одна серьезная попытка конструирования или адаптации тестов [97]. Исходным материалом для такого анализа служат результаты экспериментального обследования репрезентативной выборки испытуемых с помощью «чернового» варианта психодиагностического теста. Из полученных данных формируется таблица экспериментальных данных (см. табл. 1)
Исходные признаки x j , как правило, измерены в номинальных и порядковых (ординальных) шкалах [18],[82],[89]. Для большинства объективных методик нельзя априорно установить ни количественных отношений ни отношений порядка, поскольку их признаки представляют собой номинальные измерения. Зачастую при формализации тестовых методик применяют «дихотомизацию» [65] - процедуру преобразования исходных показателей в набор признаков с двумя градациями. Для ординальных признаков существенен лишь порядок градаций на шкале, и для них считаются допустимыми любые монотонные преобразования не нарушающие этот порядок. Методически строгим является применение к ординальным признакам методов обработки, результат которых инвариантен относительно допустимых преобразований порядковой шкалы [49]. Далее, после сформирования таблицы экспериментальных данных, производится построение диагностической модели. Считается, что модель должна в определенной форме выражать зависимость между вектором входных признаков и тестируемым свойством (значение выраженности свойства далее будет обозначаться y ). Модель должна отражать механизм преобразования y = y ( x ). Предварительным этапом в построении диагностических моделей является как правило выяснение структуры таблицы экспериментальных данных. На этом этапе производится оценка корреляции между факторами и близости между объектами. Набор математических моделей и алгоритмов, используемых для этого, определяется исходя из специфики экспериментальных данных в психодиагностике. Для определения степени связи между признаками используются [48],[65],[73]: – и –
Степень связи между признаками может быть использована для оценки избыточности набора признаков «черновой» модели, для взаимоконтроля шкал и т.п. Для определения близости объектов используются различные меры расстояния: – – – S - ковариационная матрица генеральной совокупности, из которой извлечены объекты и – Минковского (городская метрика), применяющееся для измерения расстояния между объектами, описанными ординальными признаками. равно разнице номеров градаций по k -му признаку у сравниваемых объектов и – и Полученная на основе какой-либо метрики (подробнее - [25], [48], [50]) информация о степени близости объектов может быть использована для выделения их группировок. Представление информации о структуре экспериментальных данных служит промежуточным звеном в построении диагностической модели. Независимо от типа модели ее создание может опираться на два подхода: 1.Стратегия, основанная на автоинформативности экспериментальных данных. Высокая степень близости между группой признаков может свидетельствовать о том, что признаки, вошедшие в группу, отражают эмпирический фактор, соответствующий диагностическому конструкту. Выделение геометрических группировок в пространстве объектов может свидетельствовать о различии изучаемых объектов по тестируемому свойству, что позволяет строить диагностический алгоритм. Для стратегий, основанных на автоинформативности экспериментальных данных, важной категорией является согласованность заданий теста. Согласованность измеряемых реакций испытуемых на тестовые стимулы означает, что они должны иметь статистическую направленность на выражение общей, главной тенденции теста. На стратегии, основанной на автоинформативности экспериментальных данных, строятся конструирование диагностического алгоритма при помощи метода главных компонент [17], [18], [19], факторного анализа [66] и метода контрастных групп [97]. 2. Стратегия, основанная на критериях внешней информативности. Внешняя информация может быть представлена в виде привязки к объектам значений «зависимой» переменной, измеренной в количественной шкале, в виде номера однородного по тестируемому свойству класса, в виде порядкового номера (ранга) объекта в ряду всех объектов, упорядоченных по степени проявления диагностируемого свойства или в виде совокупности значений набора внешних (не включенных в таблицу экспериментальных данных) признаков, характеризующих тестируемый психологический феномен. Методы, основанные на внешней информативности признаков принято подразделять на экспертные, экспериментальные и жизненные. К числу экспертных критериев относят оценки, суждения, заключения об испытуемых, вынесенные одним экспертом или их группой. Экспериментальными критериями служат результаты одновременного и независимого исследования испытуемого другим тестом, который считается апробированным и измеряющим то же свойство, что и конструируемый тест. В качестве жизненных критериев используются объективные социально - демографические и биографические данные. На стратегии, основанной на внешней информативности экспериментальных данных, строятся конструирование диагностического алгоритма при помощи регрессионного анализа, дискриминантного анализа [49] и типологического подхода [60], [99]. Наиболее широко в настоящее время употребляются линейные диагностические модели. Однако в условиях неоднородности обучающей выборки они обладают практической успешностью не выше 70-80% [60]. Построенная диагностическая модель может считаться психодиагностическим тестом только после прохождения ею испытаний на предмет проверки психометрических свойств - надежности и валидности [20],[27]. Надежность теста - характеристика методики, отражающая точность психодиагностических измерений, а также устойчивость результатов теста к воздействию посторонних случайных факторов [27]. Валидность - мера соответствия тестовых оценок представлениям о сущности свойств или их роли в той или иной деятельности [60]. 1.4 п ерспективные алгоритмы построения психодиагностических методик Перспективным направлением в построении психодиагностических методик в настоящее время считается использование аппарата теории распознавания образов [2], [13], [47]. Классификация методов распознавания образов многообразна. Выделяются параметрические, непараметрические и эвристические методы, существуют классификации основанные на терминологии сложившихся научных школ. В [52] методы распознавания образов классифицируются следующим образом: – – – – – Кроме того существенным для метода, основанного на теории распознавания образов, может быть способ представления знаний. В настоящее время выделяют два основных способа [78] : 1. 2. Группа интенсиональных методов распознавания образов включает в себя следующие подклассы: 1) 2) 3) 4) Группа экстенсиональных методов включает в себя: 1) 2) k -ближайших соседей, в котором решение об отнесении объекта к какому-либо классу принимается на основе информации о принадлежности k его ближайших соседей. 3) При сравнении экстенсиональных и интенсиональных методов распознавания образов в [47] употребляется следующая аналогия: интенсиональные методы соответствуют левополушарному способу мышления, основанному на знаниях о статических и динамических закономерностях структуры воспринимаемой информации; экстенсиональные же методы соответствуют правополушарному способу мышления, основанному на целостном отображении объектов мира. 1.5 м етоды восстановления зависимостей Наиболее широко в данной работе будут рассмотрены методы построения психодиагностических методик на базе интенсиональных методов, основанных на предположениях о классе решающих функций. Поэтому рассмотрим их более подробно. Основным достоинством методов, основанных на предположении о классе решающих функций является ясность математической постановки задачи распознавания как поиска экстремума. Многообразие методов этой группы объясняется широким спектром используемых функционалов качества решающего правила и алгоритмов поиска экстремума. Обобщением данного класса алгоритмов является метод стохастической аппроксимации [94]. В данном классе алгоритмов распознавания образов содержательная формулировка задачи согласно [29] ставится следующим образом: Имеется некоторое множество наблюдений, которые относятся к p различных классов. Требуется, используя информацию об этих наблюдениях и их классификациях, найти такое правило, с помощью которого можно было бы с минимальным количеством ошибок классифицировать вновь появляющиеся наблюдения. Наблюдение задается вектором x , а его классификация - числом ( Таким образом, требуется, имея последовательность из l наблюдений и классификаций построить такое решающее правило Для формализации термина «ошибка» принимается предположение о том, что существует некоторое правило x классификацию x с помощью правила называется такая классификация, при которой и не совпадают. Далее предполагается, что в пространстве векторов x существует неизвестная нам вероятностная мера (обозначаемая плотность случайно и независимо появляются ситуации x , которые классифицируются с помощью правила Качество решающего правила записывается в виде Проблема следовательно заключается в построении решающего правила таким образом, чтобы минимизировать функционал Сходной с задачей распознавания образов является задача восстановления регрессии, предпосылки к которой формулируются следующим образом: Два множества элементов связаны функциональной зависимостью, если каждому элементу x может быть поставлен в соответствие элемент y . Эта зависимость называется функцией, если множество x - векторы, а множество y - скаляры. Однако существуют и такие зависимости, где каждому вектору x ставится в зависимость число y , полученное с помощью случайного испытания, согласно условной плотности x ставится в соответствие закон y . Существование таких связей отражает наличие стохастических зависимостей между вектором x и скаляром и скаляром y . Полное знание стохастической зависимости требует восстановления условной плотности x ставит в соответствие число y ( x ), равное математическому ожиданию скаляра y : y ( x ) называется функцией регрессии, а задача восстановления функции условного математического ожидания - задачей восстановления регрессии. Строгая постановка задачи такова: В некоторой среде, характеризующейся плотностью распределения вероятности P ( x ), случайно и независимо появляются ситуации x . В этой среде функционирует преобразователь, который каждому вектору x ставит в соответствие число y , полученное в результате реализации случайного испытания, согласно закону P ( x ) и закон неизвестны, однако известно, что существует регрессия восстановить регрессию, то есть в классе функций отыскать функцию Задача восстановления регрессии является одной из основных задач прикладной статистики. К ней приводится проблема интерпретации прямых экспериментов. Задача решается в следующих предположениях: – y с вектором x : – в ситуации, когда в любой точке x может быть проведен прямой эксперимент по определению этой зависимости, то есть проведены прямые измерения величины x удается определить не величину - ошибка эксперимента, – x условия эксперимента не допускают систематической ошибки, то есть математическое ожидание измерения функции в каждой фиксированной точке равно значению функции в этой точке: – и независимы. В этих условиях необходимо по конечному числу прямых экспериментов восстановить функцию Задача восстановления регрессии принято сводить к проблеме минимизации функционала на множестве (интегрируемых с квадратом по мере функций) в ситуации, когда плотность неизвестна, но зато задана случайная и независимая выборка пар 1.6 а лгоритмы и методы безусловной оптимизации Как было показано в предыдущем параграфе данной главы, решение основных задач восстановления зависимостей достигается при помощи процедуры оптимизации функционала качества. Ее решение будет рассмотрено в подходах задачи безусловной минимизации гладкой функции [77]. Данная задача непосредственно связана с условиями существования экстремума в точке: – называется локальным минимумом на для - точка минимума на и дифференцируема в – - выпуклая функция, дифференцируемая в точке и - точка глобального минимума на – - точка минимума на и дважды дифференцируема в ней, то – дважды дифференцируема, выполнено необходимое условие первого порядка ( - точка локального минимума. Условия экстремума являются основой, на которой строятся методы решения оптимизационных задач. В ряде случаев условия экстремума хотя и не дают возможности явного нахождения решения, но сообщают много информации об его свойствах. Кроме того, доказательство условий экстремума или вид этих условий часто указывают путь построения методов оптимизации. При обосновании методов приходится делать ряд предположений. Обычно при этом требуется, чтобы в точке выполнялось достаточное условие экстремума. Таким образом, условия экстремума фигурируют в теоремах о сходимости методов. И, наконец, сами доказательства сходимости обычно строятся на том, что показывается, как «невязка» в условии экстремума стремится к нулю. При решении оптимизационных задач существенны требования существования, единственности и устойчивости решения. Существование точки минимума проверяется при помощи теоремы Вейерштрасса: Пусть непрерывна на и множество для некоторого непусто и ограничено. Тогда существует точка глобального минимума на При анализе единственности точки экстремума применяются следующие рассуждения: Точка минимума называется локально единственной, если в некоторой ее окрестности нет других локальных минимумов. Считается, что - невырожденная точка минимума, если в ней выполнено достаточное условие экстремума второго порядка ( Доказано, что точка минимума (строго) выпуклой функции (глобально) единственна. Проблема устойчивости решения возникает в связи со следующим кругом вопросов: – – В [77] приводится следующее определение устойчивости: Точка локального минимума называется локально устойчивой, если к ней сходится любая локальная минимизирующая последовательность, то есть если найдется такое, что из следует При обсуждении проблемы устойчивости решения задачи оптимизации можно выделить следующие важные теоремы. – локально устойчива тогда и только тогда, когда она локально единственна. – - локально устойчивая точка минимума непрерывной функции - непрерывная функция. Тогда для достаточно малых функция имеет локально единственную точку минимума в окрестности и при – - невырожденная точка минимума непрерывно дифференцируема в окрестности точки существует - локальная точка минимума функции в окрестности Помимо качественной характеристики точки минимума (устойчива она или нет) существенным является вопрос количественной оценки устойчивости. Такие оценки, позволяющие судить о близости точки к решению близко к записываются следующим образом: Для сильно выпуклых функций: где - константа сильной выпуклости. Для невырожденной точки минимума: где - наименьшее собственное значение матрицы Как видно, в каждом из этих определений играет роль характеристики «запаса устойчивости» точки минимума. Кроме в качестве характеристики устойчивости точки минимума используют «нормированный» показатель Можно сказать, что характеризует степень вытянутости линий уровня в окрестности - «овражность» функции (чем больше Наиболее важны в идейном отношении следующие методы безусловной оптимизации: градиентный и Ньютона. Идея градиентного метода заключается в том, чтобы достигнуть экстремума путем итерационного повторения процедуры последовательных приближений начиная с начального приближения в соответствии с формулой - длина шага. Сходимость данного метода подтверждается в доказательстве следующей теоремы: Пусть функция дифференцируема на удовлетворяет условию Липшица: ограничена снизу: и удовлетворяет условию Тогда в градиентном методе с постоянным шагом градиент стремится к 0: монотонно убывает: Для сильно выпуклых функций доказываются более сильные утверждения о сходимости градиентного метода. При решении задачи оптимизации методом Ньютона используется подход, заключающийся в итерационном процессе вида и в нахождении точки экстремума как решения системы из n уравнений с n неизвестными В методе Ньютона производится линеаризация уравнений в точке и решение линеаризованной системы вида Анализ достоинств и недостатков итерационных методов оптимизации можно свести в таблицу (см. табл. 3).
Модификацией градиентного метода является метод наискорейшего спуска: Модификация метода Ньютона с целью придания ему свойства глобальной сходимости возможна, например, способом регулировки длины шага: Такой метод называют демпфированным методом Ньютона. Возможные подходы к способу выбора шага – – на константу до выполнения условия или условия Демпфированный метод Ньютона глобально сходится для гладких сильно выпуклых функций. Помимо одношаговых методов, к которым относятся градиентный метод и метод Ньютона, существует целый класс многошаговых методов, использующих для оптимизации информацию, полученную с предыдущих шагов. К ним относятся: – - некоторые параметры. Введение инерции движения (член – Кроме всех вышеперечисленных методов оптимизации существует еще класс методов, основанных на идее восстановления квадратичной аппроксимации функции по значениям ее градиентов в ряде точек. К ним относятся: – пересчитывается рекуррентно на основе информации, полученной на k -й итерации, так что BFGS или БФГШ (метод Бройдена-Флетчера-Гольдфарба-Шанно) [46]. – 1.7 н ейронные сети В данной работе задачи распознавания образов и восстановления зависимостей будут решаться в основном с применением нейронных сетей. Обзор данной темы основан на [1]-[6], [8]-[15], [22],[23], [32]-[34], [36]-[41], [59], [64], [67]-[70], [83]-[88]. 1.7.1 Основные элементы Нейронная сеть представляет собой структуру взаимосвязанных клеточных автоматов, состоящую из следующих основных элементов: Нейрон - элемент, преобразующий входной сигнал по функции: где x - входной сигнал, c - параметр, определяющий крутизну графика пороговой функции, а c m - параметр спонтанной активности нейрона. Сумматор - элемент, осуществляющий суммирование сигналов поступающих на его вход: Синапс - элемент, осуществляющий линейную передачу сигнала: где w - “вес” соответствующего синапса. 1.7.2 Структура сети Сеть состоит из нейронов, соединенных синапсами через сумматоры по следующей схеме: Сигналы, возникающие в процессе работы сети разделяются на прямые (используемые при выдаче результата сетью) и двойственные (использующиеся при обучении) и могут быть заданы следующими формулами: Для i-го нейрона на такте времени T: где m i0 - параметр инциации сети, x i1 - входные сигналы сети, поступающие на данный нейрон, f iT - выходной сигнал нейрона на такте времени T, A i1 - входной параметр i-го нейрона на первом такте функционирования сети, A iT - входной сигнал i-го нейрона на такте времени T, a ji - вес синапса от j-го нейрона к i-му, a Mi - вес синапся памяти i-го нейрона, a i1 - параметр нейрона и a i2 - параметр спонтанной активности нейрона, A iT-1 - входной сигнал i-го нейрона на такте T-1, f jT-1 - выходной сигнал j-го нейрона на такте T-1 и f iT,A - производная i-го нейрона по его входному сигналу. Для синапса связи от i-го нейрона к j-му: где s jT - входной сигнал синапса от i-го нейрона к j-му, f iT - выходной сигнал i-го нейрона, a ij - вес данного синапса, s ijT - выходной сигнал синапса на такте времени T. Для синапса памяти i-го нейрона: 1.7.4 Обучение сети В данной задаче обучение будет происходить по “коннекционистской” модели, то есть за счет подстройки весов синапсов. Суть обучения состоит в минимизации функции ошибки 1.7.5 Обратное функционирование Расчет градиента ведется при обратном отсчете тактов времени по следующим формулам: Для синапса связи: Для синапса памяти: Окончательно после прохождения q тактов времени частные производные по весам синапсов будут иметь вид для синапсов памяти и для синапсов связи соответственно: Выводы главы 1 1. 2. 3. 4. Глава 2. Решение нейросетями классических задач психодиагностики 2.1 Классический эксперимент Специфические особенности математического аппарата нейронных сетей, детально описанные в [36], [41] и опыт их применения в различных областях знания (см. например [5], [8], [10], [13], [84], [86]) подсказали возможность решения при их помощи и психологических задач. Предполагалось проверить несколько возможностей использования нейронных сетей, а именно: - Во первых - ожидалось решение серьезной проблемы, возникающей у разработчиков и пользователей компьютерных психологических тестов, а именно адаптивности методик. Математическое построение современных объективных диагностических тестов основано на сравнении, сопоставлении выявленного состояния с нормой, эталоном [21], [71]. Однако понятно, что нормы выработанные для одной социокультурной группы вовсе не обязательно являются таковыми же для другой (в качестве примера можно привести сложности, которые приходится преодолевать при адаптации зарубежных методик). Нейросетевые же имитаторы обладают полезной в данном случае особенностью дообучаться по тому материалу, который предоставит конкретный исследователь. - Во вторых - предполагалось использование нейросетевого имитатора как рабочего средства исследователя. - В третьих - оценка возможности создания при помощи нейронных сетей новых, нестандартных тестовых методик. Предполагалось проверить возможность выдачи непосредственных рекомендаций по преобразованию реального состояния объекта, минуя стадию выставления диагноза (построения 'измеренной индивидуальности' [26]). Исследование было выполнено с применением нейросетевых программных имитаторов объединения 'НейроКомп' [36], [41], [70], [85], [87] на психологическом материале, собранном в Красноярском гарнизонном военном госпитале. В первую очередь предстояло выяснить, доступен ли нейросетям тот уровень диагностики, который уже достигнут при помощи стандартных психологических тестов. Для получения результатов максимальной достоверности была выбрана достаточно проверенная клинической практикой психологическая методика ЛОБИ [57] (Личностный Опросник Бехтеревского института). Кроме того, немаловажным фактором в выборе именно этого теста было и то, что методика четко алгоритмизована и имеет реализацию в виде компьютерного теста. Итак задачей эксперимента было определить, насколько адекватно нейросетевой имитатор может воспроизвести результаты типовой психологической методики в постановке диагноза пациенту. Рассмотрев данную задачу, а также имеющиеся в наличии нейросетевые программы было решено воспользоваться нейросетевым имитатором MultiNeuron (описание пакета см. в [85], [87]). Пакет программ MultiNeuron представляет собой программный имитатор нейрокомпьютера, реализованный на IBM PC/AT, и, в числе прочих функций, предназначен для решения задач n-арной классификации. Данный пакет программ позволяет создавать и обучать нейросеть для того, чтобы по набору входных сигналов (например, по ответам на заданные вопросы) определить принадлежность объекта к одному из n (n MultiNeuron (по гармоническому типу выборка содержала недостаточно данных - 1 пример с наличием данного типа). Задачники были сформированы из строк ответов, представляющих собой цепочку из 162 сигналов, каждый из которых отвечал за 1 из вопросов опросника ЛОБИ по следующему принципу: -1 - выбран негативный ответ на данный вопрос, 1 - выбран позитивный ответ, 0 - вопрос не выбран. Данная система обозначений была выбрана, исходя из желательности нормировки входных сигналов, подаваемых на вход нейронов на интервале [-1,1]. Ответ задавался классами, 1 класс - тип отсутствует, 2 класс - тип диагностируется. При этом для чистоты эксперимента по собственно типам реакции на стресс было принято решение отказаться от диагностики негативного отношения к исследованию и исключить из обучающей выборки такие примеры. В общих чертах суть экспериментов сводилась к следующему: часть примеров исходной выборки случайным образом исключалась из процесса обучения. После этого нейронная сеть обучалась на оставшихся, а отобранные примеры составляли тестовую выборку, на которой проверялось, насколько вычисленные ответы нейронной сети соответствуют истинным. В процессе обучения нейронных сетей с различными характеристиками автор пришел к выводу, что для данной задачи можно ограничиться числом нейронов равным 2 (то есть по 1 нейрону на каждый из классов). Наилучшие результаты при тестировании на проверочной выборке показали сети с характеристическим числом нейронов c=0.4. Для подробной обработки была взята выборка, отвечающая за эргопатический тип ЛОБИ. Серия экспериментов по обучению сети показала, что полносвязная сеть, обучаемая на выборке из 152 примеров, не показывает результат лучше, чем 90% правильных ответов (в среднем же - около 75%). Тот же результат подтвердился при проведении сквозного тестирования, когда обучение производилось на 202 примерах, а тестировался 1. После обучения 203 сетей по такой методике был получен сходный результат - уверенно правильно было опознано 176 примера (86.7%), неуверенно правильно - 4 (1.97%), неверно - 28 (13.79%), то есть общий процент правильных ответов составил 88.67. Следует, однако, отметить, что рост числа примеров обучающей выборки до 200 позволили улучшить число правильных ответов до гарантированной величины 88.67% (см. выше). Следует предположить, что дальнейшее увеличение обучающей выборки позволит и еще улучшить данный результат. Кроме того, причина ошибок в определении эргопатического типа по ЛОБИ может скрываться в недостаточном числе примеров с наличием данного типа (отношение примеров с наличием и отсутствием типа составляет 29:174). Это подтверждается также и тем, что среди примеров с наличием типа процент неверных ответов ( 12 из 29 или 41.38%) несопоставимо выше чем в выборке в целом. Можно, таким образом, сделать вывод, что нейронные сети при использовании определенных методов улучшения результатов (см. ниже) позволяют создавать компьютерные психологические тесты, не уступающие ныне применяющимся методикам, но обладающие новым и очень важным на практике свойством - адаптивностью. 2.2 Оценка значимости вопросов теста Представляет также интерес результат, полученный при оценке значимости входных сигналов (соответственно - вопросов ЛОБИ). Пусть некоторый функциональный элемент нейронной сети преобразует поступающий на него вектор сигналов A по какому-либо закону для элемента v. Эти производные показывают чувствительность оценки к изменению параметра Предлагается следующий алгоритм решения такой задачи: через несколько циклов после начала обучения нейронной сети включаем процедуру вычисления показателей значимости. Момент начала запуска данной процедуры желательно подбирать индивидуально в каждом конкретном случае, поскольку в первые несколько циклов обучения нейросеть как-бы 'рыскает' в поисках нужного направления и показатели значимости могут меняться на диаметрально противоположные. Далее происходит несколько циклов обучения, в ходе которых накапливаются показатели чувствительности в какой-либо норме. 1) 2) где подсчитаны, можно произвести уменьшение числа входных сигналов. Уменьшение следует производить исходя из того, что чем меньше значение тем менее оно влияет на процесс обучения. 2.3 Контрастирование сети по значимости вопросов теста Таким образом, наряду с вычислением показателей значимости для оценки степени обученности нейросети, определением групп значимых сигналов появляется возможность на ранних этапах отсеивать сигналы, маловлияющие на процесс обучения и работу обученной нейросети. Однако следует отметить, что данный алгоритм не страхует от того, что параметр, оказавшийся неважным в начале обучения, не станет доминирующим при окончательном доучивании нейронной сети. Исходя из таких посылок, автор произвел расчет параметров значимости сигналов (вопросов) опросника ЛОБИ. При выборе сигналов с максимальной значимостью был получен список номеров вопросов, важных для определения данного типа, причем он в существенной части совпадал с ключевой выборкой для данного типа по ЛОБИ. При отсечении малозначимых входов был получен интересный результат - качество обучения сети существенно улучшилось (на 2-х таких сетях был получен результат 95.24% и 90.48%, или 20 и 19 правильных ответов из 21 тестового примера). Какой же вывод позволяет сделать данный результат? Из самых грубых оценок необходимого объема экспериментальной выборки при создании тестовой методики следует, что если размерность 'ключевой последовательности' составляет N вопросов, то для вычисления весовых коэффициентов при этих вопросах необходимая выборка должна составлять порядка N*N примеров. Как раз примерно такое соотношение (N - порядка 15, N*N - порядка 200) имело место в описанном эксперименте. Однако следует помнить, что множество вопросов теста, как правило, гораздо шире, чем необходимо для диагностики данного признака, поскольку методики в большинстве своем предназначены для определения нескольких признаков. А, следовательно, возникает следующая проблема: для определения параметров модели требуется M*M примеров, где M - общее число вопросов. Стоит, видимо, напомнить, что для методики ЛОБИ, например, M=162, тогда число примеров должно составить 26244, что практически нереально для практика - одиночки, не имеющего за спиной мощного исследовательского центра. В случае же, когда выборка имеет недостаточный размер, возникает феномен 'ложных корреляций' - модель определяет влияние на выходной результат тех параметров, которые на самом деле слабо с ним коррелируют. Именно такие 'ложные корреляции' и вызывают ошибки при отнесении исследуемых к классу наличия или отсутствия диагностируемого типа. 2.4 Результаты экспериментов с контрастированными сетями В следующей серии экспериментов был использован прием, называемый 'контрастированием'. В нейроимитаторе 'MultiNeuron' имеется возможность отключать часть входных сигналов. Достигается это тем, что синапсу, отвечающему за отключаемый вход, присваивается фиксированное значение - 0, которое не может быть изменено в процессе обучения. Тогда этот вход не влияет на процесс обучения сети. В данном эксперименте автор исходил из того, что входы, обладающие минимальной значимостью в области подстроечных параметров, которая соответствует обученному состоянию сети, являются несущественными для диагностики типа. Следовательно, при их отключении снижается размерность пространства входов, а следовательно - и потребный размер обучающей выборки. Кардинальное улучшение результатов обучения, достигнутое после проведения контрастирования подтверждает этот факт, ведь полученный из общих представлений объем экспериментальной выборки как раз оказался достаточным для обучения контрастированной сети. Итак, на вопрос, заданный выше, мы можем ответить: улучшение результатов обучения после анализа и настройки входов свидетельствует о том, что контрастирование является средством борьбы с ложными корреляциями, и следовательно позволяет сократить объем экспериментальной выборки для многоплановых методик. Кроме того, побочным результатом обработки может служить набор вопросов, существенных для данного типа, что может дать предмет для размышлений психологам - теоретикам. Выводы главы 2 1. 2. 3. 4. Глава 3. Интуитивное предсказание нейросетями взаимоотношений 3.1 Проблема оценки взаимоотношений В работе практических психологов, имеющих дело с подбором персонала или исследующих взаимоотношения внутри уже сложившихся групп (примером первого может служить психолог-консультант по подбору персонала, примером второго - офицер по работе с личным составом в частях, классный руководитель в школе) постоянно возникает задача установления и прогноза межличностных отношений в группе. Под отношением в данной работе понимается психологический феномен, сутью которого является возникновение у человека психического образования, аккумулирующего в себе результаты познания конкретного объекта действительности (в общении это другой человек или группа людей), интеграции всех состоявшихся эмоциональных откликов на этот объект, а также поведенческих ответов на него [24]. Кроме того, общение обыкновенно происходит в условиях определенной ситуации: в присутствии других людей, которые для общающихся в разной степени субъективно значимы, на фоне какой-то конкретной деятельности, при действии каких-либо экспериментальных факторов. 3.2 Общая задача экспериментов В данной работе была поставлена задача смоделировать и, по возможности, спрогнозировать систему взаимоотношений в группе на основе состояния и поведения исследуемых, оставляя в стороне такие аспекты формирования отношений между людьми, как внешний облик, приписываемые человеку цели и мотивы [24]. Оценке и прогнозу подвергались межличностные «статусно-ролевые» [79] отношения в группах. Оценка совместимости «человек-человек» и «группа-человек» велась по оценке статуса исследуемых - индивидуальной (от каждого к каждому) и групповой (от группы к человеку). Задача моделирования и прогнозирования взаимоотношений людей в группе (коллективе) неоднородна - она может быть условно подразделена на следующие подзадачи: – – Кроме того, при проведении экспериментов предполагалось апробировать к задаче прогноза межличностных отношений методику интуитивной выдачи предсказания минуя создание описанной (дескриптивной) [26] реальности. 3.3 Применяемые в экспериментах психологические методики Для определения фактических отношений в исследуемых группах применялась социометрическая методика. Данная методика позволяет определить положение исследуемого в системе межличностных отношений той группы, к которой он принадлежит. Социометрическое исследование группы обычно проводится тогда, когда группа включает в себя не менее 10 человек и существует не менее одного года. Всем членам исследуемой группы предлагается оценить каждого из товарищей (включая и самого себя - появляется возможность изучения самооценки исследуемых). В стандартном варианте методики оценка ведется по трехступенчатой шкале предпочтений - «приемлю - безразличен - отвергаю». Однако для получения большей разрешающей способности методики шкала была модифицирована до десятибалльной. В используемом варианте социометрического исследования применялось следующее задание: «Оцените своих товарищей, задав себе вопрос: «Насколько я бы хотел работать с этим человеком в одной группе?». Поставьте в соответствующей графе оценку от 1 до 10 баллов по следующему принципу: 1 - не хочу иметь с ним ничего общего, 10 - с этим человеком я бы хотел работать сильнее всего». Результатом исследования для каждого из испытуемых в группе являлась стеновая оценка статуса и экспансивности. Стен [20] представляет собой усредненную оценку, нормированную в предположении, что оценки распределены по закону нормального распределения и, следовательно, выполняется правило «трех сигм». Статусом именуется стеновый балл всех оценок, сделанных данному члену группы, экспансивностью - стеновый балл всех оценок, сделанных данным испытуемым всем остальным представителям группы. В процессе экспериментов предполагалось подтвердить (или отвергнуть) гипотезу о том, что нейросеть позволяет на основе психологических особенностей людей (представителей группы) моделировать взаимоотношения в группе и выдавать прогноз по вхождению в группу нового члена и по взаимоотношениям двух индивидуумов. Предполагалось также оценить качество прогноза - возможные значения ошибок и их распределение. Описание личностных качеств испытуемых предполагалось получить на основе опросника, составленного А.Г. Копытовым (ППФ КГУ). Опросник включает в себя три субтеста, каждый из которых составлен из вопросов, предназначенных для определения константных свойств человеческой личности - темперамента, эмоциональности, контактности и т. п. Общее число вопросов - 90, в первом субтесте - 29, во втором - 25 и в третьем - 36. Текст опросников - см. Приложение 3. Сбор данных производился путем проведения одновременного анкетирования в студенческих учебных группах по опроснику А.Г. Копытова и социометрического исследования. Затем результаты социометрии обрабатывались на специально разработанной программе (см. Приложение 2), рассчитывающей стеновые оценки статуса и экспансивности. Эксперименты по обучению нейронных сетей производились на нейросетевом имитаторе MultiNeuron v 2.0 в режиме предиктора, то есть нейросети, имеющей на выходе вещественное число (подробное описание - см. [85] , [87] ). 3.4 Эксперименты по предсказанию группового статуса В этой серии экспериментов предполагалось проверить, насколько нейронные сети способны моделировать вхождение в группу отдельного человека. По вышеописанной методике были обследованы три студенческие группы - третьего, четвертого и пятого курсов, общее число собранных анкет - 48 (19, 17 и 12 по группам соответственно). Результаты анкетирования каждой из групп был составлен задачник, представляющий собой реляционную таблицу, включающую следующие поля: № - автоиндексируемый номер записи, ID - номер испытуемого по списку группы, w 1_1 - w 1_29 - ответы на вопросы первого субтеста, w 2_1 - w 2_25 - ответы на вопросы второго субтеста, w 3_1 - w 3_36 - ответы на вопросы третьего субтеста, to 1 - to 30 - оценки, выставленные данным испытуемым членам группы (строка социометрической матрицы), St - значение стеновой оценки статуса данного испытуемого, Ex - экспансивности. Для первого и третьего субтестов, у которых вопрос имел два варианта ответа («Да»/«Нет»), ответ кодировался по принципу 1 - «Да», 2 - «Нет». Второй субтест, имеющий три варианта ответов («а», «б, «в») - 1 - вариант «а», 2 - «б», 3 - «в». При формирования структуры задачника поля w 1_1 - w 3_36 были обозначены как входные, поле Ex - как выходное. Нейросеть в процессе обучения должна была приобрести умение предсказывать статус члена группы по его ответам на опросник А.Г. Копытова.
Причина этого в том, что начальная карта синаптических весов генерируется случайным образом. Для преодоления данной проблемы в практике создания нейросетей (см. например [36]) используется предсказание ответов группой сетей, обученных на одних и тех же данных - консилиумом. Решено было применить этот метод и для данной задачи. При проведении скользящего контроля по выборке для каждого из случаев обучалась не одна нейросеть, а десять. Фиксировались средние выборочные значения ошибки предсказания статуса каждым из экспертов, а затем, оценивалась погрешность предсказания всем консилиумом. Для этого в качестве ответа на каждую из задач скользящего контроля подавалось среднее значение ответов десяти нейросетей - экспертов. Результаты этого эксперимента представлены в табл. 3.
Результаты этой серии экспериментов представлены в табл. 4.
Результаты данной серии из 480 экспериментов представлены в табл. 5.
Причина этого феномена, предположительно, в том, что при предсказании статуса испытуемых информация о них существенно ограничена - отсутствуют данные анамнестического плана, данные об их социальном положении. Этим практически исключается из состава используемых в прогнозе данных информация о внешнем облике, принадлежности к социокультурной или национальной группе - то есть вся социальная история личности и коллектива в целом, хотя известно, что эти факторы могут вызвать существенное различие в поведении людей со схожим типом личности. Информация же о константных психологических качествах испытуемых относительно однородна от группы к группе, что позволяет нейросети накапливать опыт, основанный на ней. 3.5 Нейросетевое исследование структуры опросника Следующим этапом работ по прогнозу статуса испытуемых в группах было определение значимости вопросов опросника и исключение из него наименее значимых вопросов. Согласно результатам главы 2 это может привести к улучшению качества прогноза, выдаваемого нейросетью. Для решения данной задачи была использована возможность вычисления значимости параметров, заложенная в MultiNeuron . Были обучены пять нейронных сетей по задачнику, включающему все три группы исследуемых, затем, средствами MultiNeuron , определены числовые значения значимости сигналов, соответствующих вопросам опросника. После этого список вопросов был отсортирован по среднему значению величины значимости. В результате была получена следующая картина (вопросы размещены по убыванию значимости ): 1_6. Вы обычно говорите без запинок? 1_23 . Вы обычно предпочитаете делать несложные дела, не требующие от Вас большой энергии? 1_7. Легко ли Вы можете найти другие варианты решения известной задачи? 3_24. Самое трудное для Вас - это справиться с собой. 3_28. Вы склонны принимать все слишком близко к сердцу. 3_22. Вам нетрудно внести оживление в довольно скучную компанию. 1_2. Легко ли Вам выполнять работу, требующую длительного внимания и большой сосредоточенности? 1_1. Легко ли Вы генерируете идеи, связанные с работой? 3_10. Вы не раз замечали, что незнакомые люди смотрят на Вас критически. 3_8. Иногда у Вас пропадает или изменяется голос, даже если Вы не простужены. 2_3. Окружающим известно, что у меня много разных идей, и я почти всегда могу предложить какое-то решение проблемы. 1_19. Обычно Вы предпочитаете легкую работу? 1_27. Дрожат ли у Вас иногда руки во время ссоры? 3_20. Некоторые так любят командовать, что Вам все хочется делать наперекор, хотя Вы знаете, что они правы. 2_25. Бывает, что я говорю незнакомым людям о вещах, которые кажутся мне важными, независимо оттого, спрашивают меня, или нет. 2_19. Если начальство или члены семьи меня в чем-то упрекают, то, как правило, только за дело 3_3. Дурные предчувствия всегда оправдываются 2_24. Обычно я спокойно переношу самодовольных людей, даже когда они хвастаются или другим образом показывают, что они высокого мнения о себе. 2_11. Устаревший закон должен быть изменен 3_29. Вы любите готовить (пищу) 3_35. Вы вели дневник. 1_8. Вы когда-нибудь опаздываете на свидание или работу? 2_5. Ко дню рождения, к праздникам (я люблю делать подарки / затрудняюсь ответить / считаю, что покупка подарков несколько неприятная обязанность) 1_9. Часто ли Вам не спится из-за того, что вы поспорили с друзьями? 2_21. При равной продолжительности дня мне было бы интереснее работать(столяром или поваром / не знаю, что выбрать / официантом в хорошем ресторане) 1_3. Испытываете ли Вы чувство беспокойства, что Вас неправильно поняли в разговоре? 1_5. Быстры ли у Вас движения рук? 3_4. Вы очень часто не в курсе дел и интересов тех людей, которые Вас окружают. 1_28. Испытываете ли Вы тягу к напряженной ответственной деятельности? 3_7. Нравятся ли Вам “первоапрельские” шутки? 1_17. Трудно ли Вам говорить очень быстро? 1_15. Всегда ли Вы платили бы за провоз багажа на транспорте, если бы не опасались проверки? 3_25. Временами Вам так нравится ловкость какого-нибудь преступника, что Вы надеетесь, что его не поймают. 1_10. Нравится ли Вам быстро бегать? 3_33. Ваши родители и другие члены семьи часто придираются к Вам 2_2. У меня бывают такие волнующие сны, что я просыпаюсь 3_18. Вы совершаете много поступков о которых потом жалеете (больше и чаще чем другие) 2_10. Думаю, что обо мне правильнее сказать, что я (вежливый и спокойный / верно нечто среднее / энергичный и напористый) 3_34. Временами, когда Вы плохо себя чувствуете, Вы бываете раздражительными. 3_12. Держитесь ли Вы обычно “в тени” на вечеринках или в компаниях? 1_20. Медленны ли Ваши движения, когда Вы что-то мастерите? 3_2. Иногда Вам очень хотелось навсегда уйти из дома 3_31. Вы стараетесь избегать конфликтов и затруднительных положений. 3_16. Иногда по несколько дней Вы не можете отделаться от какой-нибудь пустяковой мысли. 3_11. Вы знаете, кто виноват в большинстве Ваших неприятностей. 1_21. Вы обычно предпочитаете выполнять только одну операцию? 1_18. Дрожат ли у Вас иногда руки во время ссоры? 1_14. Все ли Ваши привычки хороши и желательны? 3_14. Не все Ваши знакомые Вам нравятся. 3_15. Предпочитаете ли Вы иметь поменьше приятелей, но зато особенно близких Вам. 3_13. Иногда Вы не уступаете людям не потому, что дело действительно важное, а просто из принципа. 3_26. Если Вам не грозит штраф, то Вы переходите улицу там, где Вам удобно, а не там, где положено. 2_7. Мне нравится работа разнообразная, связанная с частыми переменами и поездками, даже если она немного опасна 1_29. Нравится ли Вам быстро говорить? 3_9. Вам неловко входить в комнату, где уже собрались и разговаривают люди 2_20. Бывает, что я говорю незнакомым людям о вещах, которые кажутся мне важными, независимо оттого, спрашивают меня, или нет. 3_21. Вы предпочитаете не заговаривать с людьми, пока они сами к Вам не обратятся. 3_23. Когда Вы узнаете об успехах близкого знакомого, у Вас появляется чувство, что Вы неудачник. 1_24. Сосет ли у Вас под ложечкой перед ответственным разговором? 2_14. Мне доставляет удовольствие совершать рискованные поступки только ради забавы 3_6. Временами в голову приходят такие мысли, что лучше о них никому не рассказывать 2_13. Иногда какая-нибудь навязчивая мысль не дает мне заснуть 2_8. Я предпочел бы иметь дачу (в оживленном дачном поселке / предпочел бы нечто среднее / уединенную, в лесу) 2_1. Я предпочитаю несложную классическую музыку современным популярным мелодиям? 2_22. Когда мною пытаются командовать, я нарочно делаю все наоборот 3_17. Вы часто беспокоитесь о чем-нибудь. 1_22. Бывает ли так, что Вы говорите о вещах, в которых не разбираетесь? 1_16. . Обычно Вам трудно переключать внимание с одного дела на другое? 2_4. У меня бывают такие волнующие сны, что я просыпаюсь 1_11. Испытываете ли Вы постоянную жажду деятельности? 3_19. В гостях Вы держитесь за столом лучше, чем дома. 3_36. Вы легко смущаетесь. 3_30. Вы не осуждаете того, кто стремится взять от жизни все, что может. 2_16. Если бы я работал в хозяйственной сфере, мне было бы интереснее 1_25. Считаете ли Вы свои движения медленными и неторопливыми? 3_32. Справляетесь ли Вы с делом лучше, обдумывая его самостоятельно, а не обсуждая с другими. 2_12. Если кто-то разозлился на меня (Я постарался бы его успокоить / я не знаю, что бы я предпринял / это вызвало бы у меня раздражение) 1_12. Быстро ли Вы читаете вслух? 3_5. Иногда Вы так настаиваете на чем-нибудь, что люди начинают терять терпение 2_18. Обычно я могу сосредоточенно работать, не обращая внимания на то, что люди вокруг меня очень шумят 1_26. Ваша речь обычно медленна и нетороплива? 2_17. Вечер, проведенный за любимым занятием, привлекает меня больше, чем оживленная вечеринка 2_15. Я делаю людям резкие критические замечания, если мне кажется, что они того заслуживают 1_4. Любите ли Вы игры в быстром темпе? 1_13. Если Вы обещали что-то сделать, всегда ли Вы выполняете свое обещание независимо от того, удобно это Вам или нет? 2_9. Я провожу много свободного времени, беседуя с друзьями о тех прежних событиях, которые мы вместе пережили когда-то. 2_6. Иногда у меня бывали огорчения из-за того, что люди говорили обо мне дурно за глаза без всяких на то оснований. 3_27. Вы часто испытываете тягу к новым впечатлениям, к тому, чтобы встряхнуться, испытать возбуждение. 2_23. Люди относятся ко мне менее благожелательно, чем я того заслуживаю своим добрым к ним отношением. 3_1. Часто ли Вы переходите на другую сторону улицы, чтобы не встречаться с кем нибудь из знакомых? Для определения значимости субтестов теста было произведено вычисление средней значимости по вопросам каждого из них. Субтесты распределились в следующем порядке: наиболее значимый - 1-й, далее - 3-й и наименее значимый - 2-й. Данное распределение можно проиллюстрировать гистограммой (рис. 1). Для построения этой гистограммы все вопросы, отсортированные в порядке убывания значимости, были разбиты на девять десяток, а затем для каждой из них было подсчитано число вхождений вопросов, принадлежащих первому, второму и третьему субтесту.
Оптимальным можно признать опросник из половины вопросов, максимальных по своей значимости для нейронной сети, поскольку результаты тестирования для него лучше чем для всех остальных вариантов, включая и полный набор вопросов. 3.6 Оценка оптимизации задачника нейросетью с позиций теории информации Разницу между первоначальным (заданным психологом) и требуемым нейросети для успешного решения задачи объемом опросника можно оценить с позиций теории информации [95]. Начальное количество информации, содержащейся в тесте можно оценить исходя из того, что вопросы первого и третьего тестов бинарны (варианты ответов «Да» и «Нет», вероятность наступления каждого из них - 0.5), а ответы на вопросы второго - могут с равной вероятностью соответствовать наступлению одного из трех событий, которые будем считать равновероятными (варианты ответов «А», «Б» и «В», p =0.333). Тогда, исходя из формулы Шеннона и учитывая, что количество вопросов в первом субтесте - 29, во втором - 25 и в третьем - 36 можем вычислить суммарное количество информации, содержащееся в ответах на вопрос теста: После исключения половины вопросов из-за их малой значимости для нейронной сети в оптимизированном опроснике осталось 16 вопросов первого субтеста, 9 - второго и 20 - третьего. Количество информации, оставшееся после оптимизации: то есть количество информации при оптимизации сократилось несколько более чем вдвое. 3.7 Эксперименты по предсказанию парных взаимоотношений В этой серии экспериментов предполагалось установить, способны ли нейросети воспроизвести взаимоотношения пары испытуемых. Обучающие выборки имели следующую структуру: № - номер примера, ID _ From - номер оценивающего, ID _ From - имя оценивающего, ID _ To - номер оцениваемого, Name _ To - имя оценивающего, w 1_1_ From - w 3_36_ From - ответы на вопросы опросника А.Г. Копытова, данные оценивающим, w 1_1_ To - w 3_36_ To - ответы на вопросы опросника А.Г. Копытова, данные оцениваемым, Ocen - данная оценка. В задачник включались строки, соответствующие всем клеткам социометрической матрицы кроме диагональных, отвечающих за самооценку испытуемых. Был сформирован задачник по группе 5-го курса. В него вошли 132 примера, по которым было произведено обучение соответствующего числа сетей по методике скользящего контроля. В силу большой трудоемкости задачи обучения по выбооркам такого объема и размерности (обучение одной сети занимает около 40 мин.) обучения консилиумов не проводилось. Результат скользящего контроля следующий: средняя относительная ошибка предсказания парных взаимоотношений в группе составила 33,1%. Затем было вычислено среднее расстояние и где N - количество примеров обучающей выборки. Данная величина составила 6.612 (или, относительно шкалы измерения признака, 66.12%), то есть отличие предсказания сети от случайного почти двукратное. Таким образом, можно говорить, что нейронные сети могут предсказывать не только усредненный статус члена группы, но и взаимоотношения между двумя произвольно взятыми личностями. Выводы главы 3 1. 2. 3. психодиагностические тестовые методики по объему точнее, чем это доступно даже опытному психологу. Глава 4. Полутораслойный предиктор с произвольными преобразователями 4.1 Постановка проблемы Функция F на R задана набором своих значений в случайных точках пространства . Построим ее аппроксимацию при помощи комбинаций Тогда Аппроксимация может вестись не только подбором коэффициентов, но и выбором на каждом шаге функций из Решение задачи аппроксимации может быть получено путем минимизации функционала качества, соответствующего квадрату отклонения: Задача состоит в приближении функции F , заданной исходной выборкой точек, при помощи нейросети-предиктора с неизвестным заранее количеством нейронов и видом функции, используемой в преобразователе каждого из нейронов. Решение может быть представлено как итерационный процесс, состоящий из следующих шагов: - Подключение нового нейрона; - Оптимизация ошибки предсказания значений в заданных точек для текущего нейрона путем подбора функции преобразователя, ее параметров и весов синапсов; Если заданная точность достигнута, то процесс можно остановить, в противном случае - процесс повторяется сначала, причем параметры уже обученных нейронов фиксируются, так что каждый новый нейрон обучается вычислять погрешность, оставшуюся от предыдущих. Количество итераций процесса исчерпания ошибки может быть также ограничено из условия превышения нижней оценки константы Липшица для конструируемой нейронной сети над верхней оценкой выборочной константы Липшица. 4.2 Аналитическое решение Пусть - приближаемое очередным слоем значение. Тогда - само значение приближаемой функции в точках экспериментальной выборки, а и последующие - погрешности вычисления на соответствующем шаге. Обучение ведется оптимизацией параметров сети каким либо из градиентных методов по всему задачнику. Тогда при обучении k-го нейрона соответственно H (функция ошибки) для всего задачника будет иметь вид то есть в качестве критерия близости аппроксимируемой и аппроксимирующей функций выбрана сумма квадрата ошибки по всей обучающей выборке. Для обучения каждого очередного нейрона используются частные производные функции параметру нейрона и весу синапса второго (выходного) слоя соответствующему данному нейрону где - число примеров обучающей выборки. Однако, если вычисление функции H связано с затратами процессорного времени порядка T H , то вычисление ее градиента традиционным способом потребует времени порядка T gradH = nT H , где n - число переменных функции H . Учитывая, что в задачах, для которых традиционно применяются нейросети, величина n может достигать нескольких тысяч, аналитическое решение для вычисления градиента функции ошибки следует признать неприемлемым. Однако при описании решающей функции F в виде сети автоматов вычисление градиента функции ошибки H может быть представлено как функционирование системы, двойственной исходной. При таком подходе где C - константа, не зависящая от размерности n и в большинстве случаев примерно равная 3. Таким образом, мы приходим к записи решения исходной задачи в идеологии нейронных сетей. 4.3 Запись решения в идеологии нейросетей Поскольку обучение следующего слоя начинается тогда, когда предыдущие уже обучены, а их связи зафиксированы, то, фактически, каждый нейрон обучается отдельно от других, а в качестве значения, вычисляемого k-м нейроном берется погрешность вычисления функции предыдущими k-1 - нейронами, или F i . Процесс обучения всей сети сводится этим ее разбиением к ряду последовательных процессов обучения структур вида, представленного на рис. 2. Используемое в алгоритме условие остановки формируется из двух подусловий, скомбинированных через «или»: 1. превысило заранее заданную величину (при обучении использовалось значение N sh =15), то есть сеть в данной конфигурации уже не может улучшить оценку; 2. Теперь, рассмотрев алгоритмы обучения сети, перейдем к описанию компонентов, структуры и функционирования сети. 4.5 Оценка информационной емкости нейронной сети при помощи выборочной константы Липшица Условие остановки процесса пошагового исчерпания ошибки может основываться также на оценке полноты функции, заданной нейронной сетью. В случае, если число элементов сети задано (для каждого шага наращивания «поточной» это так) и значения ее параметров ограничены на определенном интервале (это условие выполняется наложением ограничений на параметры сети), данное условие можно сформулировать с использованием константы Липшица. Константа Липшица вектор-функции в области D определяется как D . В качестве оценки расстояния используется евклидова норма. Для суперпозиции вектор-функций Для линейной комбинации функций оценка константы Липшица Константа Липшица для адаптивного сумматора, работающего по формуле имеет вид Тогда для стандартной комбинации, состоящей из матрицы входных синапсов, сумматора и преобразователя - нейрона с гладкой функцией активации . Для прямой суммы вектор-функций константа Липшица может быть оценена как Таким образом, для слоя нейронов с подбираемыми преобразователями - вектор весов синапсов, приходящих на входной сумматор i -го нейрона, а - функция i -го преобразователя. Если заменить всю область определения функций D на конечное множество (задачник), то условие, определяющее требуемый объем нейронной сети можно получить, сравнивая с оценкой константы Липшица для обучающей выборки является нижней оценкой константы Липшица аппроксимируемой функции. Нейросеть может реализовать данную функцию только в том случае, когда Поэтому по тексту будут встречаться ссылки на реальные структуры программы. Для описания компонентов сети был использован аппарат объектно-ориентированного программирования [28], реализованный в среде разработки программ Borland Delphi Developer v .3.0. (см. [44], [45], [58], [63], [75], [76]) Базовым понятием в языке программирования Object Pascal , встроенном в Delphi , является класс - особый вид записи, включающий поля и методы. Экземпляр класса называется объектом. Понятие поле для объекта аналогично понятию поля для записи. Метод - процедура или функция, описанная внутри класса и предназначенная для операции над его полями. 4.7 Компоненты сети Традиционный состав элементов сети (см. главу 1) включает в себя следующие элементы: нейрон, синапс, сумматор. Кроме того, в число типовых включены входной и выходной элементы. На рис. 9 показаны схематические изображения элементов сети, которые далее будут использованы в схемах, описывающих структуру и функционирование программной модели. Название этого класса в программной реализации - TNetPiece . Объекты данного класса включают в себя следующие поля: NextPiece - указатель на следующий элемент сети; PriorPiece - указатель на предыдущий элемент сети; ForwOut - значение сигнала, передающегося элементом вперед при прямом функционировании; BackOut - значение сигнала, передающегося элементом назад при обратном функционировании. Набор методов включает в себя: Create - описание создания объекта; Destroy - действия при разрушении (удалении) объекта; ForwardTact - действия элемента во время такта прямого функционирования; BackwardTact - действия элемента во время такта обратного функционирования; При описании методов ForwardTact и BackwardTact они были оставлены пустыми, так как функционирование конкретных элементов сети существенно различно. Однако введение этих методов имеет достаточно глубокий смысл, поскольку класс TNetPiece является предком всех прочих классов, описывающих элементы сети, и наличие типовых процедур прямого и обратного функционирования позволяет использовать такие свойства модели объектно-ориентированного программирования как наследование свойств и методов и полиморфизм. Подробнее этот тезис будет раскрыт ниже. 4.9 Вход сети Для связи сети с задачником и передачи используются объекты класса TNetInput - входной элемент сети. Данный класс является потомком TNetPiece , и поэтому наследует его набор полей и методов этого класса, а кроме того добавлено поле SourceSignal , которое содержит номер поля задачника, с которого данный вход сети забирает значение. Методы ForwardTact и BackwardTact перекрыты, то есть их код заменен на тот, который соответствует назначению входного элемента. Метод ForwardTact выполняет передачу значения из соответствующего данному элементу поля задачника на выходной сигнал элемента, поле ForwOut . Метод BackwardTact передает двойственный сигнал следующего элемента на свой двойственный сигнал (поле BackOut ). 4.10 Выход сети Выходной элемент сети описывает класс TNetOutput , также являющийся потомком TNetPiece . В методах ForwardTact и BackwardTact заложены действия элемента при прямом и обратном тактах функционирования. Метод ForwardTact выполняет передачу сигнала от выхода предыдущего на выход данного элемента, кроме того в поле H заносится значение ошибки сети при вычислении функции Y . Метод BackwardTact передает на обратный выход элемента (поле BackOut ) значение двойственного сигнала. Двойственный сигнал m H представляет собой производную функции ошибки по выходному сигналу сети: где - аппроксимированное значение функции, выдаваемое сетью, - значение аппроксимируемой функции в данном примере. 4.11 Синапс сети Для описания синапсов сети используются объекты класса TNetSynapse . Как наследник класса TNetPiece он наследует все его поля и методы. Помимо этого в список полей включены Alpha - параметр, представляющий собой вес синапса, и MuAlpha - сигнал, двойственный весу синапса. На такте прямого функционирования метод ForwardTact снимает выходной сигнал предыдущего элемента, умножает его на вес синапса и передает на выходной сигнал данного объекта (поле ForwOut ). На такте обратного функционирования метод BackwardTact передает в поле BackOut двойственный сигнал синапса, который может быть вычислен по следующей формуле: где - двойственный сигнал, передаваемый синапсом, W - функция преобразования в синапсе, - сигнал, поступающий в синапс от предыдущего элемента на такте прямого функционирования, - входной двойственный сигнал, поступающий в синапс от следующего элемента на такте обратного функционирования, Кроме того на обратном такте вычисляется сигнал, двойственный где - сигнал, двойственный Для значений в классе TNetSynapse предусмотрены поля Alpha и MuAlpha . 4.12 Тривиальный сумматор Программной моделью тривиального сумматора является класс TSummator . Помимо полей, унаследованных от класса - предка TNetPiece , TSummator имеет в своей структуре PriorPieces , которое, в отличии от стандартного поля PriorPiece является не указателем на предыдущий элемент, а списком указателей на набор таких элементов. Метод ForwardTact осуществляет суммирование выходных сигналов элементов из списка PriorPieces и помещает полученный результат в поле ForwOut . На такте обратного функционирования происходит передача двойственного сигнала следующего элемента на двойственный сигнал сумматора BackOut . 4.13 Нейрон В данной работе под термином «нейрон» подразумевается нелинейный преобразователь вида где у - выходной сигнал преобразователя, - входной сигнал, - параметр преобразователя, - так называемый «параметр спонтанной активности». Нейрон описывается в программной модели классом TNeuron , выходной сигнал на такте прямого функционирования заносится в поле ForwOut . Обучаемыми в нейроне являются оба параметра - и TNeuron помимо полей Alpha и AlphaS, в которых хранятся значения соответствующих параметров, предусмотрены MuAlpha и MuAlphaS, в которых помещаются значения двойственных им сигналов. Помимо этого в поле BackOut заносится сигнал, двойственный входному. Кроме того, объект класса TNeuron характеризуется еще и полем FunctionType, представляющим собой номер используемой функции преобразователя в списке функций, используемых при оптимизации. Вычисление двойственных сигналов в нейронах производится в общем случае по формулам: где a - параметр, для которого вычисляется двойственный сигнал, - сам двойственный сигнал. Список выражений для применяемого в данной работе набора стандартных функций с их производными по основным параметрам приведен в таблице 1.
Прямой такт потока, описанный методом ForwardTact , происходит следующим образом: Перебираются элементы списка FirstLayer , для каждого из которых вызывается его собственный метод ForwardTact , затем происходит «срабатывание» (вызов этого же метода) для объектов Summator , Neuron и SecondLayer . Затем выходной сигнал объекта заносится в поле ForwOut - выходной сигнал всего потока. Такт обратного функционирования потока, который описан в методе BackwardTact , включает в себя следующие действия: Последовательный вызов собственного метода BackwardTact для объектов SecondLayer , Neuron и Summator , затем перебор элементов списка FirstLayer и вызов метода BackwardTact для каждого синапса, входящего в него. Структура связей между элементами потока представлена на рис 10. Свойство полиморфизма объектов позволяет составлять список предыдущих элементов, например, сумматора, как из простых синапсов, так и из более сложных структур - потоков. Для этого требуется лишь аккуратное выполнение иерархии объектов, описывающих элементы сети. В перспективе, с появлением параллельных трансляторов, объектно-ориентированный подход за счет свойства инкапсуляции объектов позволит легко перейти к моделированию нейросетей в параллельных системах. Выводы по главе 4. 1. 2. 3. 4. ВЫВОДЫ 1. 2. возможно выработать психологическую интуицию, позволяющую выдавать предсказание взаимоотношений, формализованных в виде результатов социометрического эксперимента, с погрешностью 25-30%. 3. может решаться интуитивно - без построения описанной реальности и без сбора информации о социальной истории исследуемых. 4. нейронную сеть полутораслойной структуры, способна решать задачу восстановления зависимости по обучающей выборке при помощи алгоритма поэтапного исчерпания ошибки наращиванием объема сети. 5. выборочной константы Липшица в алгоритме наращивания сети позволило реализовать способ ограничения избыточности числа нейронов и объема сети. 6. Основное содержание диссертации изложено в следующих работах: 1. Dorrer M.G. Neural networks instead of psychological measurements // Abstracts of the 3 rd International conference «Mathematics, computer, education». Dubna, 1996. 2. Dorrer M.G., Gorban A.N., Kopytov A.G. Simulation of psychological intuition by means of neural networks // New Concepts to Uncover Higher Brain Functions. The 5 th Tohwa university International Symposium. Fukuoka , Japan : Tohwa University , 1995. - p.153. 3. Dorrer M.G., Gorban A.N., Kopytov A.G. Zenkin V.I. Psychological intuition of neural networks // Proceedings of the WCNN’95 (World Congress on Neural Networks’95, Washington DC, Juli 1995) - pp. 193-196 4. Dorrer M.G., Gorban A.N., Zenkin V.I. Neural networks in psychology: classical explicit diagnoses // Neuroinformatics and neurocomputers, Proceedings of the 2 nd RNNS-IEEE Symposium, Rostov-on-Don, September 1995 - pp 281-284 5. Gorban A.N., Rossiev D.A., Butakova E.V., Gilev S.E., Golovenkin S.E., Dogadin S.A., Dorrer M.G., Kochenov D.A., Kopytov A.G., Maslennikova E.V., Matyushin G.V., Mirkes Ye.M., Nazarov B.V., Nozdrachev K.G., Savchenko A.A., Smirnova S.V., Shulman V.A., Zenkin V.I. Medical, psychological and physiological applications of MultiNeuron neural simulator // Neuroinformatics and neurocomputers, Proceedings of the 2 nd RNNS-IEEE Symposium, Rostov-on-Don, September 1995 - pp 7-14 6. Gorban A.N., Rossiev D.A., Gilev S.E., Dorrer M.G., Kochenov D.A., Mirkes Ye.M., Golovenkin S.E., Dogadin S.A., Nozdrachev K.G., Matyushin G.V., Shulman V.A., Savchenko A.A. Medical and physiological applications of MultiNeuron neural simulator // Proceedings of the WCNN’95 (World Congress on Neural Networks’95, Washington DC, Juli 1995) - paper № 050 7. Gorban A.N., Rossiev D.A., Gilev S.E., Dorrer M.G., Kochenov D.A., Mirkes Ye.M., Golovenkin S.E., Dogadin S.A., Nozdrachev K.G., Matyushin G.V., Shulman V.A., Savchenko A.A. «NeuroComp» group: neural network software and its application // Russian Academy of Sciences, Krasnoyarsk Computing Center, Preprint №8. - Krasnoyarsk , 1995 - 38p. 8. 9. 10. II всероссийского рабочего семинара. - Красноярск: КГТУ, 1994. - с.13. 11. III всероссийского рабочего семинара. - Красноярск: КГТУ, 1995. - с.114-127. ЛИТЕРАТУРА 1. Amari S. - I. The Brain and Computer // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya , Japan , October 25-29, 1993 . - Nagoya , 1993. - v.1. - p.7-8. 2. Asary K.V., Eswaran C.A. Self-organizing Neural Network for Multidimensional Mapping and Classification of Multiple Valued Data // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya , Japan , October 25-29, 1993 . - Nagoya , 1993. - v.2. - p.2488-2491. 3. Atamanchuk Z.M., Petrov A.A. Some problems of building and learning of neural networks while creating user’s expert systems diagnoses // The RNNS-IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, September 1992 - v.2. - pp 1133-1135. 4. Baxt W.G. Complexity, chaos and human physiology: the justification for non-linear neural computational analysis // Cancer Lett. - 1994. - v.77, № 2-3. - p.85-93. 5. Becraft W.R. Diagnostic applications of artificial neural networks // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya , Japan , October 25-29, 1993 . - Nagoya , 1993. - v.2. - p.2807-2810. 6. Bedenbaugh P., Gerstein G.L. Rectification of correlation by a sigmoid non-linearity // Biol. Cybern. - 1994. - v.70, №3 . - p.219-225. 7. Berrios G . E ., Chen E . Y . Recognizing psychiatric symptoms . Relevance to the diagnostic process // Br . J . Psychiatry . - 1993. V.163. - p.308-314. 8. Cohen I.L., Sudhalter V., Landon-Jimenez D. et al. A neural network approach to the classification of autism // J. Autism Dev. Disord. - 1993. - v.23, №3 . - p.443-466. 9. Forrest D.V., Flory M.J., Anderson S. Neural network programming // N.Y.State J. Med. - 1991. - v.91, № 12. - p.553. 10. Fu H.C., Shann J.J. A fuzzy neural network for knowledge learning // Int. J. Neural Syst. - 1994. - v.5, №1. - p .13-22 . 11. Galushkin A.I., Savushkin S.A. Neural Network expert system // The RNNS-IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, September 1992 - v.2. - pp 1116-1123. 12. Galushkin A.I., Sudarikov V.A., Shabanov E.V. Neuromathematic: the methods of solving problems on neurocomputers // The RNNS-IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, September 1992 - v.2. - pp 1179-1188. 13. Modai I. , Stoler M., Inbar-Saban N. et al. Clinical decisions for psychiatric inpatients ant their evaluation by a trained neural network // Methods Inf. Med. - 1993 - v.32, № 5. - p.396-399. 14. Sima J., Neruda R. Neural networks as expert systems // Neural Network Worl. - 1992 - v.2, №6 . - p.775-783. 15. Sitting D.F., Orr J.A. A parallel implementation of the backward error propagation neural network training algorithm: experiments in event identification // Comput. Biomed Res. - 1992. - v.25, № 6. - p.547-561. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.82. 33. 34. III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.66-78. 35. 36. Обучение нейронных сетей.- М. СП ПараГраф - 1990. 37. II всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1994 - с.29. 38. III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.17. 39. III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.78-79. 40. III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.79-90. 41. 42. 43. 44. Delphi . - Киев: DiaSoft , 1995. 45. П., Марков Е. Delphi - среда визуального программирования. - Санкт-Петербург: BHV , 1996. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. психологической диагностики и коррекции в клинике. М. Медицина - 1983 58. Delphi 2. Киев: DiaSoft , 1996. 59. нейросетевыми предикторами // Тезисы докладов рабочего семинара «Нейроинформатика и нейрокомпьютеры», Красноярск, 8-11 октября 1993 г.. - Красноярск, 1993 - с.13. 60. 61. 62. 63. Delphi 3. - Киев: Диалектика, 1997 - 768 с. 64. 65. 66. 67. II всероссийского семинара. Красноярск, 1995. 68. III всероссийского семинара. Красноярск, 1996. 69. 70. 71. 72. 73. 74. MMPI с синтезом словесного диагноза. // Вопросы психологии, 1990, №1. - с.154-157. 75. Delphi на примерах. - М.: Бином, 1996 - 316с. 76. Delphi 2. - М.: Бином, 1997 - 624с. 77. 78. 79. 80. 81. 82. 83. 84. II всероссийского рабочего семинара, 7-10 октября 1994 г. - Красноярск, 1994. - с.45. 85. MultiNeuron , версии 2.0 и 3.0 // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.14. 86. 87. MultiNeuron » - « Configurator » - « Tester » для конструирования нейросетевых приложений. // Нейроинформатика и ее приложения: Тезисы докладов II всероссийского рабочего семинара, 7-10 октября 1994 г. - Красноярск, 1994. - с.30. 88. 89. 90. 91. 92. Гурьева Л.П., Гарбер И.Е., Тарновская Н.В., Ремизова А.Л. Анализ этапов компьютеризованной психодиагностики (на примере MMPI ). // Вопросы психологии, №2, 1990 - с.136-142. 93. 94. 95. 96. 97. 98. 99. Приложение 1 Программа-имитатор полутораслойной сети
Редактирование ведется непосредственно в окне, в котором отображаются данные. Связь с файлом данных устанавливается при нажатии кнопки «открыть задачник». Происходит вызов интерфейсного диалога «открытие файла», изображенного на рис. 2.
Кнопки «Сохранить сеть» и «Считать сеть» позволяют соответственно записать нейронную сеть и считать ее из файла в собственном формате программы (таким файлам присвоено традиционное расширение «*. nn »). Выбор файла при записи и считывании происходит при помощи стандартных диалогов Windows «Открыть файл» и «Сохранить файл», которые уже настроены на работу с файлами нейронных сетей. В процессе обучения отображаются: · · · · · В текстовом окне помещается список потоков в порядке обучения сверху вниз. Для каждого из них сообщается выбранная функция преобразователя и достигнутое значение оценки сети. Кнопка «Начать обучение» вызывает очистку нейросети и начало обучения с первого потока. Кнопка «Продолжить обучение» сигнализирует программе о том, что нужно продолжить доучивание сети, считая последний из имеющихся потоков уже обученным.
Программа реализована в среде разработки программ Borland Delphi developer v .2.0. и может функционировать в операционных системах Windows -95 и Windows - NT .
Приложение 3 Психологический опросник А.Г. Копытова Субтест 1 Опросник содержит утверждения или вопросы, касающиеся Вашего характера. С каждым из ни Вы можете согласиться или не согласиться. Давайте ответы ('да' или 'нет'), в зависимости от того, подходит ли оно Вам. 1. Легко ли Вы генерируете идеи, связанные с работой? 2. Легко ли Вам выполнять работу, требующую длительного внимания и большой сосредоточенности? 3. Испытываете ли Вы чувство беспокойства, что Вас неправильно поняли в разговоре? 4. Любите ли Вы игры в быстром темпе? 5. Быстры ли у Вас движения рук? 6. Вы обычно говорите без запинок? 7. Легко ли Вы можете найти другие варианты решения известной задачи? 8. Вы когда-нибудь опаздываете на свидание или работу? 9. Часто ли Вам не спится из-за того, что вы поспорили с друзьями? 10. Нравится ли Вам быстро бегать? 11. Испытываете ли Вы постоянную жажду деятельности? 12. Быстро ли Вы читаете вслух? 13. Если Вы обещали что-то сделать, всегда ли Вы выполняете свое обещание независимо от того, удобно это Вам или нет? 14. Все ли Ваши привычки хороши и желательны? 15. Всегда ли Вы платили бы за провоз багажа на транспорте, если бы не опасались проверки? 16. Обычно Вам трудно переключать внимание с одного дела на другое? 17. Трудно ли Вам говорить очень быстро? 18. Дрожат ли у Вас иногда руки во время ссоры? 19. Обычно Вы предпочитаете легкую работу? 20. Медленны ли Ваши движения, когда Вы что-то мастерите? 21. Вы обычно предпочитаете выполнять только одну операцию? 22. Бывает ли так, что Вы говорите о вещах, в которых не разбираетесь? 23. Вы обычно предпочитаете делать несложные дела, не требующие от Вас большой энергии? 24. Сосет ли у Вас под ложечкой перед ответственным разговором? 25. Считаете ли Вы свои движения медленными и неторопливыми? 26. Ваша речь обычно медленна и нетороплива? 27. Склонны ли Вы иногда преувеличивать в своем воображении негативное отношение близких к Вам людей? 28. Испытываете ли Вы тягу к напряженной ответственной деятельности? 29. Нравится ли Вам быстро говорить? Субтест 2 Опросник содержит утверждения или вопросы, касающиеся Вашего характера. С каждым из них Вы можете согласиться или не согласиться - в зависимости от того, подходит ли оно Вам. Выбирайте наиболее типичное для Вас и указывайте соответствующую букву. |