|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
Обучение Приложение 2.Описание программ пакета «Нейроучебник» Все программы пакета «Нейроучебник» имеют общий интерфейс. Данное описание сформировано на основе системы помощи пакета. Сервисные функцииВ данном разделе собраны описания сервисных функций общего назначения. Работа с подсказкойПри работе с подсказкой на экране появляется окно, название которого совпадает с названием высвеченного раздела. В окне цветом, отличным от цвета основного текста, выделены ссылки. Одна из ссылок выделена цветом, отличным от цветов текста и остальных ссылок. Это выделенная ссылка. Приведем список всех клавиш, используемых при работе с подсказкой:
На экране изображено окно, в правой части которого даны названия цветов, которые можно изменить. В правой части Окна находятся подокна "Цвет текста", "Цвет фона", и "Образец текста". В подокне "Цвет текста" черной точкой отмечен прямоугольник цвета букв. В подокне "Цвет фона" черной точкой отмечен прямоугольник цвета фона. В подокне "Образец текста" дан пример текста, написанного атрибутами (цвет фона и цвет текста) из верхних окон. Выбрав курсором нужный цвет в правом списке нажмите ENTER. После этого Вы можете установить любую комбинацию фона и текста, пользуясь стрелками внутри окон "Цвет текста", "Цвет фона" и кнопкой TAB для перехода между ними. Если Вы раздумали менять цвет, то нажмите ESC. Когда Вы подберете подходящую комбинацию цветов фона и текста нажмите ENTER. Чтобы закончить работу по подбору цветов нужно нажать ESC. После этого на нижней границе окна появляется вопрос: "Хотите запомнить измененные цвета?(y,n)". Если Вы нажмете «N», то сделанные Вами изменения будут действовать только во время текущего сеанса работы с программой. Если Вы ответите «Y», то измененные цвета будут запомнены в файле, содержащем эту программу. Это приведет к тому, что сделанные изменения сохранятся до следующего изменения. При выборе файла на экране появляется окно "Выбор файла", содержащее окна «Диски», "Каталоги", «Файлы». Внизу окна "Выбор файла" выводится информация о текущей дорожке и маске файлов. Сразу после начала выбора файла, Вы находитесь в окне выбора диска. Выбор осуществляется при помощи стрелок «Влево», "Вправо" и клавиши ENTER. Если диск доступен и содержит файлы с заданной маской или каталоги, то после нажатия ENTER курсор переместится в окно «Каталоги» или «Файлы». Если окна «Каталоги» и «Файлы» не пусты, то выйти из режима выбора диска можно при помощи стрелок «Вверх», "Вниз" или клавиши TAB. В окне «Каталоги» Вы можете выбрать нужный каталог и перейти в него при помощи стрелок «Вверх», "Вниз" и клавиши ENTER. Стрелка «Влево» переводит Вас в окно «Диски», а стрелка «Вправо» и клавиша TAB в окно «Файлы». При нажатии алфавитно-цифровой клавиши курсор перемещается на первый каталог, начинающийся на эту букву, или, если такого нет, на каталог, начинающийся на следующую за ней букву. В окне «Файлы» выбор производится так же, как и в окне «Каталоги», за исключением того, что стрелка «Влево» переводит Вас в окно «Каталоги», а стрелка «Вправо» и клавиша TAB в окно "Диски". Если Вы решили отказаться от выбора файлов — нажмите ESC. При работе с вертикальным меню, выбор пункта осуществляется при помощи стрелок «Вверх» и «Вниз», клавиш HOME, END, ENTER и соответствующих выделенным в пунктах буквам, а так же при помощи горячих клавиш. Если вертикальное меню является подменю горизонтального меню, то стрелки «Влево» и «Вправо» переводят Вас в левое и правое соседнее подменю, если оно есть. Для выхода из меню, без каких либо действий нажмите ESC. При работе с горизонтальным меню, выбор пункта осуществляется при помощи стрелок «Влево», "Вправо" и «Вниз», клавиш HOME, END, ENTER и соответствующих выделенным в пунктах буквам, а так же при помощи горячих клавиш. Если текущий пункт горизонтального меню имеет подменю, то стрелка «Вниз» и клавиша ENTER переводят Вас в подменю. Для выхода из меню без каких либо действий нажмите ESC. ПриветствиеВ окне приветствие приведены название данной программы, список спонсоров разработки и координаты группы «Нейрокомп», создавшей для Вас этот пакет. Более подробная информация о данной программе находится в разделе " О себе". Программа Hopfield. Эта программа является первой программой из серии обучающих программ по нейрокомпьютингу. В данной программе реализована одна из наиболее простых и, в тоже время, наиболее наглядных идеологий нейронных сетей — идеология сетей Хопфилда. Это единственная идеология нейронных сетей распознавания образов, которая не является классификационной по своей сути. Это, однако, часто приводит к эффекту ложной памяти, то есть на некоторые входные данные обученная сеть в качестве ответа выдает химеры — образы, не входившие в обучающее множество. Идеология сетей Хопфилда предполагает простой алгоритм построения синаптической карты. Говоря точнее, веса связей между нейронами не подстраиваются в ходе обучения, а вычисляются по заданному правилу при предъявлении обучающего множества. В данной программе реализованы два алгоритма вычисления синаптической карты — классический алгоритм Хопфилда и проекционный алгоритм, который повышает запоминающую способность сети Хопфилда. Конкретные характеристики о структуре сети, нейрона и других элементов программы Вы найдете в соответствующих разделах данного справочного материала. Программа Pade. Эта программа является пятой из серии обучающих программ по нейрокомпьютингу. В данной программе реализована полносвязная сеть с рациональными (Паде — в честь изобретателя Паде аппроксимации) нейронами. Эта сеть может обучаться различными способами. От сети, имитируемой программой SIGMOID, сеть программы PADE отличается только типом нейронов. Конкретные данные о структуре сети, нейрона и других элементов программы Вы найдете в соответствующих разделах данного справочного материала. Программы Sigmoid и Sinus Эти программа являются четвертой и шестой из серии обучающих программ по нейрокомпьютингу. В данной программе реализована полносвязная сеть с сигмоидными (синусоидными) нейронами. Эта сеть может обучаться различными способами. Конкретные данные о структуре сети, нейрона и других элементов программы Вы найдете в соответствующих разделах данного справочного материала. ЦветЭто подменю служит для настройки программы на конкретную машину и конкретного пользователя. Наиболее уязвимым местом PC является разнородность используемых мониторов. Подстройка цветов позволяет сделать программу легко адаптируемой к любой машине. Более подробно о смене цветов смотрите в разделе Смена цветов. Выполнение этой функции приводит к немедленному завершению работы. При этом обучающее множество и синаптическая карта теряются. Для того чтобы избежать потерь, необходимо воспользоваться функциями запомнить обучающее множество и запомнить карту. Главный индексРежимы работы программы Основные объекты Все программы кроме программыHopfield Параметры сети Параметры метода обучения Параметры контрастирования Количество контрастируемых связей Количество замораживаемых связей Количество размораживаемых связей Число циклов накопления критерия Набор выделенных значений (1/2^n) Методы предобработки Автокоррелятор сдвиг+отражение Автокоррелятор сдвиг+вращение+отражение Основной режимОсновной режим работы позволяет Вам изменять обучающее множество, читать, записывать синаптическую карту, обучать нейронную сеть, тестировать ее, а также выполнять ряд других функций. В верхней строке экрана находится основное меню программы. Ниже находятся поля пяти задач обучающего множества и тестовой задачи. Под полями задач приведен краткий список горячих клавиш и их функций. Ниже приведен полный список горячих клавиш и их функций для основного режима:
Кроме того, часть функций может быть выполнена только через выход в меню. Выбрав нужный пункт в меню и нажав F1 Вы получите справку о выполняемой им функции. Обучающее множествоОбучающее множество — это совокупность всех примеров задач 1,…,5. Обучающее множество может рассматриваться как целое (См. разделы Запомнить обучающее множество, Тест обучающего множества и Прочитать обучающее множество) или как совокупность задач (См. разделы Задача, Удалить задачу и Редактирование задачи). Программа предоставляет Вам возможность создавать, редактировать, записывать и читать обучающее множество. При выполнении функции "Запомнить обучающее множество" на экран выводится запрос "Введите имя файла для запоминания" и предлагается имя последнего записанного или прочитанного файла обучающего множества. Все файлы обучающих множеств ВСЕГДА имеют расширение".PBL". Это необходимо учитывать при создании таких файлов средствами отличными от данной программы. При ответе на запрос можно не набирать расширение файла, поскольку оно будет заменено стандартным. При чтении обучающего множества на экране появляется окно выбора файла. Вы должны выбрать нужный Вам файл или отказаться от чтения. При зачтении нового обучающего множества старое — стирается. Функция открытия стандартного задачника предназначена для подготовки файла стандартного задачника к просмотру. Все файлы стандартных задачников имеют расширение ".TSK" и НЕСОВМЕСТИМЫ по формату с файлами обучающего множества. Программа не предусматривает средств создания и редактирования стандартных задачников. Если Вас интересует создание новых стандартных задачников, воспользуйтесь программами TaskBook и Pbl2Tsk. Очистить обучающее множествоЭта функция производит операцию Удаления задачи со всеми задачами Обучающего множества. Стандартный задачник служит для облегчения создания обучающего множества и никак не влияет на обучение нейронной сети. Поэтому можно менять стандартный задачник во время обучения сети, не опасаясь влияния этой смены на ход обучения. Открытие стандартного задачника возможно несколькими способами: • нажатием кнопки F2 в основном режиме работы; • нажатием кнопки F2 во время просмотра стандартного задачника при редактировании задачи; • через пункт "Открыть стандартный задачник" в подменю "Обучающее множество". После открытия стандартного задачника Вы получаете возможность выбирать из него изображения и вводить их в обучающее множество или в число примеров тестовой задачи. ЗадачаПод задачей понимается совокупность примеров, которые Вы отнесли к одному классу изображений. На экране вся информация о задаче отображается в окне "Задача #", где # — номер задачи. В окне «Задача» можно выделить следующие объекты: • номер текущего примера; • данные текущего примера; • вес текущего примера; • оценка текущего примера; • ответ текущего примера; • средняя оценка по всем примерам задачи. Первые пять объектов относятся к примерам и меняются при просмотре примеров. Средняя оценка является характеристикой всей задачи в целом. Номер примера служит для идентификации примеров внутри задачи. Поле данных примера содержит задаваемую Вами в режиме редактирования задачи исходную информацию для сети. Поле ответа содержит ответ сети на предъявленный Вами пример. Для получения более полной информации о полях "вес текущего примера", "оценка текущего примера" и "средняя оценка по всем примерам задачи" смотрите разделы Вес примера и Оценка примера. Просмотр примеров активной задачи осуществляется в основном режиме при помощи клавиш «Вверх» и «Вниз». При этом в окне задачи появляются соответствующие поля номер примера, данные примера, вес примера, оценка примера, ответ примера. Редактирование задачиРежим редактирования задачи имеет свой набор горячих клавиш. Горячие клавиши основного режима НЕ действуют. В режиме редактирования задачи Вы можете создавать новые примеры или редактировать старые. Ниже приведен список горячих клавиш режима редактирования задачи и описание их функций:
Просмотр стандартного задачника осуществляется с помощью клавиш «Вправо» и «Влево». Для введения текущего изображения в обучающее множество необходимо нажать ENTER, после чего программа перейдет обратно в режим редактирования задачи. Если Вы хотите отказаться от ввода задачи из стандартного задачника — нажмите ESC. Вес примера является задаваемой Вами величиной, влияющей на вклад данного примера в изменение синаптической карты при обучении. Чем больше вес примера (вес не может превышать 1 и быть меньше 0), тем весомее вклад данного примера в синаптическую карту и наоборот. Программа Hopfield. В данной программе оценка примера выполняет чисто информационные функции и равна числу несовпадающих точек в исходном изображении и ответе. Все программы, кроме программы Hopfield. В данной программе оценка примера может вычисляться по одному из двух правил Метода наименьших квадратов или Расстояния до множества. Кроме того, при тестировании примеров тестовой задачи в окне «Оценка» отображается уровень уверенности сети в решении предъявленного примера. Уровень надежности вычисляется по формулам, приведенным в разделах Метод наименьших квадратов и Расстояния до множества. При исполнении команды "Затенить изображение", при редактировании задачи или, во всех программах, кроме программы Hopfield, во время Статистического теста с тенью, необходимо затенить часть изображения. Затенение осуществляется по следующему алгоритму: При помощи генератора случайных чисел генерируется уравнение прямой, проходящей через изображение. Та часть изображения, которая не содержит точку с координатами (5,5) стирается. Затенение изображения — одно из четырех предоставляемых этой программой искажений изображения. Остальные искажения описаны в разделах: Добавляющий шум, Инвертирующий шум, Гасящий шум. При исполнении команды "Добавляющий шум", при редактировании задачи или, во всех программах, кроме программы Hopfield, во время Статистического теста с добавляющим шумом производится наложение на изображение добавляющего шума. Алгоритм «зашумления» с заданным уровнем добавляющего шума: Для каждой точки изображения генерируется случайное число из диапазона (0,1). Если это число меньше либо равно заданному уровню шума, то в изображение добавляется соответствующая точка. Добавляющий шум — одно из четырех предоставляемых этой программой искажений изображения. Остальные искажения описаны в разделах: Затенение изображения, Инвертирующий шум, Гасящий шум. При исполнении команды "Инвертирующий шум", при редактировании задачи или, во всех программах, кроме программы Hopfield, во время Статистического теста с инвертирующим шумом производится наложение на изображение инвертирующего шума. Алгоритм «зашумления» с заданным уровнем Инвертирующего шума: Для каждой точки изображения генерируется случайное число из диапазона (0,1). Если это число меньше либо равно заданному уровню шума, то в изображении инвертируется соответствующая точка. Инвертирующий шум — одно из четырех предоставляемых этой программой искажений изображения. Остальные искажения описаны в разделах: Затенение изображения, Добавляющий шум, Гасящий шум. При исполнении команды "Гасящий шум", при редактировании задачи или, во всех программах, кроме программы Hopfield, во время Статистического теста с гасящим шумом производится наложение на изображение гасящего шума. Алгоритм «зашумления» с заданным уровнем Гасящего шума: Для каждой точки изображения генерируется случайное число из диапазона (0,1). Если это число меньше либо равно заданному уровню шума, то в изображении гасится соответствующая точка. Гасящий шум — одно из четырех предоставляемых этой программой искажений изображения. Остальные искажения описаны в разделах: Затенение изображения, Добавляющий шум, Инвертирующий шум. Эта функция удаляет активный пример активной задачи. Если после этого примеров не остается, то заводится пустой пример. Таким образом, все задачи всегда содержат хотя бы один пример. Первый примерЭта функция делает активным первый пример активной задачи. Последний примерЭта функция делает активным последний пример активной задачи. Эта функция удаляет все примеры активной задачи и заводит один пустой пример. Нейронная сетьПрограмма Hopfield Нейронная сеть в данной программе является полносвязной (каждый нейрон связан с каждым, в том числе и с самим собой), однородной (все нейроны одинаковы), стонейронной (поскольку в сетях Хопфилда каждой точке изображения соответствует свой нейрон, а в этой программе используются изображения 10*10) сетью Хопфилда. Алгоритм формирования Синаптической карты описан в разделах "Параметры" и "Обучение". Алгоритм функционирования каждого нейрона описан в разделе "Нейрон". Все программы кроме программыHopfield Сеть, имитируемая данной программой, является полносвязной (каждый нейрон получает на каждом шаге сигналы со всех нейронов), с выделенными связями для получения входных данных. Подробная схема нейрона приведена в разделе Нейрон. Число нейронов в сети может варьироваться от 5 до 10 (см Число нейронов в сети). Число обменов сигналами между нейронами может варьироваться от 2 до 5 (см. Число срабатываний сети). Программа Hopfield. В данной программе все нейроны сети одинаковы и очень просты. Обозначив вектор сигналов сети через a[i] (i=1,…,100), а элементы синаптической карты — синаптические веса — через X[ij], работу нейрона можно описать следующими формулами: J[i]= Сумма по j от 1 до 100 (a[j]*X[ij]) a'[i]= 1, если J[i]>0; 0, если J[i]<0. a'[i] — новый сигнал i-ого нейрона. Программа Pade. Схема рационального нейрона представлена на рисунке ниже. Он состоит из шести частей: входных синапсов (x[i,j], y[i,j]), сумматоров (N,D) и функционального преобразователя (F). Схема действия i-го нейрона проста — в каждый момент времени со всех нейронов на него поступают сигналы. Перед сумматором каждый сигнал умножается на синаптический вес x[i,j] для сумматора N и y[i,j] для сумматора D. Индекс i показывает номер нейрона получающего, а индекс j — номер передавшего сигнал. Отметим, что в силу ограничений, принятых в данной модели нейронной сети, все синаптические веса неотрицательны. После этого сигналы поступают на сумматоры. Вычисленные сумматорами сигналы передаются на функциональный преобразователь F. В данной программе все нейроны одинаковы (во всем, кроме синаптических весов, поскольку они являются характеристиками не нейронов, а нейронной сети в целом) и преобразуют сигнал по следующему правилу: F = N / (C + D), где С — Характеристика нейрона В программах Sinus и Sigmoid нейроны отличаются только видом функционального преобразователя. Схема нейрона представлена на рисунке ниже. Он состоит из четырех частей: входных синапсов (x[i,j]), сумматора (N) и функционального преобразователя. Схема действия i-го нейрона проста — в каждый момент времени со всех нейронов на него поступают сигналы. Перед сумматором каждый сигнал умножается на синаптический вес x[i,j]. Индекс i показывает номер нейрона получающего, а индекс j — номер — передавшего сигнал. Отметим, что в силу ограничений, принятых в данной модели нейронной сети, все синаптические веса не могут по абсолютной величине превосходить 1. После этого сигналы поступают на сумматор. Вычисленный сумматором сигнал передается на функциональный преобразователь. В данной программе все нейроны одинаковы (во всем, кроме синаптических весов, поскольку они являются характеристиками не нейронов, а нейронной сети в целом) и преобразуют сигнал по следующему правилу: F = Sin(Т) (программа Sinus). А = N / (C + |N|) (программа Sigmoid). где С — Характеристика нейрона Синаптическая карта является важнейшей частью нейронной сети. Она задает веса, с которыми передаются сигналы от одних нейронов к другим. Синаптическая карта формируется при обучении нейронной сети, Случайном изменении карты, Контрастировании, а для программ, отличных от программы Hopfield, и при Редактировании карты, Генерации новой карты. При выполнении этой функции на экран выводится запрос "Введите имя файла для запоминания". Все файлы карт имеют расширение".MAP", которое можно не набирать при ответе на запрос. При чтении карты на экране появляется окно выбора файла. Вы должны выбрать нужный Вам файл или отказаться от чтения. Эта функция позволяет «увидеть» на экране синаптическую карту и изменить, в соответствии с вашими желаниями значения отдельных связей. Ниже приведен список клавиш, позволяющих Вам редактировать карту:
Далее для всех программ, кроме программыHopfield. Операция замораживания (размораживания) связи позволяет исключить (подключить ранее исключенную) эту связь из процесса обучения. Связи могут быть заморожены либо при редактировании карты, либо при контрастировании. Опишем формат отображения синаптической карты на экран. В первом столбце идут номера входных сигналов (в случае отсутствия предобработки это единица для позиции, где есть точка и –1 — для остальных). Точки изображения нумеруются, как показано в следующей таблице:
Кроме того, к вектору входных сигналов любого примера каждой задачи добавляется сигнал с номером 0 и значением 1). Во второй колонке находятся значения синаптических весов, на которые будут подаваться соответствующие входные сигналы. В третьей колонке стоят номера нейронов, сигналы с которых будут подаваться на синапсы, веса которых указаны в четвертой колонке. В программе Pade, во второй колонке находятся значения синаптических весов сумматора числителя функционального элемента, на которые будут подаваться соответствующие первой колонке входные сигналы. В третьей колонке находятся значения синаптических весов сумматора знаменателя функционального элемента, на которые будут подаваться соответствующие первой колонке входные сигналы. В четвертой колонке стоят номера нейронов, сигналы с которых будут подаваться на синапсы, веса которых указаны в пятой (сумматор числителя) и шестой (сумматор знаменателя) колонках. Выполнение этой функции приводит к замене текущей синаптической карты на случайную, с указанными Вами параметрами. Если Вы указали уровень синапсов равным L, то каждый синапс будет получен с помощью случайной величины, равномерно распределенной внутри интервала [-L,L] (для программыPade — в интервале [0,L]). Выполнение этой функции приводит к изменению всех весов синаптической карты на случайную величину, равномерно распределенную в диапазоне [-L,L], где L — задается в меню Параметры, в пункте Уровень УДАРА. Для каждого синаптического веса генерируется своя случайная поправка. Программа Hopfield. Эта процедура удаляет из сети «лишние» связи. Вы можете задать понятие лишних связей, задав параметры контрастирования в меню Параметры. Все программы, кроме программы Hopfield. Эта процедура удаляет из сети «лишние» связи, замораживает медленно обучающиеся и размораживает ранее замороженные или отконтрастированные. Вы можете задать понятие лишних, медленных и подлежащих размораживанию связей задав значения параметров контрастирования в меню Параметры. Ниже приведена схема процедуры контрастирования:
Накопление показателей чувствительности для размораживания (Норма для включения) и для замораживания и контрастирования (Норма для исключения) ведется раздельно в ходе указанного Вами числа (Число циклов накопления критерия) тактов обучения сети по методу Усредненного антиградиентного спуска. После накопления показателей чувствительности определяются связи подлежащие размораживанию — Количество размораживаемых связей с самым большим показателем чувствительности. Отметим, что связи только отмечаются, но не размораживаются. Среди обучаемых связей выделяем Количество контрастируемых связей с самыми маленькими модернизированными показателями чувствительности. Модернизация производится по следующему алгоритму: Для каждой неотконтрастированной связи определяем расстояние до ближайшего выделенного значения. Умножаем показатель чувствительности этой связи на вычисленное расстояние. Величины отобранных связей заменяем ближайшим выделенным значением и замораживаем (исключаем из обучения). Среди незамороженных (обучаемых) связей находим Количество замораживаемых связей и замораживаем, не изменяя их величин. Связи, включенные в список подлежащих размораживанию на втором шаге алгоритма, размораживаем, не изменяя их величин. ПараметрыПрограмма Hopfield В этом подменю, Вы можете установить параметры Метода обучения, Контрастирования и Уровень УДАРА. Все программы, кроме программыHopfield. В меню «Параметры» Вы можете задать следующие параметры: Параметры сети Параметры метода обучения Параметры контрастирования Количество контрастируемых связей Количество замораживаемых связей Количество размораживаемых связей Число циклов накопления критерия Набор выделенных значений (1/2^n) Методы предобработки Автокоррелятор сдвиг+отражение Автокоррелятор сдвиг+вращение+отражение Программа Hopfield Этот пункт позволяет Вам выбрать один из двух заложенных в программу алгоритмов построения синаптической карты по обучающему множеству. Если Вы выбрали "Классический Хопфилд", то формирование происходит так, как описано в разделе обучение. Если Вы предпочли "Проекционный Хопфилд", то производится предварительная обработка обучающего множества. Входные данные, задаваемые каждым примером, можно рассматривать как стомерный вектор. Процедура предварительной обработки состоит в ортонормировании системы векторов, задаваемых всеми примерами обучающего множества. Отметим, что при тестировании предобработка отсуствует. Все программы, кроме программыHopfield. В этом меню Вы можете задать следующие параметры метода обучения: Все программы, кроме программы Hopfield. При построении метода обучения Вы пользуетесь следующей схемой:
Входными параметрами процедуры MParTan являются: 1. Начальная карта. 2. Процедура вычисления Направления спуска. 3. Локальное обучающее множество. 4. Процедура вычисления оценки. Процедура ParTan работает по следующему алгоритму: 1. Запоминаем текущую карту и оценку текущего Обучающего множества, определяемую в соответствии с тремя более низкими уровнями схемы. 2. Используя процедуру вычисления Направления спуска, вычисляет направление спуска и производит спуск в этом направлении. Этот шаг алгоритма выполняется дважды. 3. Запоминаем текущую карту и оценку текущего Обучающего множества, 4. Делаем спуск в направлении, ведущем из первой запомненной карты во вторую. 5. Если оценка не равна 0, то повторяем всю процедуру сначала. Процедура MParTan несколько отличается от предыдущей, но ее описание слишком сложно. Однако в ее основе лежит та же идея. Если Вы не используете MParTan, то используется следующая процедура 1. Используя процедуру вычисления Направления спуска, вычисляет направление спуска и производит спуск в этом направлении. 2. Если оценка не равна 0, то повторяем всю процедуру сначала. Все программы, кроме программы Hopfield. При построении метода обучения Вы пользуетесь следующей схемой:
Под организацией обучения будем понимать способ порождения обучающего множества для одного шага обучения. Исторически самым первым был способ позадачного обучения. Если быть более точным — то попримерного. Процедура попримерного обучения состоит из следующих шагов: 1. Подаем на вход сети задачу. 2. Получаем ответ. 3. Вычисляем оценку. Производим корректировку сети. (Процедура спуска) Таким образом, локальное обучающее множество для процедур MParTan, Процедура спуска и Вычисление направления состоит только из одного примера. Алгоритмы получения локального обучающего множества для различных способов организации обучения:
Все программы, кроме программы Hopfield. При построении метода обучения Вы пользуетесь следующей схемой:
Данная программа предусматривает два способа вычисления направления спуска. Первый способ известен как Случайный поиск, а второй как метод наискорейшего спуска. В первом случае в качестве направления спуска используется случайный вектор, а во втором — вектор антиградиента функции оценки. Этот пункт позволяет задать параметр Случайного изменения карты. Уровень УДАРА должен лежать в пределах от 0.001 до 1. Все программы, кроме программы Hopfield. При построении метода обучения Вы пользуетесь следующей схемой:
Входными параметрами процедуры спуска являются 1. Начальная карта. 3. Локальное обучающее множество. 4. Процедура вычисления оценки. Алгоритм процедуры спуска: 1. Вычисляем оценку по локальному обучающему множеству (Е1). 2. Делаем пробный шаг, добавляя к начальной карте вектор направления спуска умноженный на шаг S. 3. Вычисляем оценку по локальному обучающему множеству (Е2). 4. Если Е2<E1, то увеличиваем шаг S, полагаем E1=E2 и повторяем шаги алгоритма 1–4 до тех пор, пока не станет E2>E1. Карта, которой соответствует оценка E1,и является результатом работы процедуры. 5. Если после первого выполнения шага 3 оказалось, что E2>E1, то уменьшаем шаг S, полагаем E1=E2 и повторяем шаги алгоритма 1–3 и 5 до тех пор, пока не станет E2<E1. Карта, которой соответствует оценка E1, и является результатом работы процедуры. Все программы, кроме программыHopfield. При построении метода обучения Вы пользуетесь следующей схемой:
В данной программе принят способ кодирования ответа номером канала: номер того из пяти ответных нейронов, который выдал на последнем такте функционирования наибольший сигнал, задает номер класса, к которому сеть отнесла предъявленный образ. Оценка, таким образом, может быть вычислена только для задачи, ответ которой известен. Данная программа предусматривает два различных способа оценивания решения. Различие в способах оценки связано с различием требований, накладываемых на обученную сеть. Пусть пример относится к N-ой задаче. Тогда требования можно записать так: Метод наименьших квадратов (Программа Pade) N-ый нейрон должен выдать на выходе 1. Остальные нейроны должны давать на выходе 0 (как можно более близкое к 0 число). Метод наименьших квадратов (Программы Sigmoid и Sinus). N-ый нейрон должен выдать на выходе 1 (поскольку сигнал 1 для нейрона невозможен (см. Нейрон), то число как можно более близкое к 1). Остальные нейроны должны давать на выходе –1 (как можно более близкое к –1 число). Расстояние до множества В этом случае требование только одно — разница между выходным сигналом N-го нейрона и выходными сигналами остальных нейронов должна быть не меньше уровня надежности. Таким образом, для Метода наименьших квадратов оценка примера N-ой задачи равна H = (Сумма по I<>N от 1 до 5 (A[I]+1)^2)) + (A[N]-1)^2 и является обычным Евклидовым расстоянием от правильного ответа до ответа, выданного сетью. Как следует из названия второго метода оценивания, вычисляемая по этому способу оценка равна расстоянию от выданного сетью ответа до множества правильных ответов. Множество правильных ответов для примера N-ой задачи задается неравенствами A[N]-R > A[I], для всех I<>N. Все программы, кроме программы Hopfield. Входные данные задачи распознавания черно-белых изображений представляют собой последовательность 0 и 1 (есть точка — 1, нет — 0). Такие данные не всегда оптимальны для решения задачи распознавания. В связи с этим возникает задача предобработки данных. Возможны различные виды предобработки — преобразования Фурье, построение различных инвариантов и т. п. В этой программе предусмотрено несколько видов предобработки: Автокоррелятор сдвиг+отражение Автокоррелятор сдвиг+вращение+отражение В результате предобработки получается не только более информативный вектор входных сигналов, но иногда и вектор меньшей размерности. Кроме того, вектор входных сигналов, полученный предобработкой типа "сдвиговый автокоррелятор" является инвариантным к сдвигу. Все программы, кроме программы Hopfield. Это «пустая» предобработка — никакой предобработки не производится. Все программы, кроме программы Hopfield. Основная идея этого метода предобработки — сделать вектор входных сигналов нейронной сети инвариантным к сдвигу. Другими словами, два вектора, соответствующие одному и тому же образу, расположенному в разных местах шаблона 10*10, после предобработки этим способом должны совпадать! Рассмотрим подробно метод вычисления автокоррелятора. Пусть дано изображение X. x[i,j] — точка изображения в i-ом ряду и j-ом столбце. Будем считать x[i,j]=0, если хотя бы один индекс (i или j) находится вне пределов интервала (1,10). Элемент автокоррелятора A — a[l,k] вычисляется по формуле: a[l,k] = Сумма по i от 1 до 10 (Сумма по j от 1 до 10 < x[i,j]*x[i+l,j+k] >) Другими словами, a[l,k] — число точек совпадающих при наложении изображения X на это же, но сдвинутое на вектор (l,k) изображение. Легко заметить, что ненулевыми могут быть только элементы автокоррелятора A с индексами –9<=l,k<=9. Однако a[l,k]=a[-l, –k] Таким образом можно рассматривать только часть коррелятора с индексами –9<=i<=9 и 0<=j<=9. Если Вы задаете размер автокоррелятора m*n, то входными сигналами для сети будут служить элементы a[i,j] при — (n-1)<=i<=(n-1), 0<=j<=m-1. Все программы, кроме программы Hopfield. Этот метод предобработки в качестве исходных данных использует сдвиговый автокоррелятор. Идея вычисления автокоррелятора сдиг+отражение (S) очень проста: Сложим значения, соответствующие симметричным точкам, и будем считать их новыми значениями. s[k,l]=a[k,l]+a[k, –l]. Очевидно, что автокоррелятор S инвариантен относительно сдвига и отражения. Кроме того, можно ограничиться только элементами с неотрицательными индексами. Если Вы задали размеры автокоррелятора m*n, то входными сигналами сети будут s[l,k] при 0<=l<=n-1, 0<=k<=m. Все программы, кроме программы Hopfield. Этот метод предобработки в качестве исходных данных использует сдвиговый автокоррелятор. Идея вычисления автокоррелятора очень проста: поворачиваем автокоррелятор A на 90 градусов относительно элемента a[0,0] и получаем элемент автокоррелятора R умножением соответствующих элементов — r[p,q]=a[p,q]*a[q, –p]. Очевидно, что автокоррелятор R инвариантен относительно сдвига и поворота на 90 градусов. Кроме того, можно ограничиться только элементами с неотрицательными индексами. Если вы задали размеры автокоррелятора m*n, то входными сигналами сети будут s[l,k] при 0<=l<=n-1, 0<=k<=m. Все программы, кроме программы Hopfield. Этот метод предобработки в качестве исходных данных использует автокоррелятор сдвиг+вращение. Идея вычисления автокоррелятора сдвиг+вращение+отражение (C) очень проста: Сложим значения, соответствующие симметричным точкам, и будем считать их новыми значениями. c[k,l]=r[k,l]+r[k, –l]. Очевидно, что автокоррелятор C инвариантен относительно сдвига, вращения и отражения. Кроме того, можно ограничиться только элементами с неотрицательными индексами. Если вы задали размеры автокоррелятора m*n, то входными сигналами сети будут с[l,k] при 0<=l<=n-1, 0<=k<=m. Все программы, кроме программы Hopfield. Этот пункт меню позволяет Вам изменять структуру нейронной сети. Вы можете изменить такие важнейшие параметры сети, как Все программы, кроме программы Hopfield. Этот пункт меню позволяет Вам изменять число нейронов в сети от 5 до 10. Подробно структура сети и нейрона описана в разделах Нейронная сеть и Нейрон. Все программы, кроме программы Hopfield. Наиболее широкую известность получили нейронные сети слоистой архитектуры. В таких сетях за время решения примера сигнал только один раз попадает на нейроны каждого слоя. Имитируемая данной программой сеть является полносвязной сетью — каждый нейрон передает сигнал всем другим (в том числе и себе). Однако любую полносвязную сеть можно представить в виде слоистой сети с идентичными слоями. В рамках такого представления число срабатываний сети равно числу слоев нейронной сети, следующих за входным слоем. Число срабатываний сети может изменяться от 1 до 5. Программа Sigmoid В разделе Нейрон описана структура работы нейрона. В функциональном преобразователе нейрона, работающем по формуле F = R / (C+|R|), присутствует величина С, называемая характеристикой нейрона. Этот пункт меню позволяет Вам изменять эту величину от 0.001 до 5. ПрограммаSinus не имеет параметра Характеристика нейрона ПрограммаPade В разделе Нейрон описана структура работы нейрона. В функциональном преобразователе нейрона, работающем по формуле F = N / (C+D) присутствует величина С, называемая характеристикой нейрона. Этот пункт меню позволяет Вам изменять эту величину в пределах от 0.001 до 5. Программа Hopfield. Если Вы посмотрите на синаптическую карту (воспользуйтесь клавишей <CTRL-F8> для перехода в режим Редактирования карты), то заметите, что большая часть синаптических весов мала и одинакова по величине. Процедура контрастирования (вызывается нажатием клавиш <CTRL-F6>) позволяет исключить часть связей из функционирования. Вам предлагается два способа исключения «лишних» связей:
Все программы, кроме программы Hopfield. Это подменю позволяет Вам определить понятие «лишних» и "медленно обучаемых" связей, а также связей подлежащих возвращению в обучаемое состояние, путем задания следующих параметров процедуры Контрастирования: Количество контрастируемых связей Количество замораживаемых связей Количество размораживаемых связей Число циклов накопления критерия Набор выделенных значений (1/2^n) Все программы, кроме программы Hopfield. При накоплении показателей чувствительности для исключения из обучения связей программа позволяет использовать три варианта нормы: Показатель чувствительности связи равен максимуму модуля соответствующего элемента векторов антиградиента по всем циклам накопления критерия. Показатель чувствительности связи равен сумме модулей соответствующего элемента векторов антиградиента по всем циклам накопления критерия. Показатель чувствительности связи равен сумме соответствующего элемента векторов антиградиента по всем циклам накопления критерия. Все программы, кроме программы Hopfield. При накоплении показателей чувствительности для включения в обучение связей программа позволяет использовать три варианта нормы: Показатель чувствительности связи равен максимуму модуля соответствующего элемента векторов антиградиента по всем циклам накопления критерия. Показатель чувствительности связи равен сумме модулей соответствующего элемента векторов антиградиента по всем циклам накопления критерия. Показатель чувствительности связи равен сумме соответствующего элемента векторов антиградиента по всем циклам накопления критерия. Все программы, кроме программы Hopfield. Этот пункт меню позволяет Вам задать число связей, подлежащих Контрастированию. Все программы, кроме программы Hopfield. Этот пункт меню позволяет Вам задать число связей, подлежащих Замораживанию. Все программы, кроме программы Hopfield. Этот пункт меню позволяет Вам задать число связей, подлежащих Размораживанию. Все программы, кроме программы Hopfield. Этот пункт меню позволяет Вам задать число циклов обучения для накопления показателей чувствительности для процедуры Контрастирования. Все программы, кроме программы Hopfield. Процедура контрастирования (вызывается нажатием клавиш <CTRL-F6>) позволяет Вам исключить часть связей из функционирования, а остальные связи привести к небольшому числу выделенных значений. Этот пункт позволяет Вам задать набор выделенных значений. Ниже приведена таблица соответствия набора выделенных значений задаваемому Вами параметру: Программа Pade
Программы Sinus и Sigmoid
Все программы, кроме программыHopfield. Этот пункт меню позволяет Вам увидеть на экране все параметры, задаваемые в меню "Параметры": Параметры сети Параметры метода обучения Параметры контрастирования Количество контрастируемых связей Количество замораживаемых связей Количество размораживаемых связей Число циклов накопления критерия Набор выделенных значений (1/2^n) Методы предобработки Автокоррелятор сдвиг+отражение Автокоррелятор сдвиг+вращение+отражение Кроме того, на экран выводится число тактов функционирования сети уже затраченных на обучение и средняя оценка по обучающему множеству. Обучение Программа Hopfield. При вычислении синаптической карты в данной программе предусмотрено использование одного из двух заложенных алгоритмов. Выбор алгоритма производится в подменю "Параметры" главного меню. Там же описана процедура предварительной обработки обучающего множества в случае применения алгоритма "Проекционный Хопфилд". В этом разделе описана общая для обоих алгоритмов процедура вычисления элемента синаптической карты по векторам обучающего множества. Поскольку мы имеем дело со стонейронной нейронной сетью, исходные данные любого примера можно представить в виде стомерного вектора. Обозначим вектора соответствующие обучающему множеству через A[1],…,A[k], вес l-ого примера — W[l], а ij-ый элемент синаптической карты — X[ij]. Тогда алгоритм вычисления синаптической карты можно представить в виде формулы: X[ij] = Сумма по l от 1 до k (A[l][i]*A[l][j]*W[l]) Все программы, кроме программыHopfield. В данной программе реализован «генетический» подход к формированию стратегии обучения. У Вас в руках ряд процедур, с помощью которых Вы можете подобрать стратегию обучения сети. Ниже приведена таблица всех возможных режимов
Обозначения, использованные в таблице: Средн. — Обучение по усредненной оценке (градиенту); Позад. — Позадачное обучение; Зад. # — Обучение задаче номер; Случайно — Случайный спуск; Антиградиент — Градиентный спуск; МНК — Оценка типа Метода наименьших квадратов; РДМ — Оценка типа Расстояние до множества. Задать процедуру обучения Вы можете в меню Параметры, в подменю метода ТестВ режиме Тест Вы можете проверить навыки нейронной сети. Возможно несколько видов тестирования: Тест обучающего множества, при котором проверяется правильность ответов сети при предъявлении ей примеров из обучающего множества; Тест текущего тестового примера, при котором проверяется решение сетью активного примера в тестовой задаче; Тест тестовой задачи — проверка решения сетью всех примеров тестовой задачи; все программы, кроме программыHopfield — Статистический тест — проверка сети на устойчивость к искажениям. Часто бывает важно знать, какие ответы дает сеть при предъявлении ей примеров из обучающего множества. Это бывает полезно при выявлении «плохих» задач и во многих других случаях. После проведения Теста обучающего множества каждому примеру из обучающего множества ставится в соответствие ответ. Результаты теста можно узнать, просмотрев обучающее множество. При работе с обученной нейронной сетью часто бывает важно узнать ее ответ на пример, не входящий в обучающее множество. Для этой цели предназначены режимы Тест текущего тестового примера и Тест тестовой задачи. Чтобы проверить реакцию сети на интересующий Вас пример Вы должны ввести этот пример в окне «Тест» и выполнить Тест текущего тестового примера. Этот режим служит для проверки навыков обученной нейронной сети. Чтобы проверить реакцию сети на интересующие Вас примеры, Вы должны ввести их все в окне «Тест» и выполнить Тест тестовой задачи. Все программы, кроме программы Hopfield. При работе с нейронными сетями большой интерес представляет вопрос об устойчивости полученных навыков к различным искажениям. Для исследования этого вопроса и предназначен статистический тест обучающего множества. В режиме статистического теста Вы можете Провести Полный статистический тест Провести Статистический тест с тенью Провести Статистический тест с добавляющим шумом Провести Статистический тест с инвертирующим шумом Провести Статистический тест с гасящим шумом Прочитать с диска результаты работы Закончить работу со статистическим тестом Все программы, кроме программы Hopfield. Этот пункт позволяет «спрятать» меню, закрывающее часть полезной информации на Экране статистического теста. Чтобы вернуть меню на экран необходимо нажать любую клавишу. Все программы, кроме программы Hopfield. В первой строке экрана отображается название тестируемого обучающего множества, во второй строке — имя тестируемой карты, в третьей — число предъявлений на один пример (см. Задать параметры теста). Ниже расположены таблицы результатов четырех тестов: Статистического теста с тенью, Статистического теста с добавляющим шумом, Статистического теста с инвертирующим шумом, Статистического теста с гасящим шумом. Результаты представлены в виде двух строк заголовка и таблицы. Первая строка заголовка содержит имя теста. Для тестов с шумами во второй строке дан уровень шума (см. Затенение изображения, Инвертирующий шум, Добавляющий шум, Гасящий шум). Ниже приведена расшифровка данных таблицы.
Цифрами в круглых скобках обозначены следующие объекты: (1) Имя теста. (2) Параметр теста (уровень шума). (3) Номер класса ответа (за что приняли) (4) Номер тестируемой задачи (что предъявляли) (5) Число предъявлений 1-ой задачи, которые были распознаны как 1-ый образ (6) Число предъявлений 2-ой задачи, которые были распознаны как 4-ый образ Все программы, кроме программы Hopfield. Проведение полного статистического теста включает в себя проведение последовательно четырех тестов: Статистического теста с тенью, Статистического теста с добавляющим шумом, Статистического теста с инвертирующим шумом, Статистического теста с гасящим шумом. Причем параметры тестов задаются при помощи пункта Задать параметры теста. Вся полученная в ходе тестирования информация отображается в соответствующих полях Экрана статистического теста Все программы, кроме программы Hopfield. При выполнении этого теста каждый пример обучающего множества искажается при помощи затенения изображения и предъявляется нейронной сети для распознавания. С каждым примером эта процедура проделывается заданное (см. Задать параметры теста) число раз. Результаты теста отображаются в таблице результатов. Если Вас интересует, какое число ошибок было сделано при предъявлении каждого примера обучающего множества, то Вам необходимо выйти из режима тестирования и просмотреть обучающее множество. В поле «Оценка» отображается доля правильных ответов на каждый пример. Необходимо помнить, что эти данные отражают результаты только ПОСЛЕДНЕГО теста! Все программы, кроме программы Hopfield. При выполнении этого теста каждый пример обучающего множества искажается при помощи Добавляющего шума с уровнем, заданным при помощи пункта Задать параметры теста, и предъявляется нейронной сети для распознавания. С каждым примером эта процедура проделывается заданное (см. Задать параметры теста) число раз. Результаты теста отображаются в таблице результатов. Если Вас интересует, какое число ошибок было сделано при предъявлении каждого примера обучающего множества, то Вам необходимо выйти из режима тестирования и просмотреть обучающее множество. В поле «Оценка» отображается доля правильных ответов на каждый пример. Необходимо помнить, что эти данные отражают результаты только ПОСЛЕДНЕГО теста! Все программы, кроме программы Hopfield. При выполнении этого теста каждый пример обучающего множества искажается при помощи Инвертирующего шума с уровнем, заданным при помощи пункта Задать параметры теста, и предъявляется нейронной сети для распознавания. С каждым примером эта процедура проделывается заданное (см. Задать параметры теста) число раз. Результаты теста отображаются в таблице результатов. Если Вас интересует, какое число ошибок было сделано при предъявлении каждого примера обучающего множества, то Вам необходимо выйти из режима тестирования и просмотреть обучающее множество. В поле «Оценка» отображается доля правильных ответов на каждый пример. Необходимо помнить, что эти данные отражают результаты только ПОСЛЕДНЕГО теста! Все программы, кроме программы Hopfield. При выполнении этого теста каждый пример обучающего множества искажается при помощи Гасящего шума с уровнем, заданным при помощи пункта Задать параметры теста, и предъявляется нейронной сети для распознавания. С каждым примером эта процедура проделывается заданное (см. Задать параметры теста) число раз. Результаты теста отображаются в таблице результатов. Если Вас интересует, какое число ошибок было сделано при предъявлении каждого примера обучающего множества, то Вам необходимо выйти из режима тестирования и просмотреть обучающее множество. В поле «Оценка» отображается доля правильных ответов на каждый пример. Необходимо помнить, что эти данные отражают результаты только ПОСЛЕДНЕГО теста! Все программы, кроме программы Hopfield. При исполнении этого пункта у Вас последовательно запрашиваются "Число искажений на пример" — сколько различных экземпляров искажений каждого примера будет предъявляться сети для распознавания; "Уровень добавляющего шума" — для Статистического теста с добавляющим шумом (см. Добавляющий шум); "Уровень инвертирующего шума" — для Статистического теста с инвертирующим шумом (см. Инвертирующий шум); "Уровень гасящего шума" — для Статистического теста с гасящим шумом (см. Гасящий шум). Все программы, кроме программы Hopfield. Этот пункт позволяет сохранить на диске точную копию Экрана статистического теста. Отметим, что информация о доле правильных ответов на каждый пример, отображаемая в поле «Оценка» обучающего множества НЕ СОХРАНЯЕТСЯ! Все программы, кроме программы Hopfield. При выполнении этого пункта с диска считывается сохраненная при помощи пункта Сохранить результаты на диске тестовая информация. Отметим, что информация о доле правильных ответов на каждый пример, отображаемая в поле «Оценка» обучающего множества НЕ СОХРАНЯЕТСЯ на диске, и при чтении НЕ ВОССТАНАВЛИВАЕТСЯ! Все программы, кроме программы Hopfield. Исполнение этого пункта приводит к потере текущей тестовой информации, и очистке полей данных тестов на Экране статистического теста. Если Вы хотите сохранить результаты теста на диске, то воспользуйтесь пунктом Сохранить результаты на диске. Все программы, кроме программы Hopfield. Исполнение этого пункта приводит к выходу из статистического теста. При этом результаты теста сохраняются до проведения другого тестирования или выхода из программы. Если Вы хотите сохранить результаты теста на диске, то воспользуйтесь пунктом Сохранить результаты на диске. Примечания:Сервисные функции В данном разделе собраны описания сервисных функций общего назначения. Работа с подсказкойПри работе с подсказкой на экране появляется окно, название которого совпадает с названием высвеченного раздела. В окне цветом, отличным от цвета основного текста, выделены ссылки. Одна из ссылок выделена цветом, отличным от цветов текста и остальных ссылок. Это выделенная ссылка. Приведем список всех клавиш, используемых при работе с подсказкой:
На экране изображено окно, в правой части которого даны названия цветов, которые можно изменить. В правой части Окна находятся подокна "Цвет текста", "Цвет фона", и "Образец текста". В подокне "Цвет текста" черной точкой отмечен прямоугольник цвета букв. В подокне "Цвет фона" черной точкой отмечен прямоугольник цвета фона. В подокне "Образец текста" дан пример текста, написанного атрибутами (цвет фона и цвет текста) из верхних окон. Выбрав курсором нужный цвет в правом списке нажмите ENTER. После этого Вы можете установить любую комбинацию фона и текста, пользуясь стрелками внутри окон "Цвет текста", "Цвет фона" и кнопкой TAB для перехода между ними. Если Вы раздумали менять цвет, то нажмите ESC. Когда Вы подберете подходящую комбинацию цветов фона и текста нажмите ENTER. Чтобы закончить работу по подбору цветов нужно нажать ESC. После этого на нижней границе окна появляется вопрос: "Хотите запомнить измененные цвета?(y,n)". Если Вы нажмете «N», то сделанные Вами изменения будут действовать только во время текущего сеанса работы с программой. Если Вы ответите «Y», то измененные цвета будут запомнены в файле, содержащем эту программу. Это приведет к тому, что сделанные изменения сохранятся до следующего изменения. При выборе файла на экране появляется окно "Выбор файла", содержащее окна «Диски», "Каталоги", «Файлы». Внизу окна "Выбор файла" выводится информация о текущей дорожке и маске файлов. Сразу после начала выбора файла, Вы находитесь в окне выбора диска. Выбор осуществляется при помощи стрелок «Влево», "Вправо" и клавиши ENTER. Если диск доступен и содержит файлы с заданной маской или каталоги, то после нажатия ENTER курсор переместится в окно «Каталоги» или «Файлы». Если окна «Каталоги» и «Файлы» не пусты, то выйти из режима выбора диска можно при помощи стрелок «Вверх», "Вниз" или клавиши TAB. В окне «Каталоги» Вы можете выбрать нужный каталог и перейти в него при помощи стрелок «Вверх», "Вниз" и клавиши ENTER. Стрелка «Влево» переводит Вас в окно «Диски», а стрелка «Вправо» и клавиша TAB в окно «Файлы». При нажатии алфавитно-цифровой клавиши курсор перемещается на первый каталог, начинающийся на эту букву, или, если такого нет, на каталог, начинающийся на следующую за ней букву. В окне «Файлы» выбор производится так же, как и в окне «Каталоги», за исключением того, что стрелка «Влево» переводит Вас в окно «Каталоги», а стрелка «Вправо» и клавиша TAB в окно "Диски". Если Вы решили отказаться от выбора файлов — нажмите ESC. При работе с вертикальным меню, выбор пункта осуществляется при помощи стрелок «Вверх» и «Вниз», клавиш HOME, END, ENTER и соответствующих выделенным в пунктах буквам, а так же при помощи горячих клавиш. Если вертикальное меню является подменю горизонтального меню, то стрелки «Влево» и «Вправо» переводят Вас в левое и правое соседнее подменю, если оно есть. Для выхода из меню, без каких либо действий нажмите ESC. При работе с горизонтальным меню, выбор пункта осуществляется при помощи стрелок «Влево», "Вправо" и «Вниз», клавиш HOME, END, ENTER и соответствующих выделенным в пунктах буквам, а так же при помощи горячих клавиш. Если текущий пункт горизонтального меню имеет подменю, то стрелка «Вниз» и клавиша ENTER переводят Вас в подменю. Для выхода из меню без каких либо действий нажмите ESC. ПриветствиеВ окне приветствие приведены название данной программы, список спонсоров разработки и координаты группы «Нейрокомп», создавшей для Вас этот пакет. Более подробная информация о данной программе находится в разделе " О себе". Программа Hopfield. Эта программа является первой программой из серии обучающих программ по нейрокомпьютингу. В данной программе реализована одна из наиболее простых и, в тоже время, наиболее наглядных идеологий нейронных сетей — идеология сетей Хопфилда. Это единственная идеология нейронных сетей распознавания образов, которая не является классификационной по своей сути. Это, однако, часто приводит к эффекту ложной памяти, то есть на некоторые входные данные обученная сеть в качестве ответа выдает химеры — образы, не входившие в обучающее множество. Идеология сетей Хопфилда предполагает простой алгоритм построения синаптической карты. Говоря точнее, веса связей между нейронами не подстраиваются в ходе обучения, а вычисляются по заданному правилу при предъявлении обучающего множества. В данной программе реализованы два алгоритма вычисления синаптической карты — классический алгоритм Хопфилда и проекционный алгоритм, который повышает запоминающую способность сети Хопфилда. Конкретные характеристики о структуре сети, нейрона и других элементов программы Вы найдете в соответствующих разделах данного справочного материала. Программа Pade. Эта программа является пятой из серии обучающих программ по нейрокомпьютингу. В данной программе реализована полносвязная сеть с рациональными (Паде — в честь изобретателя Паде аппроксимации) нейронами. Эта сеть может обучаться различными способами. От сети, имитируемой программой SIGMOID, сеть программы PADE отличается только типом нейронов. Конкретные данные о структуре сети, нейрона и других элементов программы Вы найдете в соответствующих разделах данного справочного материала. Программы Sigmoid и Sinus Эти программа являются четвертой и шестой из серии обучающих программ по нейрокомпьютингу. В данной программе реализована полносвязная сеть с сигмоидными (синусоидными) нейронами. Эта сеть может обучаться различными способами. Конкретные данные о структуре сети, нейрона и других элементов программы Вы найдете в соответствующих разделах данного справочного материала. ЦветЭто подменю служит для настройки программы на конкретную машину и конкретного пользователя. Наиболее уязвимым местом PC является разнородность используемых мониторов. Подстройка цветов позволяет сделать программу легко адаптируемой к любой машине. Более подробно о смене цветов смотрите в разделе Смена цветов. Выполнение этой функции приводит к немедленному завершению работы. При этом обучающее множество и синаптическая карта теряются. Для того чтобы избежать потерь, необходимо воспользоваться функциями запомнить обучающее множество и запомнить карту. Основной режим Основной режим работы позволяет Вам изменять обучающее множество, читать, записывать синаптическую карту, обучать нейронную сеть, тестировать ее, а также выполнять ряд других функций. В верхней строке экрана находится основное меню программы. Ниже находятся поля пяти задач обучающего множества и тестовой задачи. Под полями задач приведен краткий список горячих клавиш и их функций. Ниже приведен полный список горячих клавиш и их функций для основного режима:
Кроме того, часть функций может быть выполнена только через выход в меню. Выбрав нужный пункт в меню и нажав F1 Вы получите справку о выполняемой им функции. Обучающее множество Обучающее множество — это совокупность всех примеров задач 1,…,5. Обучающее множество может рассматриваться как целое (См. разделы Запомнить обучающее множество, Тест обучающего множества и Прочитать обучающее множество) или как совокупность задач (См. разделы Задача, Удалить задачу и Редактирование задачи). Программа предоставляет Вам возможность создавать, редактировать, записывать и читать обучающее множество. При выполнении функции "Запомнить обучающее множество" на экран выводится запрос "Введите имя файла для запоминания" и предлагается имя последнего записанного или прочитанного файла обучающего множества. Все файлы обучающих множеств ВСЕГДА имеют расширение".PBL". Это необходимо учитывать при создании таких файлов средствами отличными от данной программы. При ответе на запрос можно не набирать расширение файла, поскольку оно будет заменено стандартным. При чтении обучающего множества на экране появляется окно выбора файла. Вы должны выбрать нужный Вам файл или отказаться от чтения. При зачтении нового обучающего множества старое — стирается. Функция открытия стандартного задачника предназначена для подготовки файла стандартного задачника к просмотру. Все файлы стандартных задачников имеют расширение ".TSK" и НЕСОВМЕСТИМЫ по формату с файлами обучающего множества. Программа не предусматривает средств создания и редактирования стандартных задачников. Если Вас интересует создание новых стандартных задачников, воспользуйтесь программами TaskBook и Pbl2Tsk. Очистить обучающее множествоЭта функция производит операцию Удаления задачи со всеми задачами Обучающего множества. Стандартный задачник служит для облегчения создания обучающего множества и никак не влияет на обучение нейронной сети. Поэтому можно менять стандартный задачник во время обучения сети, не опасаясь влияния этой смены на ход обучения. Открытие стандартного задачника возможно несколькими способами: • нажатием кнопки F2 в основном режиме работы; • нажатием кнопки F2 во время просмотра стандартного задачника при редактировании задачи; • через пункт "Открыть стандартный задачник" в подменю "Обучающее множество". После открытия стандартного задачника Вы получаете возможность выбирать из него изображения и вводить их в обучающее множество или в число примеров тестовой задачи. ЗадачаПод задачей понимается совокупность примеров, которые Вы отнесли к одному классу изображений. На экране вся информация о задаче отображается в окне "Задача #", где # — номер задачи. В окне «Задача» можно выделить следующие объекты: • номер текущего примера; • данные текущего примера; • вес текущего примера; • оценка текущего примера; • ответ текущего примера; • средняя оценка по всем примерам задачи. Первые пять объектов относятся к примерам и меняются при просмотре примеров. Средняя оценка является характеристикой всей задачи в целом. Номер примера служит для идентификации примеров внутри задачи. Поле данных примера содержит задаваемую Вами в режиме редактирования задачи исходную информацию для сети. Поле ответа содержит ответ сети на предъявленный Вами пример. Для получения более полной информации о полях "вес текущего примера", "оценка текущего примера" и "средняя оценка по всем примерам задачи" смотрите разделы Вес примера и Оценка примера. Просмотр примеров активной задачи осуществляется в основном режиме при помощи клавиш «Вверх» и «Вниз». При этом в окне задачи появляются соответствующие поля номер примера, данные примера, вес примера, оценка примера, ответ примера. Редактирование задачиРежим редактирования задачи имеет свой набор горячих клавиш. Горячие клавиши основного режима НЕ действуют. В режиме редактирования задачи Вы можете создавать новые примеры или редактировать старые. Ниже приведен список горячих клавиш режима редактирования задачи и описание их функций:
Просмотр стандартного задачника осуществляется с помощью клавиш «Вправо» и «Влево». Для введения текущего изображения в обучающее множество необходимо нажать ENTER, после чего программа перейдет обратно в режим редактирования задачи. Если Вы хотите отказаться от ввода задачи из стандартного задачника — нажмите ESC. Вес примера является задаваемой Вами величиной, влияющей на вклад данного примера в изменение синаптической карты при обучении. Чем больше вес примера (вес не может превышать 1 и быть меньше 0), тем весомее вклад данного примера в синаптическую карту и наоборот. Программа Hopfield. В данной программе оценка примера выполняет чисто информационные функции и равна числу несовпадающих точек в исходном изображении и ответе. Все программы, кроме программы Hopfield. В данной программе оценка примера может вычисляться по одному из двух правил Метода наименьших квадратов или Расстояния до множества. Кроме того, при тестировании примеров тестовой задачи в окне «Оценка» отображается уровень уверенности сети в решении предъявленного примера. Уровень надежности вычисляется по формулам, приведенным в разделах Метод наименьших квадратов и Расстояния до множества. При исполнении команды "Затенить изображение", при редактировании задачи или, во всех программах, кроме программы Hopfield, во время Статистического теста с тенью, необходимо затенить часть изображения. Затенение осуществляется по следующему алгоритму: При помощи генератора случайных чисел генерируется уравнение прямой, проходящей через изображение. Та часть изображения, которая не содержит точку с координатами (5,5) стирается. Затенение изображения — одно из четырех предоставляемых этой программой искажений изображения. Остальные искажения описаны в разделах: Добавляющий шум, Инвертирующий шум, Гасящий шум. При исполнении команды "Добавляющий шум", при редактировании задачи или, во всех программах, кроме программы Hopfield, во время Статистического теста с добавляющим шумом производится наложение на изображение добавляющего шума. Алгоритм «зашумления» с заданным уровнем добавляющего шума: Для каждой точки изображения генерируется случайное число из диапазона (0,1). Если это число меньше либо равно заданному уровню шума, то в изображение добавляется соответствующая точка. Добавляющий шум — одно из четырех предоставляемых этой программой искажений изображения. Остальные искажения описаны в разделах: Затенение изображения, Инвертирующий шум, Гасящий шум. При исполнении команды "Инвертирующий шум", при редактировании задачи или, во всех программах, кроме программы Hopfield, во время Статистического теста с инвертирующим шумом производится наложение на изображение инвертирующего шума. Алгоритм «зашумления» с заданным уровнем Инвертирующего шума: Для каждой точки изображения генерируется случайное число из диапазона (0,1). Если это число меньше либо равно заданному уровню шума, то в изображении инвертируется соответствующая точка. Инвертирующий шум — одно из четырех предоставляемых этой программой искажений изображения. Остальные искажения описаны в разделах: Затенение изображения, Добавляющий шум, Гасящий шум. При исполнении команды "Гасящий шум", при редактировании задачи или, во всех программах, кроме программы Hopfield, во время Статистического теста с гасящим шумом производится наложение на изображение гасящего шума. Алгоритм «зашумления» с заданным уровнем Гасящего шума: Для каждой точки изображения генерируется случайное число из диапазона (0,1). Если это число меньше либо равно заданному уровню шума, то в изображении гасится соответствующая точка. Гасящий шум — одно из четырех предоставляемых этой программой искажений изображения. Остальные искажения описаны в разделах: Затенение изображения, Добавляющий шум, Инвертирующий шум. Эта функция удаляет активный пример активной задачи. Если после этого примеров не остается, то заводится пустой пример. Таким образом, все задачи всегда содержат хотя бы один пример. Первый примерЭта функция делает активным первый пример активной задачи. Последний примерЭта функция делает активным последний пример активной задачи. Эта функция удаляет все примеры активной задачи и заводит один пустой пример. Нейронная сеть Программа Hopfield Нейронная сеть в данной программе является полносвязной (каждый нейрон связан с каждым, в том числе и с самим собой), однородной (все нейроны одинаковы), стонейронной (поскольку в сетях Хопфилда каждой точке изображения соответствует свой нейрон, а в этой программе используются изображения 10*10) сетью Хопфилда. Алгоритм формирования Синаптической карты описан в разделах "Параметры" и "Обучение". Алгоритм функционирования каждого нейрона описан в разделе "Нейрон". Все программы кроме программыHopfield Сеть, имитируемая данной программой, является полносвязной (каждый нейрон получает на каждом шаге сигналы со всех нейронов), с выделенными связями для получения входных данных. Подробная схема нейрона приведена в разделе Нейрон. Число нейронов в сети может варьироваться от 5 до 10 (см Число нейронов в сети). Число обменов сигналами между нейронами может варьироваться от 2 до 5 (см. Число срабатываний сети). Программа Hopfield. В данной программе все нейроны сети одинаковы и очень просты. Обозначив вектор сигналов сети через a[i] (i=1,…,100), а элементы синаптической карты — синаптические веса — через X[ij], работу нейрона можно описать следующими формулами: J[i]= Сумма по j от 1 до 100 (a[j]*X[ij]) a'[i]= 1, если J[i]>0; 0, если J[i]<0. a'[i] — новый сигнал i-ого нейрона. Программа Pade. Схема рационального нейрона представлена на рисунке ниже. Он состоит из шести частей: входных синапсов (x[i,j], y[i,j]), сумматоров (N,D) и функционального преобразователя (F). Схема действия i-го нейрона проста — в каждый момент времени со всех нейронов на него поступают сигналы. Перед сумматором каждый сигнал умножается на синаптический вес x[i,j] для сумматора N и y[i,j] для сумматора D. Индекс i показывает номер нейрона получающего, а индекс j — номер передавшего сигнал. Отметим, что в силу ограничений, принятых в данной модели нейронной сети, все синаптические веса неотрицательны. После этого сигналы поступают на сумматоры. Вычисленные сумматорами сигналы передаются на функциональный преобразователь F. В данной программе все нейроны одинаковы (во всем, кроме синаптических весов, поскольку они являются характеристиками не нейронов, а нейронной сети в целом) и преобразуют сигнал по следующему правилу: F = N / (C + D), где С — Характеристика нейрона В программах Sinus и Sigmoid нейроны отличаются только видом функционального преобразователя. Схема нейрона представлена на рисунке ниже. Он состоит из четырех частей: входных синапсов (x[i,j]), сумматора (N) и функционального преобразователя. Схема действия i-го нейрона проста — в каждый момент времени со всех нейронов на него поступают сигналы. Перед сумматором каждый сигнал умножается на синаптический вес x[i,j]. Индекс i показывает номер нейрона получающего, а индекс j — номер — передавшего сигнал. Отметим, что в силу ограничений, принятых в данной модели нейронной сети, все синаптические веса не могут по абсолютной величине превосходить 1. После этого сигналы поступают на сумматор. Вычисленный сумматором сигнал передается на функциональный преобразователь. В данной программе все нейроны одинаковы (во всем, кроме синаптических весов, поскольку они являются характеристиками не нейронов, а нейронной сети в целом) и преобразуют сигнал по следующему правилу: F = Sin(Т) (программа Sinus). А = N / (C + |N|) (программа Sigmoid). где С — Характеристика нейрона Синаптическая карта является важнейшей частью нейронной сети. Она задает веса, с которыми передаются сигналы от одних нейронов к другим. Синаптическая карта формируется при обучении нейронной сети, Случайном изменении карты, Контрастировании, а для программ, отличных от программы Hopfield, и при Редактировании карты, Генерации новой карты. При выполнении этой функции на экран выводится запрос "Введите имя файла для запоминания". Все файлы карт имеют расширение".MAP", которое можно не набирать при ответе на запрос. При чтении карты на экране появляется окно выбора файла. Вы должны выбрать нужный Вам файл или отказаться от чтения. Эта функция позволяет «увидеть» на экране синаптическую карту и изменить, в соответствии с вашими желаниями значения отдельных связей. Ниже приведен список клавиш, позволяющих Вам редактировать карту:
Далее для всех программ, кроме программыHopfield. Операция замораживания (размораживания) связи позволяет исключить (подключить ранее исключенную) эту связь из процесса обучения. Связи могут быть заморожены либо при редактировании карты, либо при контрастировании. Опишем формат отображения синаптической карты на экран. В первом столбце идут номера входных сигналов (в случае отсутствия предобработки это единица для позиции, где есть точка и –1 — для остальных). Точки изображения нумеруются, как показано в следующей таблице:
Кроме того, к вектору входных сигналов любого примера каждой задачи добавляется сигнал с номером 0 и значением 1). Во второй колонке находятся значения синаптических весов, на которые будут подаваться соответствующие входные сигналы. В третьей колонке стоят номера нейронов, сигналы с которых будут подаваться на синапсы, веса которых указаны в четвертой колонке. В программе Pade, во второй колонке находятся значения синаптических весов сумматора числителя функционального элемента, на которые будут подаваться соответствующие первой колонке входные сигналы. В третьей колонке находятся значения синаптических весов сумматора знаменателя функционального элемента, на которые будут подаваться соответствующие первой колонке входные сигналы. В четвертой колонке стоят номера нейронов, сигналы с которых будут подаваться на синапсы, веса которых указаны в пятой (сумматор числителя) и шестой (сумматор знаменателя) колонках. Выполнение этой функции приводит к замене текущей синаптической карты на случайную, с указанными Вами параметрами. Если Вы указали уровень синапсов равным L, то каждый синапс будет получен с помощью случайной величины, равномерно распределенной внутри интервала [-L,L] (для программыPade — в интервале [0,L]). Выполнение этой функции приводит к изменению всех весов синаптической карты на случайную величину, равномерно распределенную в диапазоне [-L,L], где L — задается в меню Параметры, в пункте Уровень УДАРА. Для каждого синаптического веса генерируется своя случайная поправка. Программа Hopfield. Эта процедура удаляет из сети «лишние» связи. Вы можете задать понятие лишних связей, задав параметры контрастирования в меню Параметры. Все программы, кроме программы Hopfield. Эта процедура удаляет из сети «лишние» связи, замораживает медленно обучающиеся и размораживает ранее замороженные или отконтрастированные. Вы можете задать понятие лишних, медленных и подлежащих размораживанию связей задав значения параметров контрастирования в меню Параметры. Ниже приведена схема процедуры контрастирования:
Накопление показателей чувствительности для размораживания (Норма для включения) и для замораживания и контрастирования (Норма для исключения) ведется раздельно в ходе указанного Вами числа (Число циклов накопления критерия) тактов обучения сети по методу Усредненного антиградиентного спуска. После накопления показателей чувствительности определяются связи подлежащие размораживанию — Количество размораживаемых связей с самым большим показателем чувствительности. Отметим, что связи только отмечаются, но не размораживаются. Среди обучаемых связей выделяем Количество контрастируемых связей с самыми маленькими модернизированными показателями чувствительности. Модернизация производится по следующему алгоритму: Для каждой неотконтрастированной связи определяем расстояние до ближайшего выделенного значения. Умножаем показатель чувствительности этой связи на вычисленное расстояние. Величины отобранных связей заменяем ближайшим выделенным значением и замораживаем (исключаем из обучения). Среди незамороженных (обучаемых) связей находим Количество замораживаемых связей и замораживаем, не изменяя их величин. Связи, включенные в список подлежащих размораживанию на втором шаге алгоритма, размораживаем, не изменяя их величин. Параметры Программа Hopfield В этом подменю, Вы можете установить параметры Метода обучения, Контрастирования и Уровень УДАРА. Все программы, кроме программыHopfield. В меню «Параметры» Вы можете задать следующие параметры: Параметры сети Параметры метода обучения Параметры контрастирования Количество контрастируемых связей Количество замораживаемых связей Количество размораживаемых связей Число циклов накопления критерия Набор выделенных значений (1/2^n) Методы предобработки Автокоррелятор сдвиг+отражение Автокоррелятор сдвиг+вращение+отражение Программа Hopfield Этот пункт позволяет Вам выбрать один из двух заложенных в программу алгоритмов построения синаптической карты по обучающему множеству. Если Вы выбрали "Классический Хопфилд", то формирование происходит так, как описано в разделе обучение. Если Вы предпочли "Проекционный Хопфилд", то производится предварительная обработка обучающего множества. Входные данные, задаваемые каждым примером, можно рассматривать как стомерный вектор. Процедура предварительной обработки состоит в ортонормировании системы векторов, задаваемых всеми примерами обучающего множества. Отметим, что при тестировании предобработка отсуствует. Все программы, кроме программыHopfield. В этом меню Вы можете задать следующие параметры метода обучения: Все программы, кроме программы Hopfield. При построении метода обучения Вы пользуетесь следующей схемой:
Входными параметрами процедуры MParTan являются: 1. Начальная карта. 2. Процедура вычисления Направления спуска. 3. Локальное обучающее множество. 4. Процедура вычисления оценки. Процедура ParTan работает по следующему алгоритму: 1. Запоминаем текущую карту и оценку текущего Обучающего множества, определяемую в соответствии с тремя более низкими уровнями схемы. 2. Используя процедуру вычисления Направления спуска, вычисляет направление спуска и производит спуск в этом направлении. Этот шаг алгоритма выполняется дважды. 3. Запоминаем текущую карту и оценку текущего Обучающего множества, 4. Делаем спуск в направлении, ведущем из первой запомненной карты во вторую. 5. Если оценка не равна 0, то повторяем всю процедуру сначала. Процедура MParTan несколько отличается от предыдущей, но ее описание слишком сложно. Однако в ее основе лежит та же идея. Если Вы не используете MParTan, то используется следующая процедура 1. Используя процедуру вычисления Направления спуска, вычисляет направление спуска и производит спуск в этом направлении. 2. Если оценка не равна 0, то повторяем всю процедуру сначала. Все программы, кроме программы Hopfield. При построении метода обучения Вы пользуетесь следующей схемой:
Под организацией обучения будем понимать способ порождения обучающего множества для одного шага обучения. Исторически самым первым был способ позадачного обучения. Если быть более точным — то попримерного. Процедура попримерного обучения состоит из следующих шагов: 1. Подаем на вход сети задачу. 2. Получаем ответ. 3. Вычисляем оценку. Производим корректировку сети. (Процедура спуска) Таким образом, локальное обучающее множество для процедур MParTan, Процедура спуска и Вычисление направления состоит только из одного примера. Алгоритмы получения локального обучающего множества для различных способов организации обучения:
Все программы, кроме программы Hopfield. При построении метода обучения Вы пользуетесь следующей схемой:
Данная программа предусматривает два способа вычисления направления спуска. Первый способ известен как Случайный поиск, а второй как метод наискорейшего спуска. В первом случае в качестве направления спуска используется случайный вектор, а во втором — вектор антиградиента функции оценки. Этот пункт позволяет задать параметр Случайного изменения карты. Уровень УДАРА должен лежать в пределах от 0.001 до 1. Все программы, кроме программы Hopfield. При построении метода обучения Вы пользуетесь следующей схемой:
Входными параметрами процедуры спуска являются 1. Начальная карта. 3. Локальное обучающее множество. 4. Процедура вычисления оценки. Алгоритм процедуры спуска: 1. Вычисляем оценку по локальному обучающему множеству (Е1). 2. Делаем пробный шаг, добавляя к начальной карте вектор направления спуска умноженный на шаг S. 3. Вычисляем оценку по локальному обучающему множеству (Е2). 4. Если Е2<E1, то увеличиваем шаг S, полагаем E1=E2 и повторяем шаги алгоритма 1–4 до тех пор, пока не станет E2>E1. Карта, которой соответствует оценка E1,и является результатом работы процедуры. 5. Если после первого выполнения шага 3 оказалось, что E2>E1, то уменьшаем шаг S, полагаем E1=E2 и повторяем шаги алгоритма 1–3 и 5 до тех пор, пока не станет E2<E1. Карта, которой соответствует оценка E1, и является результатом работы процедуры. Все программы, кроме программыHopfield. При построении метода обучения Вы пользуетесь следующей схемой:
В данной программе принят способ кодирования ответа номером канала: номер того из пяти ответных нейронов, который выдал на последнем такте функционирования наибольший сигнал, задает номер класса, к которому сеть отнесла предъявленный образ. Оценка, таким образом, может быть вычислена только для задачи, ответ которой известен. Данная программа предусматривает два различных способа оценивания решения. Различие в способах оценки связано с различием требований, накладываемых на обученную сеть. Пусть пример относится к N-ой задаче. Тогда требования можно записать так: Метод наименьших квадратов (Программа Pade) N-ый нейрон должен выдать на выходе 1. Остальные нейроны должны давать на выходе 0 (как можно более близкое к 0 число). Метод наименьших квадратов (Программы Sigmoid и Sinus). N-ый нейрон должен выдать на выходе 1 (поскольку сигнал 1 для нейрона невозможен (см. Нейрон), то число как можно более близкое к 1). Остальные нейроны должны давать на выходе –1 (как можно более близкое к –1 число). Расстояние до множества В этом случае требование только одно — разница между выходным сигналом N-го нейрона и выходными сигналами остальных нейронов должна быть не меньше уровня надежности. Таким образом, для Метода наименьших квадратов оценка примера N-ой задачи равна H = (Сумма по I<>N от 1 до 5 (A[I]+1)^2)) + (A[N]-1)^2 и является обычным Евклидовым расстоянием от правильного ответа до ответа, выданного сетью. Как следует из названия второго метода оценивания, вычисляемая по этому способу оценка равна расстоянию от выданного сетью ответа до множества правильных ответов. Множество правильных ответов для примера N-ой задачи задается неравенствами A[N]-R > A[I], для всех I<>N. Все программы, кроме программы Hopfield. Входные данные задачи распознавания черно-белых изображений представляют собой последовательность 0 и 1 (есть точка — 1, нет — 0). Такие данные не всегда оптимальны для решения задачи распознавания. В связи с этим возникает задача предобработки данных. Возможны различные виды предобработки — преобразования Фурье, построение различных инвариантов и т. п. В этой программе предусмотрено несколько видов предобработки: Автокоррелятор сдвиг+отражение Автокоррелятор сдвиг+вращение+отражение В результате предобработки получается не только более информативный вектор входных сигналов, но иногда и вектор меньшей размерности. Кроме того, вектор входных сигналов, полученный предобработкой типа "сдвиговый автокоррелятор" является инвариантным к сдвигу. Все программы, кроме программы Hopfield. Это «пустая» предобработка — никакой предобработки не производится. Все программы, кроме программы Hopfield. Основная идея этого метода предобработки — сделать вектор входных сигналов нейронной сети инвариантным к сдвигу. Другими словами, два вектора, соответствующие одному и тому же образу, расположенному в разных местах шаблона 10*10, после предобработки этим способом должны совпадать! Рассмотрим подробно метод вычисления автокоррелятора. Пусть дано изображение X. x[i,j] — точка изображения в i-ом ряду и j-ом столбце. Будем считать x[i,j]=0, если хотя бы один индекс (i или j) находится вне пределов интервала (1,10). Элемент автокоррелятора A — a[l,k] вычисляется по формуле: a[l,k] = Сумма по i от 1 до 10 (Сумма по j от 1 до 10 < x[i,j]*x[i+l,j+k] >) Другими словами, a[l,k] — число точек совпадающих при наложении изображения X на это же, но сдвинутое на вектор (l,k) изображение. Легко заметить, что ненулевыми могут быть только элементы автокоррелятора A с индексами –9<=l,k<=9. Однако a[l,k]=a[-l, –k] Таким образом можно рассматривать только часть коррелятора с индексами –9<=i<=9 и 0<=j<=9. Если Вы задаете размер автокоррелятора m*n, то входными сигналами для сети будут служить элементы a[i,j] при — (n-1)<=i<=(n-1), 0<=j<=m-1. Все программы, кроме программы Hopfield. Этот метод предобработки в качестве исходных данных использует сдвиговый автокоррелятор. Идея вычисления автокоррелятора сдиг+отражение (S) очень проста: Сложим значения, соответствующие симметричным точкам, и будем считать их новыми значениями. s[k,l]=a[k,l]+a[k, –l]. Очевидно, что автокоррелятор S инвариантен относительно сдвига и отражения. Кроме того, можно ограничиться только элементами с неотрицательными индексами. Если Вы задали размеры автокоррелятора m*n, то входными сигналами сети будут s[l,k] при 0<=l<=n-1, 0<=k<=m. Все программы, кроме программы Hopfield. Этот метод предобработки в качестве исходных данных использует сдвиговый автокоррелятор. Идея вычисления автокоррелятора очень проста: поворачиваем автокоррелятор A на 90 градусов относительно элемента a[0,0] и получаем элемент автокоррелятора R умножением соответствующих элементов — r[p,q]=a[p,q]*a[q, –p]. Очевидно, что автокоррелятор R инвариантен относительно сдвига и поворота на 90 градусов. Кроме того, можно ограничиться только элементами с неотрицательными индексами. Если вы задали размеры автокоррелятора m*n, то входными сигналами сети будут s[l,k] при 0<=l<=n-1, 0<=k<=m. Все программы, кроме программы Hopfield. Этот метод предобработки в качестве исходных данных использует автокоррелятор сдвиг+вращение. Идея вычисления автокоррелятора сдвиг+вращение+отражение (C) очень проста: Сложим значения, соответствующие симметричным точкам, и будем считать их новыми значениями. c[k,l]=r[k,l]+r[k, –l]. Очевидно, что автокоррелятор C инвариантен относительно сдвига, вращения и отражения. Кроме того, можно ограничиться только элементами с неотрицательными индексами. Если вы задали размеры автокоррелятора m*n, то входными сигналами сети будут с[l,k] при 0<=l<=n-1, 0<=k<=m. Все программы, кроме программы Hopfield. Этот пункт меню позволяет Вам изменять структуру нейронной сети. Вы можете изменить такие важнейшие параметры сети, как Все программы, кроме программы Hopfield. Этот пункт меню позволяет Вам изменять число нейронов в сети от 5 до 10. Подробно структура сети и нейрона описана в разделах Нейронная сеть и Нейрон. Все программы, кроме программы Hopfield. Наиболее широкую известность получили нейронные сети слоистой архитектуры. В таких сетях за время решения примера сигнал только один раз попадает на нейроны каждого слоя. Имитируемая данной программой сеть является полносвязной сетью — каждый нейрон передает сигнал всем другим (в том числе и себе). Однако любую полносвязную сеть можно представить в виде слоистой сети с идентичными слоями. В рамках такого представления число срабатываний сети равно числу слоев нейронной сети, следующих за входным слоем. Число срабатываний сети может изменяться от 1 до 5. Программа Sigmoid В разделе Нейрон описана структура работы нейрона. В функциональном преобразователе нейрона, работающем по формуле F = R / (C+|R|), присутствует величина С, называемая характеристикой нейрона. Этот пункт меню позволяет Вам изменять эту величину от 0.001 до 5. ПрограммаSinus не имеет параметра Характеристика нейрона ПрограммаPade В разделе Нейрон описана структура работы нейрона. В функциональном преобразователе нейрона, работающем по формуле F = N / (C+D) присутствует величина С, называемая характеристикой нейрона. Этот пункт меню позволяет Вам изменять эту величину в пределах от 0.001 до 5. Программа Hopfield. Если Вы посмотрите на синаптическую карту (воспользуйтесь клавишей <CTRL-F8> для перехода в режим Редактирования карты), то заметите, что большая часть синаптических весов мала и одинакова по величине. Процедура контрастирования (вызывается нажатием клавиш <CTRL-F6>) позволяет исключить часть связей из функционирования. Вам предлагается два способа исключения «лишних» связей:
Все программы, кроме программы Hopfield. Это подменю позволяет Вам определить понятие «лишних» и "медленно обучаемых" связей, а также связей подлежащих возвращению в обучаемое состояние, путем задания следующих параметров процедуры Контрастирования: Количество контрастируемых связей Количество замораживаемых связей Количество размораживаемых связей Число циклов накопления критерия Набор выделенных значений (1/2^n) Все программы, кроме программы Hopfield. При накоплении показателей чувствительности для исключения из обучения связей программа позволяет использовать три варианта нормы: Показатель чувствительности связи равен максимуму модуля соответствующего элемента векторов антиградиента по всем циклам накопления критерия. Показатель чувствительности связи равен сумме модулей соответствующего элемента векторов антиградиента по всем циклам накопления критерия. Показатель чувствительности связи равен сумме соответствующего элемента векторов антиградиента по всем циклам накопления критерия. Все программы, кроме программы Hopfield. При накоплении показателей чувствительности для включения в обучение связей программа позволяет использовать три варианта нормы: Показатель чувствительности связи равен максимуму модуля соответствующего элемента векторов антиградиента по всем циклам накопления критерия. Показатель чувствительности связи равен сумме модулей соответствующего элемента векторов антиградиента по всем циклам накопления критерия. Показатель чувствительности связи равен сумме соответствующего элемента векторов антиградиента по всем циклам накопления критерия. Все программы, кроме программы Hopfield. Этот пункт меню позволяет Вам задать число связей, подлежащих Контрастированию. Все программы, кроме программы Hopfield. Этот пункт меню позволяет Вам задать число связей, подлежащих Замораживанию. Все программы, кроме программы Hopfield. Этот пункт меню позволяет Вам задать число связей, подлежащих Размораживанию. Все программы, кроме программы Hopfield. Этот пункт меню позволяет Вам задать число циклов обучения для накопления показателей чувствительности для процедуры Контрастирования. Все программы, кроме программы Hopfield. Процедура контрастирования (вызывается нажатием клавиш <CTRL-F6>) позволяет Вам исключить часть связей из функционирования, а остальные связи привести к небольшому числу выделенных значений. Этот пункт позволяет Вам задать набор выделенных значений. Ниже приведена таблица соответствия набора выделенных значений задаваемому Вами параметру: Программа Pade
Программы Sinus и Sigmoid
Все программы, кроме программыHopfield. Этот пункт меню позволяет Вам увидеть на экране все параметры, задаваемые в меню "Параметры": Параметры сети Параметры метода обучения Параметры контрастирования Количество контрастируемых связей Количество замораживаемых связей Количество размораживаемых связей Число циклов накопления критерия Набор выделенных значений (1/2^n) Методы предобработки Автокоррелятор сдвиг+отражение Автокоррелятор сдвиг+вращение+отражение Кроме того, на экран выводится число тактов функционирования сети уже затраченных на обучение и средняя оценка по обучающему множеству. Обучение Программа Hopfield. При вычислении синаптической карты в данной программе предусмотрено использование одного из двух заложенных алгоритмов. Выбор алгоритма производится в подменю "Параметры" главного меню. Там же описана процедура предварительной обработки обучающего множества в случае применения алгоритма "Проекционный Хопфилд". В этом разделе описана общая для обоих алгоритмов процедура вычисления элемента синаптической карты по векторам обучающего множества. Поскольку мы имеем дело со стонейронной нейронной сетью, исходные данные любого примера можно представить в виде стомерного вектора. Обозначим вектора соответствующие обучающему множеству через A[1],…,A[k], вес l-ого примера — W[l], а ij-ый элемент синаптической карты — X[ij]. Тогда алгоритм вычисления синаптической карты можно представить в виде формулы: X[ij] = Сумма по l от 1 до k (A[l][i]*A[l][j]*W[l]) Все программы, кроме программыHopfield. В данной программе реализован «генетический» подход к формированию стратегии обучения. У Вас в руках ряд процедур, с помощью которых Вы можете подобрать стратегию обучения сети. Ниже приведена таблица всех возможных режимов
Обозначения, использованные в таблице: Средн. — Обучение по усредненной оценке (градиенту); Позад. — Позадачное обучение; Зад. # — Обучение задаче номер; Случайно — Случайный спуск; Антиградиент — Градиентный спуск; МНК — Оценка типа Метода наименьших квадратов; РДМ — Оценка типа Расстояние до множества. Задать процедуру обучения Вы можете в меню Параметры, в подменю метода Тест В режиме Тест Вы можете проверить навыки нейронной сети. Возможно несколько видов тестирования: Тест обучающего множества, при котором проверяется правильность ответов сети при предъявлении ей примеров из обучающего множества; Тест текущего тестового примера, при котором проверяется решение сетью активного примера в тестовой задаче; Тест тестовой задачи — проверка решения сетью всех примеров тестовой задачи; все программы, кроме программыHopfield — Статистический тест — проверка сети на устойчивость к искажениям. Часто бывает важно знать, какие ответы дает сеть при предъявлении ей примеров из обучающего множества. Это бывает полезно при выявлении «плохих» задач и во многих других случаях. После проведения Теста обучающего множества каждому примеру из обучающего множества ставится в соответствие ответ. Результаты теста можно узнать, просмотрев обучающее множество. При работе с обученной нейронной сетью часто бывает важно узнать ее ответ на пример, не входящий в обучающее множество. Для этой цели предназначены режимы Тест текущего тестового примера и Тест тестовой задачи. Чтобы проверить реакцию сети на интересующий Вас пример Вы должны ввести этот пример в окне «Тест» и выполнить Тест текущего тестового примера. Этот режим служит для проверки навыков обученной нейронной сети. Чтобы проверить реакцию сети на интересующие Вас примеры, Вы должны ввести их все в окне «Тест» и выполнить Тест тестовой задачи. Все программы, кроме программы Hopfield. При работе с нейронными сетями большой интерес представляет вопрос об устойчивости полученных навыков к различным искажениям. Для исследования этого вопроса и предназначен статистический тест обучающего множества. В режиме статистического теста Вы можете Провести Полный статистический тест Провести Статистический тест с тенью Провести Статистический тест с добавляющим шумом Провести Статистический тест с инвертирующим шумом Провести Статистический тест с гасящим шумом Прочитать с диска результаты работы Закончить работу со статистическим тестом Все программы, кроме программы Hopfield. Этот пункт позволяет «спрятать» меню, закрывающее часть полезной информации на Экране статистического теста. Чтобы вернуть меню на экран необходимо нажать любую клавишу. Все программы, кроме программы Hopfield. В первой строке экрана отображается название тестируемого обучающего множества, во второй строке — имя тестируемой карты, в третьей — число предъявлений на один пример (см. Задать параметры теста). Ниже расположены таблицы результатов четырех тестов: Статистического теста с тенью, Статистического теста с добавляющим шумом, Статистического теста с инвертирующим шумом, Статистического теста с гасящим шумом. Результаты представлены в виде двух строк заголовка и таблицы. Первая строка заголовка содержит имя теста. Для тестов с шумами во второй строке дан уровень шума (см. Затенение изображения, Инвертирующий шум, Добавляющий шум, Гасящий шум). Ниже приведена расшифровка данных таблицы.
Цифрами в круглых скобках обозначены следующие объекты: (1) Имя теста. (2) Параметр теста (уровень шума). (3) Номер класса ответа (за что приняли) (4) Номер тестируемой задачи (что предъявляли) (5) Число предъявлений 1-ой задачи, которые были распознаны как 1-ый образ (6) Число предъявлений 2-ой задачи, которые были распознаны как 4-ый образ Все программы, кроме программы Hopfield. Проведение полного статистического теста включает в себя проведение последовательно четырех тестов: Статистического теста с тенью, Статистического теста с добавляющим шумом, Статистического теста с инвертирующим шумом, Статистического теста с гасящим шумом. Причем параметры тестов задаются при помощи пункта Задать параметры теста. Вся полученная в ходе тестирования информация отображается в соответствующих полях Экрана статистического теста Все программы, кроме программы Hopfield. При выполнении этого теста каждый пример обучающего множества искажается при помощи затенения изображения и предъявляется нейронной сети для распознавания. С каждым примером эта процедура проделывается заданное (см. Задать параметры теста) число раз. Результаты теста отображаются в таблице результатов. Если Вас интересует, какое число ошибок было сделано при предъявлении каждого примера обучающего множества, то Вам необходимо выйти из режима тестирования и просмотреть обучающее множество. В поле «Оценка» отображается доля правильных ответов на каждый пример. Необходимо помнить, что эти данные отражают результаты только ПОСЛЕДНЕГО теста! Все программы, кроме программы Hopfield. При выполнении этого теста каждый пример обучающего множества искажается при помощи Добавляющего шума с уровнем, заданным при помощи пункта Задать параметры теста, и предъявляется нейронной сети для распознавания. С каждым примером эта процедура проделывается заданное (см. Задать параметры теста) число раз. Результаты теста отображаются в таблице результатов. Если Вас интересует, какое число ошибок было сделано при предъявлении каждого примера обучающего множества, то Вам необходимо выйти из режима тестирования и просмотреть обучающее множество. В поле «Оценка» отображается доля правильных ответов на каждый пример. Необходимо помнить, что эти данные отражают результаты только ПОСЛЕДНЕГО теста! Все программы, кроме программы Hopfield. При выполнении этого теста каждый пример обучающего множества искажается при помощи Инвертирующего шума с уровнем, заданным при помощи пункта Задать параметры теста, и предъявляется нейронной сети для распознавания. С каждым примером эта процедура проделывается заданное (см. Задать параметры теста) число раз. Результаты теста отображаются в таблице результатов. Если Вас интересует, какое число ошибок было сделано при предъявлении каждого примера обучающего множества, то Вам необходимо выйти из режима тестирования и просмотреть обучающее множество. В поле «Оценка» отображается доля правильных ответов на каждый пример. Необходимо помнить, что эти данные отражают результаты только ПОСЛЕДНЕГО теста! Все программы, кроме программы Hopfield. При выполнении этого теста каждый пример обучающего множества искажается при помощи Гасящего шума с уровнем, заданным при помощи пункта Задать параметры теста, и предъявляется нейронной сети для распознавания. С каждым примером эта процедура проделывается заданное (см. Задать параметры теста) число раз. Результаты теста отображаются в таблице результатов. Если Вас интересует, какое число ошибок было сделано при предъявлении каждого примера обучающего множества, то Вам необходимо выйти из режима тестирования и просмотреть обучающее множество. В поле «Оценка» отображается доля правильных ответов на каждый пример. Необходимо помнить, что эти данные отражают результаты только ПОСЛЕДНЕГО теста! Все программы, кроме программы Hopfield. При исполнении этого пункта у Вас последовательно запрашиваются "Число искажений на пример" — сколько различных экземпляров искажений каждого примера будет предъявляться сети для распознавания; "Уровень добавляющего шума" — для Статистического теста с добавляющим шумом (см. Добавляющий шум); "Уровень инвертирующего шума" — для Статистического теста с инвертирующим шумом (см. Инвертирующий шум); "Уровень гасящего шума" — для Статистического теста с гасящим шумом (см. Гасящий шум). Все программы, кроме программы Hopfield. Этот пункт позволяет сохранить на диске точную копию Экрана статистического теста. Отметим, что информация о доле правильных ответов на каждый пример, отображаемая в поле «Оценка» обучающего множества НЕ СОХРАНЯЕТСЯ! Все программы, кроме программы Hopfield. При выполнении этого пункта с диска считывается сохраненная при помощи пункта Сохранить результаты на диске тестовая информация. Отметим, что информация о доле правильных ответов на каждый пример, отображаемая в поле «Оценка» обучающего множества НЕ СОХРАНЯЕТСЯ на диске, и при чтении НЕ ВОССТАНАВЛИВАЕТСЯ! Все программы, кроме программы Hopfield. Исполнение этого пункта приводит к потере текущей тестовой информации, и очистке полей данных тестов на Экране статистического теста. Если Вы хотите сохранить результаты теста на диске, то воспользуйтесь пунктом Сохранить результаты на диске. Все программы, кроме программы Hopfield. Исполнение этого пункта приводит к выходу из статистического теста. При этом результаты теста сохраняются до проведения другого тестирования или выхода из программы. Если Вы хотите сохранить результаты теста на диске, то воспользуйтесь пунктом Сохранить результаты на диске. |
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Главная | В избранное | Наш E-MAIL | Добавить материал | Нашёл ошибку | Наверх | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
