Распознавание текстовых областей изображений на основе метода нейронных сетей

 
пробная версия антивируса nod32 Главная
О проекте
Типы сканеров
Характеристики сканеров
Фильтр Гаусса
Способность нейронной сети к обучению
Обзор методов обучения нейронной сети
Выбор количества нейронов и слоев
Анализ существующих методов фильтрации
Виды шумов
Линейные методы фильтрации
Разделимая фильтрация
Сигма фильтрация
Управляемая линейная фильтрация
Метод регуляризации А. Н. Тихонова
Оптимальная винеровская фильтрация
Нелинейные методы фильтрации
Метод максимума энтропии
Итерационные методы восстановления изображений
Итерационные алгоритмы с ограничениями
Метод проекций на выпуклые множества и регуляризация итерационных
Сравнение методов восстановления
Медианный метод восстановления изображений
Алгоритм функционирования медианного фильтра
Математическое описание медианного фильтра
Оценка качества изображения Обзор стилей программирования Функциональное программирование Объектно-ориентированное программирование Основные принципы объектно-ориентированного программирования Объектно-ориентированное программирование на языке С++ Конструкторы и деструкторы Область видимости компонент класса Определение компонентных функций класса Статические компоненты классов Дружественные функции Перегрузка операций Наследование классов Объявление наследования классов в С++ Базовые классы Наследование классов Конкретизация классов Производный класс Пример программы Виртуальные классы Виртуальные функции. Полиморфизм Пример программы Абстрактные классы Организация поведения Поведение человека и организации Развитие взглядов на поведение личности Личность и ее понимание Управление как процесс коммуникации Мотивация и результативность организации Основные теории мотивации Теория справедливости (Адамс) Сходство и различия формальных и неформальных организаций Потенциальные результаты формальных групп Типология команд Этапы развития команды Анализ и конструирование организации Жизненный цикл организации
Обзор методов обучения нейронной сети


 Обучение без учителя не требует знания правильных ответов на каждый пример обучающей выборки. В этом случае раскрывается внутренняя структура данных или корреляции между образцами в системе данных, что позволяет распределить образцы по категориям. При смешанном обучении часть весов определяется посредством обучения с учителем, в то время как остальная получается с помощью самообучения.

Теория обучения рассматривает три фундаментальных свойства, связанных с обучением по примерам: емкость, сложность образцов и вычислительная сложность. Под емкостью понимается, сколько образцов может запомнить сеть, и какие функции и границы принятия решений могут быть на ней сформированы. Сложность образцов определяет число обучающих примеров, необходимых для достижения способности сети к обобщению. Слишком малое число примеров может вызвать «переобученность» сети, когда она хорошо функционирует на примерах обучающей выборки, но плохо - на тестовых примерах, подчиненных тому же статистическому распределению. Известны 4 основных типа правил обучения: коррекция по ошибке, машина Больцмана, правило Хебба и обучение методом соревнования.

Правило коррекции по ошибке. При обучении с учителем для каждого входного примера задан желаемый выход d. Реальный выход сети y может не совпадать с желаемым. Принцип коррекции по ошибке при обучении состоит в использовании сигнала (d-y) для модификации весов, обеспечивающей постепенное уменьшение ошибки. Обучение имеет место только в случае, когда перцептрон ошибается. Известны различные модификации этого алгоритма обучения.

Обучение Больцмана. Представляет собой стохастическое правило обучения, которое следует из информационных теоретических и термодинамических принципов. Целью обучения Больцмана является такая настройка весовых коэффициентов, при которой состояния видимых нейронов удовлетворяют желаемому распределению вероятностей. Обучение Больцмана может рассматриваться как специальный случай коррекции по ошибке, в котором под ошибкой понимается расхождение корреляций состояний в двух режимах .

Правило Хебба. Самым старым обучающим правилом является постулат обучения Хебба. Хебб опирался на следующие нейрофизиологические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то сила синаптической связи возрастает. Важной особенностью этого правила является то, что изменение синаптического веса зависит только от активности нейронов, которые связаны данным синапсом. Это существенно упрощает цепи обучения в реализации VLSI.

Обучение методом соревнования. В отличие от обучения Хебба, в котором множество выходных нейронов могут возбуждаться одновременно, при соревновательном обучении выходные нейроны соревнуются между собой за активизацию. Это явление известно как правило «победитель берет все». Подобное обучение имеет место в биологических нейронных сетях. Обучение посредством соревнования позволяет кластеризовать входные данные: подобные примеры группируются сетью в соответствии с корреляциями и представляются одним элементом.

При обучении модифицируются только веса «победившего» нейрона. Эффект этого правила достигается за счет такого изменения сохраненного в сети образца (вектора весов связей победившего нейрона), при котором он становится чуть ближе ко входному примеру. Входные векторы нормализованы и представлены точками на поверхности сферы. Векторы весов для трех нейронов инициализированы случайными значениями. Их начальные и конечные значения после обучения отмечены Х на рис. 3а и 3б соответственно. Каждая из трех групп примеров обнаружена одним из выходных нейронов, чей весовой вектор настроился на центр тяжести обнаруженной группы.

Обобщение - способность сети давать близкий к правильному результат для входных векторов, которых не было в обучающем множестве. Если бы нейросети не обладали такой способностью, они были бы лишь механизмом запоминания, а не обработки информации. Но важнейшее качество нейросетей - способность дать хороший результат для векторов, с которыми сеть раньше не встречалась.

Условия и предпосылки для успешного обобщения:

1)       Обобщенный выходной вектор для известных сетей никогда не бывает принципиально новым. Он является результатом неявных допущений об отображении XY. Типичное допущение - дифференцируемость выходной функции. Оно вводится, когда выбирается функция активации в виде гиперболического тангенса или сигмоиды. Т.к. функция активации гладкая, то и выходная функция будет гладкой. Кроме этого, обобщенный результат всегда оказывается простейшим в некотором смысле, в зависимости от конструкции сети.

2)       Неизвестные входные вектора должны не слишком отличаться от векторов обучающего множества. Аппроксимированная функция F*(x) совпадает с исходной F(x) на рабочем участке, но по мере удаления от исходного интервала, точность аппроксимации падает.

3)       Основной закон, по которому сетью должно быть проведено обобщение, не должен быть скрыт несущественными закономерностями в обучающем множестве. Поэтому входы и выходы сети должны быть подготовлены так, чтобы максимально выявить закон, по которому они должны быть обобщены. Шум, например, полезно отфильтровать, а двоичное кодирование данных заменить кодированием по номеру канала, принятому в нейросетях.

Обратное распространение хорошо работает во многих случаях. Но, как и во всех алгоритмах с учителем, для обратного распространения нужны известные входные и выходные вектора, а эта информация не всегда доступна.

Вопрос о биологической правдоподобности обучения с учителем также открыт. Конечно, алгоритма, подобного обратному распространению, в биологических сетях не существует. Нейроны зрительной коры, например, учатся реагировать на световые импульсы лишь под действием самих импульсов, без внешнего учителя. Однако высшие этапы обучения, например, у детей, невозможны без «учителя» в лице его родителя. Кроме того, отдельные области в мозге вполне могут выполнять роль «учителей» для других, управляя их активностью. Поэтому нельзя однозначно сказать, какой тип обучения биологически правдоподобнее, с учителем или без. В биологических сетях передача сигналов направленная, поэтому обратное распространение ошибки возможно только с помощью обратных связей. Кроме того, в сети отсутствует единый «супервизор», управляющий коррекциями параметров. Таким образом, обратное распространение биологически неправдоподобно.

Важный принцип, по которому строятся биологические нейронные сети - локальность при обработке информации. Выход нервной клетки определяется только ее внутренним состоянием и входными сигналами. Существует глобальное управление биологической нейросетью, например, гормональная регуляция. Встречается модуляция и синхронизация деятельности скоплений специальными нервными центрами. Эти механизмы не нарушают принципа локальности и непосредственно не являются «учителем».

Внешняя среда может выступать «учителем» для живой нейронной сети, хотя и косвенно. Среда обычно не дает правильного решения, к которому сеть должна прийти сама, а лишь направляет действия, «поощряя» и «наказывая» животное в зависимости от правильности реакции.



       
Распознавание текстовых областей изображений на основе метода нейронных сетей
Все права защищены © 2009