WWW.PDF.KNIGI-X.RU
БЕСПЛАТНАЯ  ИНТЕРНЕТ  БИБЛИОТЕКА - Разные материалы
 

«Мотивация и обучение одного перцептрона Метод градиентного спуска и нелинейные перцептроны Нейронные сети Нейронные сети Сергей Николенко ...»

Мотивация и обучение одного перцептрона

Метод градиентного спуска и нелинейные перцептроны

Нейронные сети

Нейронные сети

Сергей Николенко

Академический Университет, весна 2011

Сергей Николенко Нейронные сети

Мотивация и обучение одного перцептрона Введение

Метод градиентного спуска и нелинейные перцептроны Перцептрон

Нейронные сети Алгоритм и доказательство сходимости

Outline

Мотивация и обучение одного перцептрона

Введение

Перцептрон

Алгоритм и доказательство сходимости Метод градиентного спуска и нелинейные перцептроны Градиент Алгоритм градиентного спуска Нелинейные перцептроны Нейронные сети Алгоритм обратного распространения ошибки Нейронные сети и MAP Дополнительные замечания Сергей Николенко Нейронные сети Мотивация и обучение одного перцептрона Введение Метод градиентного спуска и нелинейные перцептроны Перцептрон Нейронные сети Алгоритм и доказательство сходимости Почему мы лучше?

Компьютер считает быстрее человека

Но гораздо хуже может:

понимать естественный язык узнавать людей обучаться в широком смысле этого слова...

Почему так?

Сергей Николенко Нейронные сети Мотивация и обучение одного перцептрона Введение Метод градиентного спуска и нелинейные перцептроны Перцептрон Нейронные сети Алгоритм и доказательство сходимости Строение мозга Как человек всего этого добивается?

В мозге много нейронов Но цепочка нейронов, которые успевают поучаствовать в принятии решения, не может быть длиннее нескольких сот штук!



Значит, мозг очень хорошо структурирован в этом смысле Сергей Николенко Нейронные сети Мотивация и обучение одного перцептрона Введение Метод градиентного спуска и нелинейные перцептроны Перцептрон Нейронные сети Алгоритм и доказательство сходимости Искусственные нейронные сети Основная мысль позаимствована у природы: есть связанные между собой нейроны, которые передают друг другу сигналы.

Есть нейронные сети, которые стараются максимально точно моделировать головной мозг; это уже не AI и не наша тема.

John Denker: neural netw

–  –  –

Общие требования к модели

Суть модели:

Нейрон возбуждается, если выполнено некоторое условие на входах;

Затем он передаёт свой импульс дальше.

Нейрон возбуждается под действием какой-то функции от входов. Такая конструкция называется перцептроном. Это простейшая модель нейрона в искусственной нейронной сети.

–  –  –

Пример обучения перцептрона Если бы = 0.01, веса были бы исправлены в нужную сторону, но недостаточно. Поэтому нужно запускать алгоритм по имеющимся тестовым примерам до тех пор, пока очередной прогон алгоритма по всем тестам не оставит все веса на месте.

–  –  –

Сходимость Этот алгоритм сходится всегда, когда это возможно.

Теорема Если конечное множество точек C1 {0, 1}n можно в {0, 1}n отделить гиперплоскостью от конечного множества точек C2 {0, 1}n, то алгоритм обучения перцептрона за конечное количество шагов выдаёт параметры перцептрона, который успешно разделяет множества C1 и C2.

–  –  –

Относительная энтропия Kullback–Leibler distance (divergence) это информационно-теоретическая мера того, насколько далеки распределения друг от друга.

Похожие работы:

«Владислав Юрьевич Дорофеев Валерия Т. Башкирова Антикризисная книга Коммерсантъ'a Текст предоставлен издательством http://www.litres.ru/pages/biblio_book/?art=178039 Антикризисная книга коммерсанта: Астрель; Москва; 2009 ISBN 978-5-271-...»

«УДК: 800 ЭМОЦИОНАЛЬНО-ВОЛЕВАЯ СФЕРА ЯЗЫКА: ИМПЕРАТИВ И ВОКАТИВ В СВЕТЕ ПРАГМАТИЧЕСКОГО АСПЕКТА. Давыденко О.В. ассистент кафедры английского языка e-mail: s_siyanije@mail.ru Курский государственный университет Прагматический подход к анализу единиц эмоционально –волевого компонента...»

«АДМИНИСТРАЦИЯ ГОРОДА НОВОАЛТАЙСКА АЛТАЙСКОГО КРАЯ ПОСТАНОВЛЕНИЕ г. Новоалтайск № 2447 26.11.2015 Об утверждении муниципальной программы «Комплексные меры противодействия злоупотреблению наркотик...»

«Роберт Джордан Сердце зимы Серия «Колесо Времени», книга 9 http://www.litres.ru/pages/biblio_book/?art=126166 Роберт Джордан: АСТ, АСТ Москва, Транзиткнига; Москва; ISBN 5-17-035140-2, 5-9713-2323-7, 5-9578-4163-3 Оригинал: RobertJordan,...»

«В ходе визита был проведен организационный коучинг. Представители НПО идентифицировали внутренние организационные проблемы. Это были:1. Отсутствие стратегического мышления у сотрудников организации. Коучинг да...»

«Станислав Лем Сумма технологии Текст предоставлен издательством «АСТ» http://www.litres.ru/pages/biblio_book/?art=131212 С.Лем Сумма технологии: АСТ, Terra Fantastica; Москва, СП-б; 2002 ISBN 5-17-00...»

«©1994 г. В.В. ИЛЬИН СОЦИОЛОГИЯ КАК ФУНДАМЕНТАЛЬНАЯ НАУКА ИЛЬИН Виктор Васильевич — доктор философских наук, профессор МГУ. им. М.В. Ломоносова. Неоднократно публиковался в нашем журнале. С онтологией естествознания особых трудностей не возникает, натуралистические связи поддаются достаточно ясной схематизации....»








 
2017 www.pdf.knigi-x.ru - «Бесплатная электронная библиотека - разные матриалы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.