WWW.PDF.KNIGI-X.RU
БЕСПЛАТНАЯ  ИНТЕРНЕТ  БИБЛИОТЕКА - Разные материалы
 


«Наименьшие квадраты и ближайшие соседи Статистическая теория принятия решений О регрессии по-байесовски Линейная регрессия: метод наименьших ...»

Наименьшие квадраты и ближайшие соседи

Статистическая теория принятия решений

О регрессии по-байесовски

Линейная регрессия: метод наименьших

квадратов

Сергей Николенко

Академический Университет, 2012

Сергей Николенко Линейная регрессия: метод наименьших квадратов

Наименьшие квадраты и ближайшие соседи

Метод наименьших квадратов

Статистическая теория принятия решений

Метод ближайших соседей

О регрессии по-байесовски

Outline

Наименьшие квадраты и ближайшие соседи

Метод наименьших квадратов Метод ближайших соседей Статистическая теория принятия решений Регрессия Классификация О регрессии по-байесовски Нормальное распределение Байесовская регрессия Сергей Николенко Линейная регрессия: метод наименьших квадратов Наименьшие квадраты и ближайшие соседи Метод наименьших квадратов Статистическая теория принятия решений Метод ближайших соседей О регрессии по-байесовски В предыдущей серии...

Теорема Байеса:

p()p(D|) p(|D) =.

p(D)

Две основные задачи байесовского вывода:

найти апостериорное распределение на гипотезах/параметрах:

p( | D) p(D|)p() (и/или найти гипотезу максимального правдоподобия arg max p( | D));

найти апостериорное распределение исходов дальнейших экспериментов:

p(x | D) p(x | )p(D|)p()d.

Сергей Николенко Линейная регрессия: метод наименьших квадратов Наименьшие квадраты и ближайшие соседи Метод наименьших квадратов Статистическая теория принятия решений Метод ближайших соседей О регрессии по-байесовски Метод наименьших квадратов Линейная модель: рассмотрим линейную функцию p y (x, w) = w0 + xj wj = x w, x = (1, x1,..., xp ).

j=1 Таким образом, по вектору входов x = (x1,..., xp ) мы будем предсказывать выход y как p y (x) = w0

–  –  –

Метод ближайших соседей Снова смотрим на примеры – теперь появился параметр k, от которого многое зависит.

Для разумно большого k у нас в нашем примере стало меньше ошибок.

Но это не предел – для k = 1 на тестовых данных вообще никаких ошибок нету!

Что это значит? В чём недостаток метода ближайших соседей при k = 1?

Сколько параметров у метода k-NN?

Как выбрать k? Можно ли просто подсчитать среднеквадратическую ошибку и минимизировать её?

–  –  –

Функция потери Сейчас мы попытаемся понять, что же на самом деле происходит в этих методах.

Начнём с настоящей регрессии – непрерывный вещественный вход x Rp, непрерывный вещественный выход y R; у них есть некоторое совместное распределение p(x, y ).

Мы хотим найти функцию f (x), которая лучше всего предсказывает y.

–  –  –

Функция потери Введём функцию потери (loss function) L(y, f (x)), которая наказывает за ошибки; естественно взять квадратичную функцию потери

–  –  –

Поиск скрытых параметров Сначала – небольшое лирическое отступление о нормальном распределении. Кстати, почему все всё время предполагают нормальное распределение?

Очень многие задачи машинного обучения можно представить как поиск скрытых параметров.

Есть некоторое предположение о структуре задачи, т.е. о виде распределений, которыми набрасываются тестовые данные.

Требуется найти наиболее правдоподобные неизвестные параметры этих распределений.

–  –  –

Несколько гауссианов Теперь то же самое для нескольких гауссианов сразу.

Даны несколько точек x1,..., xn, но они принадлежат смеси гауссианов с разными µk и k.

Обозначим коэффициенты смеси через wk (вероятность того, что точка порождена гауссианом со средним µk ).

Тогда распределение будет

–  –  –

Байесовская регрессия Теперь давайте поговорим о линейной регрессии по-байесовски.

Основное наше предположение – в том, что шум (ошибка в данных) распределён нормально, т.е. переменная t, которую мы наблюдаем, получается как

–  –  –

Геометрическая интерпретация Метод наименьших квадратов можно интерпретировать геометрически.

Рассмотрим N-мерное пространство, в котором оси соответствуют tn, и t – вектор в нём.

Если базисных функций j меньше, чем точек xn, то векторы j (xn ) будут выделять какое-то подпространство в этом N-мерном пространстве.

Упражнение. Докажите, что метод наименьших квадратов (максимальное правдоподобие для нормально распределённого шума) эквивалентен проецированию вектора t на подпространство 0 (x),..., M1 (x).

Похожие работы:

«Сура (АльФатиха) « Открывающая (Коран)» Предисловие к комментарию суры «Открывающая (Коран)» Именем Аллаха, Милостивого, Милосердного. Она называется «Открывающая» или подчеркнуто: «Фатиха...»

«Борис ЛАНИН Анатомия литературной антиутопии Как-то ночью, в час террора, я читал впервые Мора, Чтоб Утопии незнанье мне не ставили в укор. В скучном, длинном описанье я искал упоминанья Об арестах за блужданья в той стране, не знавшей ссор,— Потому что для блужданья никаких не надо ссор. Но глубок ли Томас Мор? А....»

«Глава 12 СОЦИОЛОГИЯ МОЛОДЕЖИ В. В. СЕМЕНОВА § 1. Вводные замечания Социология молодежи как отрасль социологического знания формировалась и развивается на базе демографического разделения возрастных когорт для исследования...»

«МЕТОДОЛОГИЯ Б.Е. БРОДСКИЙ Эпистемический выбор и социальная структура Старым, гениально-примитивным опусом назвал М. Вебер [1] Коммунистический манифест К. Маркса и Ф. Энгельса. Кто теперь читает Зиммеля? с сарказмом вопрошал Т. Парсонс [2]. В этой сни...»

«Министерство здравоохранения и социального развития Российской Федерации Пятигорская государственная фармацевтическая академия Разработка, исследование и маркетинг новой фармацевтической продукции Сборник научных трудов Выпуск 67 Пятигорск УДК 615(063) ББК 52....»

«КОНЦЕНТРАТОР КИСЛОРОДА “Armed” 7F-5L ПАСПОРТ И ИНСТРУКЦИЯ ПО ЭКСПЛУАТАЦИИ До начала эксплуатации подробно ознакомьтесь с настоящим паспортом! Перед введением прибора в эксплуатацию необходимо включить его на 2 часа для работы в холостом режиме! ВНИМАНИЕ Кислород способс...»

«Стивен Джуан Странности нашего тела. Занимательная анатомия Серия «Занимательная информация» Текст предоставлен издательством http://www.litres.ru/pages/biblio_book/?art=415892 Странности нашего тела. Занимательная анатомия: РИПОЛ классик; Москва; 2009 ISBN 978-5-386-015...»

«© 2004 г. Н.Н. СЕДОВА МОРАЛЬНО-НРАВСТВЕННЫЕ ОРИЕНТАЦИИ И СОЦИАЛЬНАЯ АКТИВНОСТЬ (опыт социологического исследования) СЕДОВА Наталья Николаевна старший научный сотрудник Института комплексных социальных исследований (ИКСИ РАН). За годы реформ в российском общественном мнении сложился устойчивый стереотип, согласно ко...»








 
2017 www.pdf.knigi-x.ru - «Бесплатная электронная библиотека - разные матриалы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.