Функция потерь

Функция потерь (этот термин был впервые использован в работе Wald, 1939) - это функция, которая минимизируется в процессе подгонке модели. Она представляет выбранную меру несогласия наблюдаемых данных и данных, "предсказываемых" подогнанной функцией. Например, в большинстве традиционных методов построения общих линейных моделей, функция потерь (часто называемая наименьшими квадратами) вычисляется как сумма квадратов отклонений от подогнанной линии или плоскости. 

Одним из свойств (которое обычно рассматривается как недостаток) этой распространенной функции потерь является высокая чувствительность к наличию выбросов. Распространенной альтернативой минимизации функции потерь наименьших квадратов (см. выше) является максимизация функции правдоподобия или логарифма функции правдоподобия (или минимизация функции правдоподобия со знаком минус; термин максимум правдоподобия был впервые использован в работе Fisher, 1922a). 

Эти функции обычно используются для подгонки нелинейных моделей. В общих словах функция правдоподобия определяется как: 

L=F(Y,Модель)=ni=1 { p[yi , Параметры модели(xi)]} 

 Таким образом, можем вычислить вероятность (обозначенную как L, от слова likelihood - правдоподобие) появления конкретных значений зависимой переменной в выборке при заданной регрессионной модели.