Общая задача о наилучшем приближении

В основе большинства задач прогнозирования, фильтрации и регулирования случайных процессов лежит проблема нахождения достаточно хорошей оценки некоторой неизвестной величины по имеющимся значениям  некоторого случайного процесса в том или ином промежутке времени 

При этом обычно  есть значение в текущий (или относящийся к будущему) момент времени t другого случайного процесса, как-то связанного с «наблюдаемым» процессом , 

Простейшая проблема такого рода возникает, когда речь идет о наилучшей аппроксимации величины  линейными комбинациями вида , где  -  некоторые заданные величины.

Именно, требуется найти величину , такую, что

 (1)

Если ввести n- мерное линейное пространство H всех величин  (с₁,…,с_n – произвольные действительные коэффициенты) со скалярным произведением

 (2)

и соответствующим расстоянием

, (3)

то удовлетворяющая условию (1) величина  геометрически означает основание перпендикуляра, опущенного из точки  на подпространство L всех величин  и однозначно определяется условием ортогональности разности  к подпространству L:

, (4)

что равносильно следующей системе линейных уравнений относительно 

 (5)

Рассмотрим общую задачу о приближении некоторой величины  величинами  из некоторого множества L, являющегося, как говорят, гиперплоскостью.

Гиперплоскость означает следующее: для всякого элемента  совокупность величин , образует линейное пространство – вместе с любыми  содержит и их линейную комбинацию  (где с₁, с₂ – произвольные действительные коэффициенты).

Назовем величину  наилучшим приближением для , если

 (6)

Лемма о перпендикуляре

Условие (6) равносильно следующему:

 при всех  (7)

Прежде чем доказать это утверждение, дадим соотношению (7) простую геометрическую интерпретацию.

Именно, если обозначить  линейное пространство всех элементов , то соотношение (7) будет означать, что скалярное произведение элементов  и  равно нулю при всех , другими словами, разность  перпендикулярна к подпространству .

Величину  называют проекцией величины  на гиперплоскость L, а разность  - перпендикуляром (из точки ).

Отметим также, что в случае, когда гиперплоскость L сама является линейным пространством , условие (7) равносильно условию (4).

Доказательство леммы

Пусть  есть наилучшее приближение для .

Очевидно,

,

где минимум берется по всем разностям .

Но совокупность таких разностей образует линейное пространство  и, в частности, вместе с элементом  в  содержится элемент , где  - действительное число.

Зафиксировав любое  и положив

будем иметь

Видно, что минимум квадратичной формы  достигается при  и, следовательно, коэффициент B равен нулю, т.е. выполняется условие (7).

В свою очередь, если выполнено это условие, то для любой величины  имеем

Откуда видно, что  есть наилучшее приближение для величины 

Лемма о перпендикуляре доказана.

Отметим, что имеется лишь единственная величина , удовлетворяющая условию (7) (а значит, и условию (6)).

В самом деле, если  удовлетворяют соотношениям

при всех , то, в частности,

 ,

и, взяв разность этих выражений, получим , т.е. 

Выше мы объяснили, как найти наилучшее линейное приближение величины  линейными комбинациями  некоторых заданных величин  (см. (1) – (5)).

Возникает вопрос: существует ли абсолютно наилучшее приближение  удовлетворяющее условию (6), в котором минимум берется по всевозможным величинам , являющимся функциями от заданных ?

Теорема

Абсолютно наилучшее приближение величины  величинами вида  дается формулой

,

где  означает условное математическое ожидание величины  при фиксированных значениях .

Доказательство

Очевидно, совокупность L всех величин вида , для которых  является линейным пространством.

Поскольку , то к этому пространству принадлежит и указанная в (8) величина , являющаяся определенной функцией от значений :

и

Для доказательства того, что величина  дает абсолютно наилучшее приближение, достаточно проверить соответствующее условие (7), которое в нашем случае означает, что

Для любой величины .

Но при фиксированных  по свойству условного математического ожидания имеем:

И, следовательно,

Теорема доказана.

Эта формула является ключевой при решении многих практических задач.

В начало

Содержание портала