Екзаменаційний білет № 7

1. Гребенева оцінка. Її властивості та методика використання.

Нехай , тобто (*)

Означення: Якщо умов (*) виконується то кажуть що ми знаходимося в умовах строгої мультиколінніарності.

Означення: Якщо ж існують знаходиться в околі нуля, то говорять про мультиколініарність

1. В умовах строгої мультиколініарності використовують наступну формулу для знаходження множини усіх оцінок вектор

2. В умовах мультиколініарності маємо наступні проблеми:

А) нереально знайти з прийнятною точністю

Б)оцінка є нестійкою

В)оцінка є малоефективною: , тобто дисперсія є великою

тому була запропонована Ridge оцінка

Ridge оцінка має такий вигляд:

, де - мале позитивне число.

Зауваження: Ця оцінка є зміщенною.

Позначимо

Теорема: Для Ridge-оцінки справдливе наступне:

1) , де - класична оцінка

2) , де це зміщення, зсув.

3)Середньоквадратична помилка

Доведення:

1. 

2. 

3. 

Зауваження 1:

_{Існує таке} , для якого

Зауваження 2:

В якості треба взяти таке найменше при якому стабілізуються усі графіки, при чому якщо графіки взагалі не стабілізуються то тоді мультиколініарність відсутня.

2. Метод найшвидшого спуску.

Нехай є деяка точка x^s. Як перейти до нової точки x^s+1 так, щоб при розв’зані задачі

,

виконувалась нерівність ?

Нехай , де d=(d₁,...d_n) задає напрям, в якому зміщується точка х^s, а число >0 визначає крок зміщення в напрямку d. Якщо f(x^s+1)=f(x^s+d)<f(x^s) при деякому >0, то напрямок d назвемо підходящим (зрозуміло, для задачі мінімізації).

Оскільки f(x)C¹, то за формулою Тейлора маємо

, де , і, значить, напрямок d-підходящий, якщо . Оскільки f(x)C¹, то - неперервна функція від . Звідсі випливає , що при достатньо малому  ввиду близкості  та x^s, виконується також співвідношення (1).

Таким чином показали що при переході від точки x^s до точки x^s+1=x^s+d, >0, напрямок d- підходящий (f(x^s+1)<f(x^s)), якщо при достатньо малих  виконується співвідношення (1).

Градієнт являє собою вектор нормалі до поверхні рівня і його напрямок характеризує зростання функції. Крім градієнту f(x) розглянемо антиградієнт -f(x). Якщо вибрати в якості d напрямок, що складає гострий кут з антиградієнтом -f(x), то напрямок d- підходящий ( при переході від точки x^s до точки x^s+1 при достатньо малому >0 значення функції f(x) зменшиться). Дійсно, в цьому випадку виконується -^Tf(x^s)d>0 або ^Tf(x^s)d<0. Зокрема, якщо вибрати d=-f(x^s), то і швидкість зменшення функції f(x) (при нескінченно малому ) в напрямку d=-f(x^s) (антиградієнта) максимальна.

Якщо в якості підходящого напрямку d при розв’язані задачі мінімізації функції f(x) використовується антиградієнт (при максимізації - градієнт), то відповідний метод носить назву градієнтного. В градієнтних методах мінімізації функції f(x) початкову точку x⁰ вибирають довільну, а потім будують послідовні наближення за правилом

(2)

Такий перехід від точки x^s до точки x^s+1 зменшує значення функції f(x), якщо _s достатньо мале. Розглянемо вибір кроку _s на кожній ітерації градієнтного методу найшвидшого спуску. В цьому методі величина кроку _s в ітераційній процедурі (2) вибирається за правилом:

При фіксованому _s ми вимушені зупинятися в точці x^s+1на кожній ітерації, хоча напрямок -f(x^s) ще веде до зменшення цільової функції. В методі найшвидшого спуску рух після точки x^s+1 в напрямку -f(x^s) вже не приведе до зменшення цільової функції.

Метод найшвидшого спуску обгрунтовується наступною теоремою.

Т. Нехай

1. ф-ція f(x) (хєЕⁿ) непер-но диф-на (f(x)C¹)

2. мінімум f(x) існує (minf(x)>-)

3. множина R(x⁰)={x:f(x)f(x⁰)}- обмежана.

Тоді:

а) якщо метод найшвидшого спуску закінчується за скінченне число ітерацій N,то отримаємо

;

б) якщо метод найшвидшого спуску не закін-ся за скінченне число ітерацій,то послідовність {f(x^s)} збігається і для кожної граничної точки послідовності {x^s} виконується .