Regresi Ridge

|
All materials on our website are shared by users. If you have any questions about copyright issues, please report us to resolve them. We are always happy to assist you.
 151 views
of 4

Please download to get full document.

View again

Description
statistik
Share
Transcript
  Pengertian Regresi Ridge Regresi ridge merupakan salah satu cara untuk mengatasi multikolinieritas diantaravariabel-variabel bebasnya. Karena memberikan tetapan bias yang relatif kecil danmemberikan variansi yang minimum. Metode regresi ridge merupakan modifikasi darimetode kuadrat terkecil dengan cara mengalihkan tetapan bias c  yang kecil pada diagonalmatriks identitas. Modifikasi regresi ridge dapat dilakukan dengan cara menambahkantetapan c pada diagonal utama matriks X’X, sehingga koefisien estimator ridge dipenuhidengan besaran tetapan bias c. Sehingga parameter penduganya menadi ! ^  β ( c ) =(  X  '   X  + cI  ) − 1  X'Y  imana c harus merupakan bilangan positif atau c ≥ 0  umumnya c terletak antarainterval # $ c $ %.&stimator regresi ridge diperoleh dengan meminimumkan umlah kuadrat galat untuk model ! Y =  βX  + ε engan syarat memenuhi kendala tunggal   ∑  j = 1 k  ^  β  j 2 =  ρ Misalkan model yang akan diestimasi adalah parameter dari persamaan ! Y  i =  β 0 +  β 1  X  1 i +  β 2  X  2 i + … +  β k   X  ki + ε i Sehingga didapat dari persamaan ! ^  β  j 2 −  ρ ∑ ¿ ε '  ε = Y  '  Y  − 2  X  '  Y   ^  β +  X  '   X   ( ^  β ) 2 + cI  ¿ engan menggunakan syarat minimmum akan di diferensialkan terhadap ^  β  dan estimasiregresi ridge dapat diperoleh ! δε'εδ   ^  β =− 2  X  '  Y  − 2  X  '   X   ^  β + 2 cI   ^  β = 0  X’X ^  β + cI   ^  β =  X  '  Y  (X’X + cI ) ^  β =  X  '  Y   ^  β ( c ) =(  X  '   X  + cI  ) − 1  X'Y  Sifat dari estimator ridge adalah !%.'ias E( ^  β ( c )¿=(  X  '   X  + cI  ) -1  X’Y →denganY  =  X   ^  β  =  X  '   X  + cI  ¿¿ − 1  X'Y   ^  β (. Variansiminimum Var [  ^  β (c)] = (  X  '   X  + cI  ) − 1  X  '  ∑ [ (  X  '   X  + cI  )  X  '  ] '   = (  X  '   X  + cI  ) − 1  X  '  σ  2  IX  (  X  '   X  + cI  ) − 1  = σ  2 (  X  '   X  + cI  ) − 1  X  '   X  (  X  '   X  + cI  ) − 1 Sehingga nilai )*+ merupakan diagonal utama dari matriks (  X  '   X  + cI  ) − 1  X  '   X  (  X  '   X  + cI  ) − 1 Metode regresi ridge pertama kali dikemukakan oleh .& oerl pada tahun %/(. ari beberapa metode yang digunakan untuk mengatasi multikolinieritas metode regresi ridgemerupakan metode yang terbaik dalam mengatasi multikolinieritas, karena tuuan regresiridge adalah untuk memperkecil variansi estimator koefisien regresi. oerl dan Kennard 0%1#2 dalam 3usriani 0(##42 menentukan nilai c dengan menggunakan ridgetrace yang merupakan suatu plot data antara ^  β  R  dengan beberapa nilai c dengan selang # sampai % hinggatercapai kestabilan pada parameter dugaannya. kan tetapi pemilihan c dengan ridge trace menadi prosedur yang sangat subektif. Karena memerlukan keputusan peneliti untuk menentukan nilai c yang akan dipilih0Montgomery dan 5eck %(2. oerl, Kennard dan 'al6in 0%172 dalam 3usriani 0(##42menyarankan pemilihan nilai c dengan meggunakan rumus K' ! c =  P  ^ σ  2 ^  β'   ^  β dimana ^  β  dan ^ σ   diperoleh dari metode kuadrat terkecil. Langkah-langkah enaksiran k!e isien regresi ridge adalah # 8.9akukan transformasi terhadap matriks X dan vektor :, menggunakan centering dan rescaling.  4.itung matriks Z'Z  = r  xx =¿  matriks korelasi dari variabel bebas, serta hitung Z  '  Y  ∗¿  korelasi dari variabel bebas terhadap variabel tak bebas :.7.itunglah penaksiran parameter  β ∗¿  dengan berbagai kemungkinan tetapan bias θ , θ > 0 /.itunglah c θ  dengan berbagai nilai θ 1.;entukan nilai θ dengan mempertimbangkan nilai c θ  , tentukan koefesien  penaksir ridge dari nilai θ yang sesuai<.itunglah nilai ^ Y   dan menganalisis =).  Ridge $race Ridge trace merupakan plot dari estimator dari regresi ridge secara bersama dengan berbagai kemungkinan nilai tetapan bias c. Konstanta c mencerminkan umlah bias dalamestimator ^  β ( c )  , bila c > # maka estimator ^  β ( c )  akan bernilai sama dengan estimator kuadrat terkecil  β . Sedangkan bila c $ # maka koefisien estimator ridge akan biasterhadap parameter  β , tetapi lebih stabil bila dibandingkan pada estimator kuadratterkecil. 5emilihan besarnya tetapan bias c adalah tetapan bias yang menghasilkan estimator yang stabil dan relatif kecil. Sedangkan untuk memilih besaran c dapat dilihat dari besarnya)*+ dan melihat pola kecenderungan ridge trace. )*+ merupakan faktor yang mengukur seberapa besar kenaikan variansi dari koefisien estimator ^  β k  dibandingkan terhadapvariabel bebas lain yang saling ortogonal. 'ila terdapat korelasi yang tinggi nilai )*+ akan besar. =ilai )*+ memiliki nilai mendekati % ika variabel bebas X tidak saling berkolerasidengan variabel-variabel bebas lainnya. eterminan X’X dapat digunakan sebagai indeks dari multikolinieritas. =ilaideteminannya yaitu #  |  X  '   X  |  1.  jikaX  '   X  =  I   maka terdapat hubungan ortogonal antaravariabel bebasnya. ?ika @X’X@ > # maka terdapat hubungan linear diantara variabel bebasnya,dengan kata lain bah6a tingkat multikolinieritas di lihat dari @X’X@ mendekati #.  %nalisis Penaksiran &!del Regresi Ridge alam analisis regresi ridge data yang digunakan adalah data yang sudahditransformasi melalui metode centering dan rescaling  . Sedangkan dalam pemilihan tetapan  θ untuk dapat menduga regresi ridge digunakan statistik A  p   mallows  0A # 2. =ilai A #  didapatdari berbagai nilai kemungkinan tetapan θ . =ilai θ yang terpilih adalah pada saat A # minimum.Bntuk kriteria ui pada =) ! ;olak  #  ika + hitung ≥   + 0pC n-p-%C !  D(2  atau dapatdilihat dari nilai p, ika p !   maka tolak  # . Bntuk penguian secara parsial atau individu dapat dapat dilakukan melalui penguianhipotesis sebagai berikut ! o ! EiF> # , untuk i>%,(,8 0variabel independen X secara individu tidak berpengaruh secarasignifikan terhadap nilai taksiran :2 %! EiFG # , untuk i>%,(,8 0variabel independen X secara individu berpengaruh secarasignifikan terhadap nilai taksiran :2 H > 7I engan kriteria ui !;olak  #  ika t hitung    -t 0n-(C !  D(2 atau t hitung ≥   t 0n-( C !  D(2  , bisa dilihat dari p ika p !    maka  #  ditolak.
Related Search
We Need Your Support
Thank you for visiting our website and your interest in our free products and services. We are nonprofit website to share and download documents. To the running of this website, we need your help to support us.

Thanks to everyone for your continued support.

No, Thanks