Set penguasaan 12 — model linear Gaussian dalam bentuk matriks
Set ini menilai satu rantai penalaran utuh: ruang kolom menentukan apa yang dapat diidentifikasi; asumsi momen menentukan ketakbiasan dan Gauss–Markov; normalitas memberi hukum \(t\) dan \(F\) eksak; dan diagnostik memeriksa asumsi, bukan otomatis memerintahkan penghapusan. Kerjakan setiap masalah sebelum membuka petunjuk. Sebutkan asumsi yang tepat pada setiap langkah yang memakainya.
Masalah 1 — peringkat tak penuh, nilai suaian unik, dan target yang dapat diestimasi
Pertimbangkan model \(Y=X\beta+\varepsilon\) dengan
- Tentukan peringkat \(X\) dan sebuah vektor taknol dalam \(\mathcal N(X)\).
- Tentukan seluruh solusi kuadrat-terkecil.
- Buktikan bahwa nilai suaian unik walaupun koefisien tidak unik.
- Tentukan apakah \(\beta_0\), \(\beta_A-\beta_B\), dan \(\beta_0+\beta_A\) dapat diestimasi. Berikan estimasi untuk setiap fungsi yang dapat diestimasi.
Petunjuk 1
Kolom pertama sama dengan jumlah kolom kedua dan ketiga. Rataan respons dalam kelompok A dan B masing-masing adalah 3 dan 6.
Petunjuk 2
Semua solusi harus memenuhi \(\beta_0+\beta_A=3\) dan \(\beta_0+\beta_B=6\). Untuk menentukan apakah suatu fungsi linear dapat diestimasi, periksa apakah vektor koefisien fungsi tersebut ortogonal terhadap \(\mathcal N(X)\).
Jawaban singkat
\(\operatorname{rank}(X)=2\) dan \((-1,1,1)^\mathsf T\in\mathcal N(X)\). Seluruh solusi adalah \((t,3-t,6-t)^\mathsf T\). Nilai suaian selalu \((3,3,6,6)^\mathsf T\). Fungsi \(\beta_0\) tidak dapat diestimasi, sedangkan \(\beta_A-\beta_B\) dan \(\beta_0+\beta_A\) dapat diestimasi, masing-masing dengan estimasi \(-3\) dan \(3\).
Solusi lengkap
Karena \(X_{\cdot 1}=X_{\cdot 2}+X_{\cdot 3}\) dan kedua kolom indikator bebas secara linear, peringkat \(X\) adalah 2. Perkalian langsung memberi \(X(-1,1,1)^\mathsf T=0\); ruang nol berdimensi satu, sehingga vektor tersebut merentang ruang nol itu. Jumlah kuadrat sisaan terurai menurut kelompok dan diminimumkan oleh rataan masing-masing kelompok. Karena itu persamaan normal hanya menetapkan
Dengan \(\beta_0=t\), seluruh solusi ialah \(\widehat\beta(t)=(t,3-t,6-t)^\mathsf T\). Untuk setiap \(t\),
jadi yang unik adalah proyeksi ke \(\mathcal C(X)\), bukan representasi koordinatnya. Fungsi \(c^\mathsf T\beta\) dapat diestimasi jika dan hanya jika \(c^\mathsf Tv=0\) untuk setiap \(v\in\mathcal N(X)\). Untuk \(\beta_0\), \(c=(1,0,0)^\mathsf T\) memberi \(c^\mathsf T(-1,1,1)=-1\), maka tidak dapat diestimasi. Untuk \(\beta_A-\beta_B\), \(c=(0,1,-1)^\mathsf T\) dan hasil kali itu nol; estimasinya \((3-t)-(6-t)=-3\). Untuk \(\beta_0+\beta_A\), \(c=(1,1,0)^\mathsf T\) juga ortogonal terhadap ruang nol dan estimasinya 3. Pemilihan satu invers semu hanya menentukan satu \(t\); pilihan itu tidak menciptakan identifikasi baru.
Masalah 2 — OLS, MLE Gaussian, dan penduga varians
Dalam regresi dengan intersep, diberikan pasangan \((-1,1),(0,1),(1,4)\). Asumsikan desain tetap.
- Hitung \(\widehat\beta_0\), \(\widehat\beta_1\), sisaan, dan RSS.
- Di bawah asumsi bahwa galat saling bebas dan masing-masing berdistribusi \(N(0,\sigma^2)\), hitung MLE \(\sigma^2\) dan penduga tak biasnya.
- Nyatakan bagian jawaban yang tetap berlaku bila normalitas dihapus tetapi \(E(\varepsilon\mid X)=0\) dan \(\operatorname{Cov}(\varepsilon\mid X)=\sigma^2I\) dipertahankan.
Petunjuk 1
Prediktor sudah terpusat, sehingga \(\widehat\beta_0=\bar y\) dan \(\widehat\beta_1=\sum_i x_i y_i/\sum_i x_i^2\).
Petunjuk 2
MLE membagi RSS dengan \(n\); penduga tak bias membaginya dengan \(n-p\), dengan \(p=2\).
Jawaban singkat
\(\widehat\beta=(2,3/2)^\mathsf T\), sisaan \((1/2,-1,1/2)^\mathsf T\), dan \(\mathrm{RSS}=3/2\). MLE varians adalah \(1/2\), sedangkan penduga tak bias adalah \(3/2\). OLS, ketakbiasan, rumus kovarians \(\sigma^2(X^\mathsf TX)^{-1}\), dan sifat sebagai penduga linear tak bias terbaik (BLUE) tetap berlaku tanpa normalitas; penafsiran sebagai MLE Gaussian serta hukum \(t\) dan \(F\) eksak tidak lagi berlaku.
Solusi lengkap
Karena \(\bar x=0\) dan \(\bar y=2\),
Nilai suaian adalah \((1/2,2,7/2)^\mathsf T\), sehingga sisaannya \((1/2,-1,1/2)^\mathsf T\) dan \(\mathrm{RSS}=1/4+1+1/4=3/2\). Di bawah model Gaussian, memaksimumkan fungsi kemungkinan bersama memberi
Karena peringkat \(p=2\) dan \(n-p=1\), penduga tak bias adalah \(s^2=\mathrm{RSS}/(n-p)=3/2\). Rumus OLS sendiri adalah hasil minimisasi dan tidak memerlukan distribusi. Dengan asumsi galat memiliki rataan nol dan kovarians sferis, OLS tak bias, memiliki kovarians \(\sigma^2(X^\mathsf TX)^{-1}\), dan merupakan BLUE di antara penduga linear tak bias. Normalitas diperlukan hanya untuk menyebut rumus yang sama sebagai MLE Gaussian dan untuk inferensi \(t/F\) eksak.
Masalah 3 — membuktikan Gauss–Markov tanpa menyelundupkan asumsi Gaussian
Misalkan \(X\) berperingkat kolom penuh dan \(Y=X\beta+\varepsilon\), dengan \(E\varepsilon=0\) serta \(\operatorname{Cov}(\varepsilon)=\sigma^2I\). Misalkan \(\widetilde\beta=AY\) adalah sembarang penduga linear tak bias.
- Tunjukkan bahwa \(AX=I\).
- Dengan \(A_0=(X^\mathsf TX)^{-1}X^\mathsf T\) dan \(D=A-A_0\), buktikan \(DX=0\) dan \(A_0D^\mathsf T=0\).
- Buktikan \(\operatorname{Cov}(\widetilde\beta)-\operatorname{Cov}(\widehat\beta)=\sigma^2DD^\mathsf T\succeq0\).
- Jelaskan tepat apa yang dibuktikan dan apa yang tidak dibuktikan.
Petunjuk 1
Gunakan \(E(AY)=AX\beta\) untuk setiap \(\beta\). Lalu hitung \(A_0D^\mathsf T=(X^\mathsf TX)^{-1}X^\mathsf TD^\mathsf T\).
Petunjuk 2
Kembangkan \((A_0+D)(A_0+D)^\mathsf T\). Untuk urutan Loewner, uji bentuk kuadratik \(u^\mathsf TDD^\mathsf Tu\).
Jawaban singkat
Ketakbiasan bagi setiap \(\beta\) memaksa \(AX=I\), sehingga \(DX=0\) dan suku silang hilang. Selisih kovarians adalah \(\sigma^2DD^\mathsf T\), yang positif semidefinit. Ini membuktikan bahwa OLS merupakan penduga linear tak bias terbaik (BLUE) dalam kelas penduga linear tak bias di bawah kovarians sferis; normalitas tidak diperlukan, dan tidak ada klaim optimalitas terhadap semua penduga atau di bawah heteroskedastisitas.
Solusi lengkap
Karena \(E(AY)=AX\beta\) harus sama dengan \(\beta\) untuk setiap \(\beta\in\mathbb R^p\), maka \(AX=I_p\). Juga \(A_0X=I_p\), sehingga \(DX=(A-A_0)X=0\). Akibatnya
dan transposnya juga nol. Karena kovarians galat sferis,
Suku pertama adalah kovarians OLS. Untuk setiap \(u\), \(u^\mathsf TDD^\mathsf Tu=\lVert D^\mathsf Tu\rVert^2\geq0\), sehingga selisihnya positif semidefinit dalam urutan Loewner. Bukti memakai linearitas, ketakbiasan, peringkat penuh, dan kovarians \(\sigma^2I\), tetapi tidak memakai normalitas. “Terbaik” hanya berarti varians tidak lebih besar bagi setiap kontras linear dalam kelas penduga linear tak bias; teorema tidak membandingkan OLS dengan penduga taklinear ataupun penduga berbias, dan rumus yang sama tidak berlaku bila kovarians galat tak sferis.
Masalah 4 — uji t eksak dan interval kepercayaan untuk kontras
Dalam model Gaussian desain tetap berperingkat penuh dengan \(n=6\), \(p=2\), diperoleh \(\widehat\beta_1=0{,}8\), \(s=0{,}5\), dan \([(X^\mathsf TX)^{-1}]_{22}=1/10\). Uji dua sisi \(H_0:\beta_1=0{,}5\) dan tentukan interval kepercayaan 95% bagi \(\beta_1\). Gunakan \(t_{0{,}975;4}=2{,}776\). Nyatakan mengapa hasilnya eksak dan batasan penafsirannya.
Petunjuk 1
Galat baku kemiringan adalah \(s\sqrt{[(X^\mathsf TX)^{-1}]_{22}}\), sedangkan derajat bebas sisaan adalah \(n-p\).
Petunjuk 2
Bandingkan nilai absolut statistik dengan 2,776. Interval berpusat pada \(\widehat\beta_1\), bukan pada nilai \(0{,}5\) yang dinyatakan oleh hipotesis nol.
Jawaban singkat
\(\mathrm{SE}=0{,}5/\sqrt{10}\approx0{,}1581\), \(t\approx1{,}897\) dengan 4 derajat bebas, sehingga hipotesis nol tidak ditolak pada 5%. Interval 95% adalah kira-kira \((0{,}361;\ 1{,}239)\).
Solusi lengkap
Di bawah \(H_0\), statistik
berdistribusi \(t_4\) secara eksak. Karena \(1{,}897<2{,}776\), kita tidak menolak \(H_0\) pada aras 5%. Margin interval ialah \(2{,}776(0{,}5/\sqrt{10})\approx0{,}4389\), jadi intervalnya \(0{,}8\pm0{,}4389=(0{,}3611;\ 1{,}2389)\). Keeksakan berasal dari galat Gaussian, desain tetap, peringkat penuh, serta independensi antara penduga koefisien dan RSS; sekadar keberadaan momen hingga tidak cukup. Interval tersebut menyatakan parameter proyeksi rataan dalam model yang ditetapkan. Ia bukan bukti kausal tanpa desain atau asumsi kausal tambahan.
Masalah 5 — uji F untuk model bersarang dan ANOVA sebagai geometri
Sebuah model Gaussian dengan intersep memiliki \(n=10\), peringkat \(p=3\), \(\mathrm{SST}=90\), dan \(\mathrm{RSS}=18\). Model nol hanya memuat intersep.
- Susun derajat bebas dan kuadrat tengah untuk regresi serta sisaan.
- Hitung statistik F untuk menguji hipotesis bahwa kedua kemiringan secara simultan sama dengan nol.
- Hitung \(R^2\).
- Buktikan bahwa jumlah kuadrat pada pembilang F berasal dari pengurangan RSS antara dua proyeksi bersarang, lalu jelaskan apa yang tidak dapat disimpulkan dari F besar.
Petunjuk 1
Dengan intersep, \(\mathrm{SSR}=\mathrm{SST}-\mathrm{RSS}\), derajat bebas regresi \(p-1\), dan derajat bebas sisaan \(n-p\).
Petunjuk 2
Jika \(P_0\) dan \(P_1\) memproyeksikan ke ruang model nol dan penuh, \(P_1-P_0\) adalah proyektor berperingkat \(p-1\) karena ruangnya bersarang.
Jawaban singkat
\(\mathrm{SSR}=72\) dengan 2 derajat bebas dan \(\mathrm{MSR}=36\); sisaan memiliki 7 derajat bebas dan \(\mathrm{MSE}=18/7\). Maka \(F=14\) dengan derajat bebas \((2,7)\) dan \(R^2=0{,}8\). F menguji dua pembatasan secara serentak, bukan setiap koefisien secara terpisah dan bukan kausalitas.
Solusi lengkap
Karena model memuat intersep, \(\mathrm{SSR}=90-18=72\). Derajat bebas regresi adalah \(3-1=2\) dan sisaan \(10-3=7\), sehingga
Selain itu \(R^2=72/90=0{,}8\). Secara geometrik, bila \(\mathcal C(X_0)\subset\mathcal C(X_1)\), maka
Matriks \(P_1-P_0\) adalah proyektor ortogonal ke subruang tambahan dalam model penuh dan berperingkat 2. Di bawah hipotesis nol Gaussian, bentuk kuadratik itu setelah dibagi \(\sigma^2\) berdistribusi \(\chi^2_2\) dan independen dari RSS penuh. Karena jumlah pembatasan \(q=2\), pembilang statistik F adalah \((\mathrm{RSS}_0-\mathrm{RSS}_1)/q=72/2\); inilah sumber hukum \(F_{2,7}\). Nilai statistik F yang besar menentang hipotesis gabungan bahwa kedua kemiringan nol. Ia tidak menyatakan keduanya masing-masing nonnol, tidak memvalidasi asumsi model, dan tidak mengubah asosiasi menjadi sebab-akibat.
Masalah 6 — interval rataan bukan interval prediksi
Pada titik desain baru \(x_0\), suatu model Gaussian memberi \(\widehat m(x_0)=10\), \(s^2=4\), leverage untuk pendugaan rataan \(h_0=x_0^\mathsf T(X^\mathsf TX)^{-1}x_0=0{,}10\), dan 20 derajat bebas. Gunakan \(t_{0{,}975;20}=2{,}086\).
- Hitung interval kepercayaan 95% untuk rataan \(m(x_0)\).
- Hitung interval prediksi 95% untuk satu respons baru di \(x_0\).
- Jelaskan asal suku tambahan 1 serta apakah cakupan kedua interval bersifat titik demi titik atau simultan.
Petunjuk 1
Estimasi varians penduga rataan adalah \(s^2h_0\); estimasi varians galat prediksi respons baru adalah \(s^2(1+h_0)\).
Petunjuk 2
Kedua interval berpusat di 10. Marginnya adalah kuantil t yang dikalikan dengan galat baku yang sesuai.
Jawaban singkat
Interval rataan adalah kira-kira \((8{,}681;\ 11{,}319)\); interval prediksi adalah kira-kira \((5{,}624;\ 14{,}376)\). Suku 1 mewakili galat baru yang independen.
Solusi lengkap
Galat baku penduga rataan ialah \(s\sqrt{h_0}=2\sqrt{0{,}1}\approx0{,}63246\), sehingga marginnya \(2{,}086(0{,}63246)\approx1{,}319\). Jadi
Respons baru \(Y_0=x_0^\mathsf T\beta+\varepsilon_0\) mengandung galat baru \(\varepsilon_0\) yang independen dari data pelatihan. Karena itu galat baku prediksi adalah \(s\sqrt{1+h_0}=2\sqrt{1{,}1}\approx2{,}0976\) dan marginnya sekitar \(4{,}376\). Maka
Cakupan kedua interval bersifat titik demi titik pada \(x_0\) yang ditetapkan dan eksak di bawah model Gaussian yang benar. Keduanya bukan pita simultan untuk semua \(x\), dan ekstrapolasi jauh dari desain dapat membuat \(h_0\) besar serta klaim model rapuh.
Masalah 7 — leverage, jarak Cook, dan bias variabel terlewat
Dalam suatu regresi dengan \(p=3\), sebuah observasi mempunyai \(h_{ii}=0{,}8\), sisaan \(e_i=1\), dan \(s=2\).
- Hitung sisaan terstandar internal \(r_i=e_i/[s\sqrt{1-h_{ii}}]\), sisaan hapus-satu \(e_i/(1-h_{ii})\), dan \(D_i=e_i^2h_{ii}/[ps^2(1-h_{ii})^2]\).
- Jelaskan mengapa hasil itu tidak otomatis membenarkan penghapusan.
- Kini model yang benar adalah \(Y=\alpha+\beta x+\gamma z+\varepsilon\), dengan \(E(\varepsilon\mid x,z)=0\), tetapi \(z\) dikeluarkan dari model suaian. Prediktor telah dipusatkan dan \(x^\mathsf Tz/x^\mathsf Tx=2\), sedangkan \(\gamma=3\). Hitung bias bersyarat kemiringan regresi pendek. Apakah penduga kovarians kekar tipe sandwich dapat menghapusnya?
Petunjuk 1
\(1-h_{ii}=0{,}2\). Jarak Cook menggabungkan sisaan dengan faktor leverage \(h_{ii}/(1-h_{ii})^2\).
Petunjuk 2
Untuk satu prediktor terpusat, bias variabel terlewat adalah \(\gamma(x^\mathsf Tz)/(x^\mathsf Tx)\). Penduga kovarians kekar tipe sandwich mengubah estimasi kovarians, bukan pusat estimasi OLS.
Jawaban singkat
\(r_i\approx1{,}118\), sisaan hapus-satu 5, dan \(D_i=5/3\approx1{,}667\). Nilai tersebut menunjukkan perlunya audit data dan analisis sensitivitas, bukan penghapusan otomatis. Bias kemiringan adalah \(3(2)=6\); kovarians sandwich tidak memperbaiki bias kemiringan tersebut.
Solusi lengkap
Perhitungan langsung memberi
dan
Sisaan biasa tidak ekstrem, tetapi leverage tinggi memperbesar perubahan kecocokan saat titik dihapus. Ini adalah diagnosis sensitivitas. Titik tersebut bisa merupakan data sah yang membawa informasi tentang wilayah desain yang jarang, kesalahan pencatatan, atau indikasi bahwa bentuk fungsi rataan keliru; angka Cook sendiri tidak membedakannya dan tidak membuktikan kausalitas.
Jika \(z\) dihilangkan, ekspektasi bersyarat kemiringan pendek adalah
Jadi biasnya 6. Penduga kovarians kekar tipe sandwich dapat memperkirakan varians OLS di bawah heteroskedastisitas dengan syarat yang sesuai, tetapi tetap berpusat pada parameter proyeksi model pendek. Ia tidak memasukkan kembali \(z\) dan tidak menghapus bias kemiringan akibat variabel terlewat.
Masalah 8 — audit SIM005: cakupan, HC3, dan pengaruh
SIM005 memakai 12.000 replikasi dan melaporkan cakupan interval 95% berikut:
| Skenario | Metode | Cakupan |
|---|---|---|
| Gaussian homoskedastik | t klasik | 0,94791667 |
| heteroskedastik | t klasik | 0,83958333 |
| heteroskedastik | HC3 | 0,94316667 |
Eksperimen pengaruhnya memberi \(h=0{,}89317170\), \(D=105{,}90366578\), kemiringan dengan titik \(1{,}72770959\), dan tanpa titik \(1{,}15448718\).
- Hitung galat baku Monte Carlo dari perkiraan cakupan jika probabilitas sebenarnya 0,95. Hasil mana yang jelas tidak cocok dengan variasi Monte Carlo biasa di sekitar 0,95?
- Hitung perubahan kemiringan karena titik berpengaruh.
- Kaitkan tiga hasil cakupan dengan asumsi teori yang relevan.
- Nyatakan dua kesimpulan yang tidak boleh ditarik dari eksperimen ini.
Petunjuk 1
Untuk proporsi dari \(R\) replikasi, \(\operatorname{SE}_{MC}=\sqrt{p(1-p)/R}\). Bandingkan selisih terhadap 0,95 dalam satuan galat baku.
Petunjuk 2
HC3 mengubah cara mengestimasi kovarians ketika varians tidak konstan. Metode ini tidak memperbaiki bentuk rataan, dependensi, seleksi model, atau kesalahan pencatatan.
Jawaban singkat
\(\operatorname{SE}_{MC}\approx0{,}00199\). Cakupan metode t klasik pada skenario Gaussian homoskedastik berada sekitar 1,05 galat baku di bawah 0,95 dan sesuai dengan variasi Monte Carlo biasa. Cakupan HC3 pada skenario heteroskedastik masih 3,43 galat baku di bawah target, sedangkan cakupan metode t klasik pada skenario heteroskedastik berada sekitar 55,50 galat baku di bawah target. Perubahan kemiringan adalah sekitar 0,57322. Eksperimen mendukung ketidakandalan inferensi t klasik pada skenario heteroskedastik dan perbaikan besar—tetapi bukan pemulihan eksak—oleh HC3 pada desain ini; ia tidak membuktikan validitas universal HC3 atau membenarkan penghapusan otomatis titik berpengaruh.
Solusi lengkap
Dengan \(R=12000\),
Selisih cakupan Gaussian klasik dari 0,95 ialah \(-0{,}00208333\), sekitar \(-1{,}05\) galat baku dan konsisten dengan fluktuasi Monte Carlo biasa. Selisih HC3 ialah \(-0{,}00683333\), sekitar \(-3{,}43\) galat baku; jadi hasil simulasi ini masih menunjukkan kekurangan cakupan, meskipun besarnya jauh lebih kecil daripada metode klasik. Selisih klasik heteroskedastik adalah \(-0{,}11041667\), sekitar \(-55{,}50\) galat baku; variasi simulasi biasa jelas tidak menjelaskannya.
Perubahan kemiringan adalah
Pada skenario Gaussian homoskedastik, asumsi yang menopang hukum t klasik dipenuhi dan cakupan dekat nominal. Ketika varians berubah terhadap desain, rumus kovarians klasik \(s^2(X^\mathsf TX)^{-1}\) salah dan cakupan jauh di bawah nominal. HC3 menyesuaikan kontribusi sisaan menurut leverage dan, pada eksperimen ini, membawa cakupan jauh lebih dekat ke nominal, tetapi tidak tepat 0,95. Satu simulasi tidak membuktikan kinerja HC3 untuk semua ukuran sampel dan desain. Demikian pula leverage dan jarak Cook yang besar menunjukkan sensitivitas numerik pada data ini, bukan bahwa observasi itu salah atau harus dihapus. Audit harus memeriksa sumber data, spesifikasi rataan, dan stabilitas kesimpulan.
Daftar periksa kelulusan
Set ini dikuasai bila pembelajar dapat:
- menyatakan target yang dapat diestimasi sebelum menafsirkan koefisien;
- memisahkan asumsi OLS, Gauss–Markov, MLE Gaussian, dan inferensi eksak;
- menurunkan jumlah kuadrat dan kuadrat tengah pembilang uji F dari proyeksi model bersarang;
- membedakan ketidakpastian rataan dari galat observasi baru;
- menggunakan diagnostik untuk mengaudit asumsi dan menilai sensitivitas, bukan aturan penghapusan; dan
- menafsirkan cakupan simulasi bersama ketidakpastian Monte Carlo.