O006-C140-CMP-D011 · id-ID · CC BY-SA 4.0 · OpenAI Codex gpt-5.6-sol, Ultra

Diagnostik memeriksa asumsi, bukan menghias hasil

Inferensi eksak model linear pada Inferensi Gaussian eksak: proyeksi, t, F, ANOVA, dan prediksi bergantung pada asumsi substantif: bentuk rataan linear, peringkat desain yang sesuai, galat berataan nol, kovarians yang ditentukan, serta—untuk hukum $$t$$ dan $$F$$ eksak— normalitas. Nilai $$R^2$$ yang tinggi atau koefisien yang “signifikan” tidak membuktikan asumsi tersebut. Diagnostik bertugas mengidentifikasi bentuk konkret kegagalan model dan mengukur dampaknya terhadap kesimpulan.

Sepanjang bab ini, desain $X\in\mathbb R^{n\times p}$ dianggap tetap dan berperingkat kolom penuh, kecuali dinyatakan lain. Tuliskan

Y=X\beta+\varepsilon, \qquad E(\varepsilon)=0, \qquad \operatorname{Cov}(\varepsilon)=\sigma^2I_n,

serta

H=X(X^\mathsf TX)^{-1}X^\mathsf T, \qquad M=I_n-H, \qquad \widehat Y=HY, \qquad e=Y-\widehat Y=MY.

Matriks $$H$$ dan $$M$$ adalah proyektor ortogonal yang saling melengkapi seperti dibuktikan pada Model linear Gaussian berdesain tetap dan geometri proyeksi. Diagnostik berikut memanfaatkan struktur itu, bukan menggantikannya dengan aturan ambang tanpa konteks.

Rataan dan kovarians sisaan

Di bawah model di atas,

E(e)=0, \qquad \operatorname{Cov}(e)=\sigma^2M=\sigma^2(I_n-H).

Khususnya, untuk sisaan ke- $$i$$ ,

\operatorname{Var}(e_i)=\sigma^2(1-h_{ii}),

dan untuk $i\ne j$ ,

\operatorname{Cov}(e_i,e_j)=-\sigma^2h_{ij}.

Bukti

Karena $$MX=0$$ , kita mempunyai $e=M(X\beta+\varepsilon)=M\varepsilon$ . Jadi $E(e)=ME(\varepsilon)=0$ . Selanjutnya,

\operatorname{Cov}(e) =M(\sigma^2I_n)M^\mathsf T =\sigma^2M^2 =\sigma^2M,

sebab $$M$$ simetris dan idempoten. Elemen diagonal dan nondiagonal memberi dua rumus terakhir. ∎

Sisaan mentah tidak mempunyai varians yang sama, bahkan ketika galat asli homoskedastik. Membandingkan $$|e_i|$$ secara langsung tanpa faktor $\sqrt{1-h_{ii}}$ dapat menyamarkan titik berdaya ungkit tinggi: semakin besar $h_{ii}$ , semakin kecil varians sisaan mentahnya.

Daya ungkit dan sisaan terstandar

Daya ungkit (leverage) observasi ke- $$i$$ adalah elemen diagonal $h_{ii}=H_{ii}$ . Jika $x_i^\mathsf T$ adalah baris ke- $$i$$ dari $$X$$ , maka

h_{ii}=x_i^\mathsf T(X^\mathsf TX)^{-1}x_i.

Dengan penduga varians

s^2=\frac{e^\mathsf Te}{n-p},

sisaan terstandar internal didefinisikan sebagai

r_i=\frac{e_i}{s\sqrt{1-h_{ii}}},

selama $h_{ii}<1$ . Penyebut ini menyetarakan skala marginal menurut model. Namun $$r_i$$ tidak berdistribusi tepat $$N(0,1)$$ karena $$s$$ juga dihitung dari $$e_i$$ . Karena itu ambang seperti $$|r_i|>2$$ hanyalah penanda eksploratif, bukan uji hipotesis tersendiri dengan taraf yang eksak.

Batas dan jumlah daya ungkit

Untuk setiap $$i$$ ,

0\le h_{ii}\le 1, \qquad \sum_{i=1}^n h_{ii}=p.

Jadi daya ungkit rata-rata adalah $$p/n$$ .

Bukti

Jika $$u_i$$ adalah vektor basis standar ke- $$i$$ , maka karena $$H$$ adalah proyektor ortogonal,

h_{ii}=u_i^\mathsf THu_i=\|Hu_i\|^2\ge0,

dan dekomposisi Pythagoras $$u_i=Hu_i+(I-H)u_i$$ memberi $\|Hu_i\|^2\le\|u_i\|^2=1$ . Selain itu, jejak proyektor sama dengan peringkatnya:

\sum_i h_{ii}=\operatorname{tr}(H)=\operatorname{rank}(H)=p.

∎

Nilai yang jauh di atas $$p/n$$ menandai konfigurasi prediktor yang tidak lazim, tetapi tidak otomatis menandai respons yang tidak lazim. Daya ungkit ditentukan oleh $$X$$ , sedangkan sisaan juga bergantung pada $$Y$$ .

Contoh tandingan: daya ungkit satu tanpa sisaan

Jika $h_{ii}=1$ , maka arah koordinat observasi ke- $$i$$ termuat sepenuhnya dalam ruang kolom $$X$$ . Dari teorema pertama, $\operatorname{Var}(e_i)=0$ , sehingga $$e_i=0$$ hampir pasti di bawah model. Observasi itu dapat menentukan arah tertentu dalam ruang nilai suaian tanpa pernah tampak sebagai sisaan besar. Inilah alasan sisaan saja tidak cukup untuk mendeteksi pengaruh.

Penghapusan satu observasi dan pengaruh

Tuliskan $\widehat\beta_{(i)}$ untuk OLS setelah observasi ke- $$i$$ dihapus, dan anggap $h_{ii}<1$ sehingga desain yang tersisa masih mengidentifikasi semua arah yang dibutuhkan. Identitas penghapusan-satu berikut memperlihatkan bahwa pengaruh memerlukan sisaan dan daya ungkit sekaligus.

Identitas penghapusan-satu

Dengan notasi di atas,

\widehat\beta_{(i)} =\widehat\beta -\frac{(X^\mathsf TX)^{-1}x_i e_i}{1-h_{ii}}.

Akibatnya, perubahan nilai suaian pada seluruh $$n$$ titik adalah

X(\widehat\beta-\widehat\beta_{(i)}) =\frac{H_{\cdot i}e_i}{1-h_{ii}},

di mana $H_{\cdot i}$ adalah kolom ke- $$i$$ dari $$H$$ .

Bukti

Definisikan $A=X^\mathsf TX$ . Setelah baris ke- $$i$$ dihapus, matriks normal menjadi $A-x_ix_i^\mathsf T$ dan ruas kanan menjadi $X^\mathsf TY-x_iY_i$ . Rumus Sherman–Morrison memberi

(A-x_ix_i^\mathsf T)^{-1} =A^{-1}+\frac{A^{-1}x_ix_i^\mathsf TA^{-1}}{1-x_i^\mathsf TA^{-1}x_i} =A^{-1}+\frac{A^{-1}x_ix_i^\mathsf TA^{-1}}{1-h_{ii}}.

Kalikan dengan $X^\mathsf TY-x_iY_i$ , lalu gunakan $x_i^\mathsf T\widehat\beta=\widehat Y_i$ dan $e_i=Y_i-\widehat Y_i$ . Setelah suku dikumpulkan, diperoleh rumus pertama. Perkalian dengan $$X$$ dan identitas $XA^{-1}x_i=H_{\cdot i}$ memberi rumus kedua. ∎

Jarak Cook

Salah satu ukuran perubahan global pada nilai suaian adalah

D_i= \frac{ (\widehat\beta-\widehat\beta_{(i)})^\mathsf T X^\mathsf TX (\widehat\beta-\widehat\beta_{(i)}) }{p s^2}.

Dengan teorema penghapusan-satu,

D_i= \frac{e_i^2}{p s^2} \frac{h_{ii}}{(1-h_{ii})^2} =\frac{r_i^2}{p}\frac{h_{ii}}{1-h_{ii}}.

Jadi $$D_i$$ besar dapat muncul dari sisaan besar, daya ungkit besar, atau kombinasi keduanya. Nilai ini mengukur sensitivitas nilai suaian terhadap penghapusan, bukan membuktikan bahwa observasi salah. Menghapus titik hanya karena $$D_i$$ besar mengubah pertanyaan ilmiah dan dapat membuang bagian populasi yang paling informatif.

Kesalahan spesifikasi rataan dan variabel terlewat

Diagnostik sisaan mencari pola yang tersisa setelah proyeksi. Pola itu dapat berasal dari nonlinieritas, interaksi yang hilang, perubahan varians, korelasi, atau struktur kelompok/waktu. Satu plot tidak mengidentifikasi penyebabnya; plot itu hanya menunjukkan bahwa bentuk sederhana tertentu tidak memadai.

Bias variabel terlewat pada desain tetap

Misalkan model pembangkit data yang sebenarnya

Y=X\beta+Z\gamma+\varepsilon, \qquad E(\varepsilon)=0,

tetapi kita hanya memasang model dengan $$X$$ . Maka

E(\widehat\beta_X) =\beta+(X^\mathsf TX)^{-1}X^\mathsf TZ\gamma.

Penduga tetap tak bias untuk $\beta$ tepat ketika $X^\mathsf TZ\gamma=0$ . Ortogonalitas $X^\mathsf TZ=0$ cukup, tetapi tidak perlu untuk satu $\gamma$ tertentu.

Bukti

Penduga model yang direduksi adalah

\widehat\beta_X=(X^\mathsf TX)^{-1}X^\mathsf TY.

Substitusi model sebenarnya dan pengambilan ekspektasi memberi

E(\widehat\beta_X) =(X^\mathsf TX)^{-1}X^\mathsf T(X\beta+Z\gamma) =\beta+(X^\mathsf TX)^{-1}X^\mathsf TZ\gamma.

∎

Contoh: kemiringan palsu akibat kelompok

Misalkan $$X$$ memuat intersep dan dosis, sedangkan $$Z$$ adalah indikator pusat penelitian. Jika pusat dengan respons dasar lebih tinggi juga cenderung memberi dosis lebih tinggi, maka kolom dosis berkorelasi dengan $$Z$$ . Menghilangkan pusat memindahkan sebagian efek pusat ke koefisien dosis. Menambah ukuran sampel tanpa memperbaiki model tidak menghilangkan bias ini; galat baku justru dapat mengecil di sekitar target yang salah.

Target proyeksi di bawah model rataan yang salah

Bahkan jika $E(Y)=\mu$ tidak berada di $\mathcal C(X)$ , OLS masih mempunyai target geometris

\beta^*=(X^\mathsf TX)^{-1}X^\mathsf T\mu, \qquad X\beta^*=H\mu.

Jadi $X\beta^*$ adalah pendekatan kuadrat-terkecil terbaik terhadap rataan sebenarnya pada titik desain yang diamati. Interpretasi parameter berubah: $\beta^*$ adalah koefisien proyeksi yang khusus untuk desain tersebut, bukan otomatis parameter struktural yang berlaku di luar desain. Ekstrapolasi memperbesar masalah ini karena tidak ada data yang menguji bentuk rataan di wilayah baru.

Heteroskedastisitas dan kovarians sandwich

Sekarang pertahankan rataan linear $E(Y)=X\beta$ , tetapi izinkan

\operatorname{Cov}(\varepsilon)=\Omega

untuk matriks semidefinit positif umum. OLS tetap tak bias selama $E(\varepsilon)=0$ , tetapi kovariansnya bukan lagi $\sigma^2(X^\mathsf TX)^{-1}$ .

Kovarians OLS di bawah kovarians galat umum

E(\widehat\beta)=\beta, \qquad \operatorname{Cov}(\widehat\beta) =(X^\mathsf TX)^{-1}X^\mathsf T\Omega X(X^\mathsf TX)^{-1}.

Bukti

Karena

\widehat\beta =\beta+(X^\mathsf TX)^{-1}X^\mathsf T\varepsilon,

ekspektasi memberi ketakbiasan, sedangkan aturan kovarians transformasi linear memberi rumus sandwich. ∎

Jika galat tidak berkorelasi tetapi mempunyai varians $\sigma_i^2$ , maka $\Omega=\operatorname{diag}(\sigma_1^2,\ldots,\sigma_n^2)$ . Penduga kovarians sandwich asimtotik paling dasar yang tahan terhadap heteroskedastisitas mengganti $\sigma_i^2$ dengan $$e_i^2$$ :

\widehat V_{\mathrm{HC0}} =(X^\mathsf TX)^{-1} X^\mathsf T\operatorname{diag}(e_1^2,\ldots,e_n^2)X (X^\mathsf TX)^{-1}.

Penduga ini tidak memulihkan validitas eksak distribusi $$t$$ pada sampel kecil. Validitasnya memerlukan syarat asimtotik, termasuk pengendalian daya ungkit dan momen. Koreksi HC1–HC3 menyesuaikan skala sisaan untuk mengurangi bias sampel kecil dan efek daya ungkit, tetapi tidak memperbaiki rataan yang salah, ketergantungan serial, atau desain dengan beberapa titik yang mendominasi.

Contoh tandingan: galat baku kekar tidak memperbaiki bias

Pada model variabel-terlewat di atas, $E(\widehat\beta_X)-\beta=(X^\mathsf TX)^{-1}X^\mathsf TZ\gamma$ . Mengganti kovarians klasik dengan sandwich hanya mengubah taksiran ketidakpastian di sekitar $\widehat\beta_X$ ; suku bias tetap sama. “Kekar” pada galat baku berarti kekar terhadap kelas kovarians tertentu, bukan terhadap semua bentuk kesalahan spesifikasi.

Normalitas, pencilan, dan ketergantungan

Normalitas galat tidak diperlukan untuk identitas OLS atau teorema Gauss–Markov pada OLS, MLE Gaussian, dan teorema Gauss–Markov pada desain tetap. Ia diperlukan untuk distribusi $$t/F$$ eksak pada Inferensi Gaussian eksak: proyeksi, t, F, ANOVA, dan prediksi. Ekor berat dapat membuat beberapa observasi mendominasi kuadrat sisaan; kemencengan dapat merusak aproksimasi sampel kecil; ketergantungan waktu atau kelompok menghasilkan kovarians nondiagonal yang tidak ditangkap oleh galat baku independen.

Pemeriksaan yang bermakna mengaitkan pola dengan asumsi:

sisaan versus nilai suaian: mencari kurvatur dan perubahan skala;
sisaan versus urutan/waktu/kelompok: mencari ketergantungan atau perubahan rezim;
kuantil sisaan: menilai ekor dan kemencengan, bukan “membuktikan normal”;
daya ungkit dan jarak Cook: menilai sensitivitas terhadap konfigurasi desain;
analisis sensitivitas: membandingkan kesimpulan di bawah kovarians/model yang secara substantif masuk akal.

Banyak titik pada satu grafik berarti banyak peluang menemukan pola kebetulan. Karena itu diagnostik harus dibaca bersama pengetahuan desain dan mekanisme pengumpulan data. Sebuah pencilan dapat mencerminkan kesalahan entri data, anggota populasi yang sah, atau bukti kesalahan spesifikasi model; ketiganya memerlukan tindakan yang berbeda.

Seleksi model dan inferensi pascaseleksi

Misalkan analis mencoba banyak transformasi, interaksi, dan himpunan prediktor, lalu melaporkan interval klasik dari model yang menghasilkan pola paling menarik. Jika analisis dikondisikan pada model terpilih seolah-olah model itu ditetapkan sebelum melihat data, galat baku mengabaikan variasi akibat seleksi. Cakupan nominal tidak lagi dijamin.

Contoh minimum seleksi berdasarkan derau

Anggap $$m$$ prediktor derau saling bebas diuji satu per satu pada taraf $\alpha$ . Jika pengujian independen, peluang sedikitnya satu penolakan palsu adalah

1-(1-\alpha)^m,

yang lebih besar dari $\alpha$ untuk $$m>1$$ . Memilih prediktor dengan nilai- $$p$$ terkecil lalu melaporkan interval 95% biasa memperlakukan pemenang sebagai calon tunggal; prosedur itu tidak mempunyai cakupan 95% secara umum.

Perbaikan bergantung pada tujuan: pemisahan data, validasi eksternal, penyesuaian multiplikitas, regularisasi dengan evaluasi prediktif yang jujur, atau metode inferensi selektif dengan kondisi seleksi eksplisit. Tidak ada satu koreksi universal. Yang wajib adalah mendokumentasikan ruang pencarian dan memisahkan eksplorasi dari klaim konfirmatori.

Alur audit model yang dapat direproduksi

Tetapkan terlebih dahulu pertanyaan, unit observasi, desain, target estimasi, dan aturan pengecualian sebelum melihat hasil utama bila desain memungkinkan.
Verifikasi peringkat, skala, unit, data hilang, dan duplikasi data.
Pasang model utama dan simpan $$H$$ , $$e$$ , $h_{ii}$ , sisaan terstandar, serta ukuran pengaruh dengan ID keluaran stabil.
Kaitkan setiap pola diagnostik dengan asumsi tertentu; jangan gunakan label “model buruk” tanpa mekanisme.
Jalankan analisis sensitivitas yang sudah dibatasi: bentuk rataan alternatif, kovarians yang relevan, dan pengaruh titik yang dapat dijelaskan.
Laporkan apakah kesimpulan berubah, bukan hanya apakah satu grafik tampak lebih rapi.
Simpan kode, benih acak bila ada simulasi, data atau hash data, lingkungan, dan pemeriksaan keluaran yang diharapkan agar audit dapat diulang luring.

Batas kesimpulan

Diagnostik dapat menunjukkan ketidakcocokan dan sensitivitas; ia tidak dapat dengan sendirinya membuktikan kausalitas, membenarkan penghapusan observasi, atau memilih satu model “benar”. Inferensi yang jujur menyebut target, asumsi, proses seleksi, dan kelas struktur galat yang dicakup oleh galat baku. Bab simulasi Model linear matriks: cakupan, heteroskedastisitas, dan pengaruh akan menguji secara numerik bagaimana daya ungkit, heteroskedastisitas, dan satu titik berpengaruh mengubah estimasi serta cakupan.