OLS, MLE Gaussian, dan teorema Gauss–Markov pada desain tetap

Tiga alasan yang berbeda dapat menghasilkan rumus koefisien yang sama. Pertama, kuadrat terkecil biasa (ordinary least squares, OLS) memilih titik pada ruang kolom matriks desain yang paling dekat dengan data. Kedua, di bawah asumsi momen orde satu dan dua, teorema Gauss–Markov menyatakan bahwa OLS adalah penduga linear tak bias terbaik. Ketiga, bila galat benar-benar Gaussian, OLS juga merupakan penduga kemungkinan maksimum untuk koefisien regresi.

Kesamaan rumus tidak membuat ketiga pembenaran itu dapat dipertukarkan. Geometri OLS tidak memerlukan model probabilitas. Gauss–Markov memerlukan rataan nol dan kovarians sferis, tetapi tidak memerlukan distribusi normal atau independensi penuh. Interpretasi sebagai MLE, distribusi khi-kuadrat eksak untuk jumlah kuadrat sisaan, dan independensi eksak antara penduga koefisien dan sisaan memerlukan asumsi Gaussian tambahan. Bab ini mempertahankan batas logis tersebut pada setiap teorema.

Model desain tetap dan tiga lapisan asumsi

Asumsi FD1–FD4

Untuk ukuran sampel \(n\) dan jumlah koefisien \(p\), tulis

dengan ketentuan berikut.

1. FD1 (desain tetap). \(X\in\mathbb R^{n\times p}\) adalah matriks nonacak yang diketahui. Semua pernyataan probabilistik berikut dikondisikan pada matriks ini.
2. FD2 (peringkat kolom penuh). \(\operatorname{rank}(X)=p\), sehingga \(n\ge p\) dan \(X^{\mathsf T}X\) definit positif. Untuk mengestimasi varians sisaan, kita akan memakai syarat lebih kuat \(n>p\).
3. FD3 (rataan galat nol). \(E(\varepsilon)=0\).
4. FD4 (kovarians sferis). Untuk suatu \(0<\sigma^2<\infty\),

FD1–FD2 sudah cukup untuk mendefinisikan OLS secara unik dari data yang diamati. FD3–FD4 menambahkan lapisan Gauss–Markov. FD4 menyatakan varians yang sama dan kovarians silang nol; ia tidak dengan sendirinya menyatakan bahwa komponen galat independen atau Gaussian.

Asumsi G

Lapisan fungsi kemungkinan Gaussian menambahkan

Asumsi G menyiratkan FD3–FD4 dan independensi komponen galat, tetapi jauh lebih kuat daripada yang diperlukan oleh teorema Gauss–Markov. Setiap kali G dipakai, hal itu akan dinyatakan secara eksplisit.

Geometri ruang kolom, matriks topi, dan sisaan

Definisi: proyeksi nilai suaian dan sisaan

Karena \(X^{\mathsf T}X\) dapat dibalik, definisikan

Matriks \(H\) sering disebut matriks topi karena mengubah \(Y\) menjadi nilai suaian \(\widehat Y=HY\). Matriks \(M\) mengubah \(Y\) menjadi vektor sisaan \(e=MY\). Ruang kolom \(X\), ditulis \(\mathcal C(X)\), adalah ruang semua vektor rataan yang dapat dihasilkan model.

Teorema: dekomposisi ortogonal data

Di bawah FD1–FD2,

dan

Selain itu,

Setiap \(y\in\mathbb R^n\) mempunyai dekomposisi unik

Bukti

Transposisi langsung menunjukkan bahwa \(H\) simetris. Dengan \(G=(X^{\mathsf T}X)^{-1}\),

Jadi \(H\) adalah proyeksi ortogonal. Karena \(HX=X\), ruang kolom \(X\) termuat dalam ruang citra \(H\); sebaliknya, setiap \(Hv\) berbentuk \(X(GX^{\mathsf T}v)\), sehingga ruang keduanya sama. Identitas untuk \(M\) mengikuti dari \(M=I-H\), dan \(HM=H-H^2=0\). Karena proyeksi simetris mempunyai nilai eigen hanya nol atau satu, peringkat sama dengan jejak. Citra \(H\) berdimensi \(p\), sehingga peringkat \(H=p\) dan peringkat \(M=n-p\). Terakhir, \(y=Hy+My\), sedangkan keortogonalan mengikuti dari \((Hy)^{\mathsf T}My=y^{\mathsf T}HMy=0\). Keunikan mengikuti dari irisan \(\mathcal C(X)\cap\mathcal C(X)^\perp=\{0\}\). □

Catatan: daya ungkit sebagai geometri kovarians

Tuliskan \(h_{ij}\) untuk elemen \(H\). Karena \(H\) adalah proyeksi ortogonal,

Besaran \(h_{ii}\) adalah daya ungkit (leverage) observasi ke-\(i\), sepenuhnya ditentukan oleh desain tetap. Di bawah FD3–FD4, nanti akan diperoleh

Jadi daya ungkit bukan probabilitas dan tidak dihitung dari respons; besaran ini mengukur sejauh mana posisi observasi dalam ruang desain memungkinkan respons tersebut memengaruhi nilai suaian.

OLS, persamaan normal, dan keunikan

Definisi: kriteria kuadrat terkecil

Untuk data teramati \(y\), OLS meminimumkan

atas \(b\in\mathbb R^p\). Definisi ini deterministik: belum ada nilai harapan, varians, atau distribusi galat.

Teorema: solusi unik dan persamaan normal

Di bawah FD1–FD2, peminimum unik kriteria OLS adalah

Ia memenuhi persamaan normal

dan menghasilkan

Bukti

Gradien dan Hessian kriteria adalah

FD2 membuat Hessian definit positif, sehingga setiap titik stasioner adalah peminimum global unik. Persamaan stasioner memberi \(X^{\mathsf T}X\widehat\beta=X^{\mathsf T}y\), lalu formula di atas.

Argumen geometri memperlihatkan lebih banyak. Karena \(e=y-X\widehat\beta\) ortogonal terhadap setiap kolom \(X\), untuk sembarang \(b\),

adalah jumlah dua vektor ortogonal. Maka

Suku kedua nonnegatif dan sama dengan nol hanya bila \(b=\widehat\beta\). Identitas untuk nilai suaian dan sisaan mengikuti dari definisi \(H\) dan \(M\). □

Definisi: jumlah kuadrat sisaan

Jumlah kuadrat sisaan adalah

karena \(M^{\mathsf T}M=M\). Derajat bebas sisaan \(n-p\) berasal dari peringkat proyeksi \(M\), bukan dari kebiasaan membagi dengan suatu angka tertentu.

Ketakbiasan dan geometri kovarians OLS

Teorema: rataan dan kovarians koefisien OLS

Di bawah FD1–FD4,

Untuk setiap kontras tetap \(c\in\mathbb R^p\),

Bukti

Definisikan

Karena \(A_0X=I_p\),

FD3 langsung memberi ketakbiasan. Dengan FD4,

Hasil kontras mengikuti dengan mengalikan vektor rataan dari kiri dengan \(c^{\mathsf T}\), serta matriks kovarians dari kiri dengan \(c^{\mathsf T}\) dan dari kanan dengan \(c\). Tidak ada langkah yang memakai normalitas. □

Teorema: kovarians nilai suaian dan sisaan

Di bawah FD1–FD4,

Selain itu,

Bukti

Karena \(HX=X\) dan \(MX=0\),

Rataan mengikuti FD3. Simetri dan idempotensi proyeksi memberi

Kovarians silang sama dengan \(\sigma^2HM=0\). Terakhir,

sebab \(MX=0\) dan \(M\) simetris. □

Kovarians nol hanya berarti bahwa \(\widehat\beta\) dan \(e\) tak berkorelasi di bawah FD1–FD4. Ketakberkorelasian itu menyiratkan independensi pada model Gaussian karena keduanya merupakan transformasi linear dari satu vektor Gaussian. Tanpa G, independensi tidak boleh disimpulkan.

Teorema Gauss–Markov dan arti BLUE

Definisi: penduga linear tak bias terbaik

Suatu penduga koefisien disebut linear bila berbentuk \(AY\), dengan \(A\in\mathbb R^{p\times n}\) tidak bergantung pada \(Y\). Di bawah FD3, penduga ini tak bias untuk setiap \(\beta\) jika dan hanya jika

Kata terbaik pada BLUE (penduga linear tak bias terbaik) dimaknai menurut urutan Loewner: \(V_1\preceq V_2\) bila \(V_2-V_1\) semidefinit positif. Dengan kata lain, setiap kombinasi linear koefisien mempunyai varians yang tidak lebih besar di bawah penduga terbaik.

Teorema Gauss–Markov

Di bawah FD1–FD4, \(\widehat\beta=A_0Y\) adalah BLUE untuk \(\beta\). Lebih tepat, untuk setiap penduga linear \(\widetilde\beta=AY\) yang tak bias bagi semua \(\beta\),

Untuk setiap \(c\in\mathbb R^p\),

Bukti

Ketakbiasan \(AY\) untuk semua \(\beta\) ekuivalen dengan \(AX=I_p\). Tulis

Karena \(AX=A_0X=I_p\), kita mempunyai \(DX=0\). Selanjutnya,

dan demikian pula \(DA_0^{\mathsf T}=0\). FD4 memberi

Matriks \(DD^{\mathsf T}\) semidefinit positif karena untuk setiap \(c\),

Ini sekaligus membuktikan pernyataan varians kontras. Bahkan, kesamaan matriks kovarians hanya mungkin bila \(DD^{\mathsf T}=0\), yang memaksa \(D=0\) dan \(A=A_0\). Jadi OLS unik dalam kelas penduga linear tak bias dengan kovarians minimum. □

Korolari: target linear umum

Untuk matriks tetap \(L\in\mathbb R^{q\times p}\), penduga \(L\widehat\beta\) adalah BLUE bagi \(L\beta\). Jika \(CY\) adalah penduga linear lain dengan \(CX=L\), tulis \(C=LA_0+D\). Karena \(DX=0\), argumen yang sama memberi

Korolari ini mencakup satu kontras \(c^{\mathsf T}\beta\), beberapa kontras sekaligus, dan rataan suaian \(X\beta\).

Apa yang tidak dikatakan Gauss–Markov

Teorema ini “bebas bentuk distribusi” hanya dalam arti tidak memilih keluarga parametrik seperti normal, Laplace, atau \(t\). Ia tetap memerlukan struktur momen FD3–FD4, desain berperingkat penuh, dan pembatasan kelas pembanding pada penduga linear yang tak bias. Teorema ini tidak menyatakan bahwa OLS mempunyai varians terkecil di antara semua penduga, tidak menjamin interval eksak berbasis distribusi normal, dan tidak menyebut fungsi kemungkinan. Penduga nonlinear yang bias dapat mempunyai MSE lebih kecil; itu pertanyaan risiko yang berbeda.

Fungsi kemungkinan Gaussian dan MLE bersama

Teorema: MLE koefisien dan varians

Andaikan FD1–FD2, \(n>p\), dan asumsi G. Untuk realisasi dengan \(\operatorname{RSS}>0\), MLE bersama adalah

Di bawah model Gaussian dengan \(n>p\), peristiwa \(\operatorname{RSS}=0\) berprobabilitas nol.

Bukti

Fungsi log-kemungkinan, hingga konstanta yang tidak bergantung pada parameter, adalah

Untuk setiap \(\sigma^2>0\) tetap, memaksimumkan \(\ell\) terhadap \(\beta\) ekuivalen dengan meminimumkan jumlah kuadrat. Teorema OLS Teorema: solusi unik dan persamaan normal memberi pemaksimum unik \(\widehat\beta\). Setelah disubstitusikan, fungsi log-kemungkinan profil adalah

Turunannya

bernilai nol hanya pada \(\sigma^2=\operatorname{RSS}/n\). Jika RSS positif, fungsi log-kemungkinan menuju \(-\infty\) ketika \(\sigma^2\downarrow0\) maupun \(\sigma^2\to\infty\), sehingga titik itu adalah maksimum global unik. Di bawah G, sisaan berada pada subruang berdimensi \(n-p>0\) dan mempunyai densitas kontinu nonsingular di subruang tersebut; peluang seluruh koordinat sisaan sama dengan nol adalah nol. □

Jika \(\operatorname{RSS}=0\) sementara ruang parameter mensyaratkan \(\sigma^2>0\), fungsi kemungkinan tidak mempunyai maksimum interior: nilainya tak terbatas ketika \(\sigma^2\downarrow0\). Kasus \(n=p\) membuat RSS selalu nol, sehingga syarat \(n>p\) bukan kosmetik untuk estimasi varians bersama.

MLE bukan konsekuensi Gauss–Markov

Rumus koefisien MLE sama dengan OLS karena negatif log-densitas normal bersifat kuadratik terhadap galat. Bila distribusi galat bukan normal, fungsi kemungkinan sebenarnya dapat menghasilkan penduga lain. Sebaliknya, selama FD3–FD4 tetap berlaku, ketakbiasan dan sifat BLUE OLS tetap sah walaupun distribusi galat miring, diskret, atau berekor berat dengan varians hingga. Jadi normalitas dibutuhkan untuk klaim fungsi kemungkinan di bagian ini, bukan untuk bukti Gauss–Markov.

Estimasi \(\sigma^2\) dan dekomposisi Gaussian eksak

Teorema: penduga varians tak bias

Di bawah FD1–FD4 dan \(n>p\),

adalah penduga tak bias bagi \(\sigma^2\). Besaran \(\widehat\sigma^2_{\mathrm{MLE}}=\operatorname{RSS}/n\), yang merupakan MLE hanya di bawah asumsi G, memenuhi

sehingga MLE varians berbias ke bawah pada sampel berhingga.

Bukti

Karena \(MX=0\), sisaan sama dengan \(M\varepsilon\), sehingga

Untuk setiap vektor acak \(Z\) dengan rataan nol dan kovarians \(\Sigma\), \(E(Z^{\mathsf T}AZ)=\operatorname{tr}(A\Sigma)\). Terapkan identitas ini dengan \(A=M\) dan \(\Sigma=\sigma^2I_n\):

Membagi dengan \(n-p\) memberi ketakbiasan \(s^2\); membagi dengan \(n\) memberi nilai harapan MLE yang dinyatakan. Bukti ini hanya memakai momen FD3–FD4, bukan normalitas. □

Teorema: distribusi eksak dan independensi di bawah G

Di bawah FD1–FD2, \(n>p\), dan asumsi G,

dan \(\widehat\beta\) independen dari \(e\), RSS, dan \(s^2\).

Bukti

Pilih matriks ortogonal \(Q=(Q_1\;Q_2)\), dengan kolom \(Q_1\) membentuk basis ortonormal \(\mathcal C(X)\) dan kolom \(Q_2\) membentuk basis ortonormal komplemennya. Maka

Asumsi G dan invariansi distribusi normal terhadap transformasi ortogonal memberi

Dua blok koordinat itu independen. Galat koefisien \(\widehat\beta-\beta=A_0\varepsilon\) hanya bergantung pada komponen \(H\varepsilon=Q_1Q_1^{\mathsf T}\varepsilon\), sedangkan

hanya bergantung pada blok kedua. Karena itu \(\widehat\beta\) dan vektor sisaan \(e\) independen. Distribusi normal \(\widehat\beta\) mengikuti transformasi linear dan kovarians yang telah dihitung. Selanjutnya,

adalah jumlah kuadrat \(n-p\) peubah normal baku yang independen, sehingga berdistribusi \(\chi^2_{n-p}\). RSS dan \(s^2\) adalah fungsi blok sisaan, jadi keduanya independen dari \(\widehat\beta\). □

Teorema ini menyediakan dasar untuk statistik \(t\) dan \(F\) eksak. Dasar itu tidak lagi otomatis berlaku ketika asumsi normalitas dihapus: hasil kovarians nol pada Teorema: kovarians nilai suaian dan sisaan masih berlaku, tetapi independensi dan hukum khi-kuadrat tidak dijamin.

Apa yang berubah ketika asumsi gagal

Peringkat tidak penuh

Jika \(\operatorname{rank}(X)<p\), ada \(d\ne0\) dengan \(Xd=0\). Maka \(X\beta=X(\beta+d)\), sehingga vektor koefisien \(\beta\) tidak teridentifikasi secara penuh. Nilai suaian dari proyeksi ke \(\mathcal C(X)\) masih unik, tetapi representasi koefisiennya tidak. Menggunakan pseudoinvers memilih satu representasi; ia tidak memulihkan identifiabilitas yang hilang. Hanya fungsi linear yang dapat diestimasi yang boleh menjadi sasaran inferensi tanpa kendala tambahan.

Rataan galat tidak nol

Jika \(E(\varepsilon)=m\ne0\),

Bias menghilang hanya bila \(X^{\mathsf T}m=0\), suatu kondisi khusus yang tidak boleh diasumsikan. Menambah kolom intersep dapat menangkap pergeseran konstan tertentu, tetapi tidak memperbaiki setiap kesalahan spesifikasi rataan.

Kovarians tidak sferis

Jika

dengan \(\Omega\ne I_n\), OLS tetap tak bias selama FD3 berlaku, tetapi

Suku silang pada bukti Gauss–Markov biasa tidak lagi harus nol, sehingga OLS tidak dijamin BLUE. Bila \(\Omega\) diketahui dan definit positif, transformasi pemutihan menghasilkan kuadrat terkecil tergeneralisasi (GLS). Optimalitas GLS merupakan hasil tersendiri; ia tidak diperoleh dengan tetap memakai rumus OLS beserta rumus galat baku semula.

Galat non-Gaussian dengan momen yang benar

Bila FD3–FD4 berlaku tetapi G gagal, formula OLS, ketakbiasan, kovarians, dan BLUE tetap berlaku. Namun OLS belum tentu MLE, penduga koefisien dan sisaan yang tak berkorelasi belum tentu saling independen, dan \(\operatorname{RSS}/\sigma^2\) belum tentu berdistribusi khi-kuadrat. Inferensi dapat memakai teorema limit atau metode kekar yang syaratnya harus dinyatakan terpisah.

Daftar periksa penerapan

1. Nyatakan apakah \(X\) diperlakukan tetap atau acak; untuk bab ini seluruh probabilitas dihitung secara bersyarat terhadap \(X\).
2. Verifikasi bahwa peringkat kolomnya adalah \(p\), bukan hanya bahwa perangkat lunak mengeluarkan koefisien.
3. Pisahkan identitas geometri \(H^2=H\) dan persamaan normal dari asumsi probabilistik.
4. Untuk ketakbiasan, periksa \(E(\varepsilon)=0\); untuk kovarians OLS dan Gauss–Markov biasa, periksa \(\operatorname{Cov}(\varepsilon)=\sigma^2I\).
5. Saat menyebut BLUE, tulis kelas pembanding: linear, tak bias untuk setiap \(\beta\), dan kovariansnya dibandingkan menurut urutan Loewner atau, secara ekuivalen, melalui varians setiap kontras.
6. Gunakan \(\operatorname{RSS}/n\) hanya sebagai MLE varians dalam model Gaussian; gunakan \(\operatorname{RSS}/(n-p)\) untuk penduga tak bias di bawah asumsi momen.
7. Klaim distribusi normal penduga koefisien, hukum khi-kuadrat bagi \(\operatorname{RSS}/\sigma^2\), atau independensi penduga koefisien dan sisaan hanya setelah asumsi G dinyatakan.
8. Jika kovarians tidak sferis, hitung ulang kovarians dan gunakan prosedur kekar atau GLS yang sesuai; jangan mempertahankan bukti Gauss–Markov dengan mengganti satu simbol saja.

Ringkasan

Nilai suaian OLS adalah proyeksi ortogonal \(Y\) ke ruang kolom desain. Di bawah rataan galat nol dan kovarians \(\sigma^2I\), penduga koefisien OLS tak bias, mempunyai kovarians \(\sigma^2(X^{\mathsf T}X)^{-1}\), dan merupakan BLUE melalui dekomposisi kovarians dengan suku semidefinit positif. Semua hasil itu tidak memerlukan normalitas. Asumsi Gaussian menambahkan interpretasi fungsi kemungkinan, MLE varians \(\operatorname{RSS}/n\), hukum eksak \(\operatorname{RSS}/\sigma^2\sim\chi^2_{n-p}\), dan independensi antara penduga koefisien dan sisaan. Mempertahankan pemisahan ini mencegah formula yang benar dipakai dengan alasan yang salah.