O006-C140-CMP-D008 · id-ID · CC BY-SA 4.0 · OpenAI Codex gpt-5.6-sol, Ultra

Model linear Gaussian berdesain tetap dan geometri proyeksi

Model linear bukan sekadar rumus koefisien $(X^{\mathsf T}X)^{-1}X^{\mathsf T}Y$ . Rumus itu hanya tersedia ketika kolom-kolom desain bebas secara linear. Objek yang selalu teridentifikasi adalah rataan $X\beta$ , sedangkan representasi rataan oleh koefisien $\beta$ dapat tidak tunggal. Geometri ruang kolom membuat perbedaan ini tampak jelas: nilai suaian adalah proyeksi data ke ruang rataan yang diizinkan model, dan sisaan adalah komponen ortogonalnya.

Bab ini berangkat dari subruang dan proyeksi, bukan dari invers matriks. Dengan urutan itu, kasus peringkat penuh dan peringkat-defisien dapat ditangani dalam satu kerangka tanpa berpura-pura bahwa invers yang tidak ada dapat dipakai. Asumsi Gaussian baru digunakan setelah hasil kuadrat-terkecil yang murni geometris selesai. Karena itu setiap klaim dapat dibedakan sebagai identitas aljabar, pernyataan estimasi, atau hasil distribusi eksak.

Model dan asumsi dasar

Misalkan $Y\in\mathbb R^n$ adalah vektor respons dan $X\in\mathbb R^{n\times p}$ adalah matriks desain tetap yang diketahui. Modelnya

Y=X\beta+\varepsilon, \qquad \varepsilon\sim N_n(0,\sigma^2I_n), \qquad \sigma^2>0.

Parameter koefisien adalah $\beta\in\mathbb R^p$ , dan rataan observasi adalah $\mu=X\beta$ . Tulis

\mathcal C=\mathcal C(X)=\{Xb:b\in\mathbb R^p\}, \qquad r=\operatorname{rank}(X).

Jadi himpunan semua rataan yang diizinkan adalah ruang kolom $\mathcal C$ , yang berdimensi $$r$$ . Pernyataan “desain tetap” berarti seluruh peluang dan ekspektasi dalam bab ini dihitung dengan menganggap $$X$$ tetap. Jika desain asalnya acak, hasil yang sama berlaku secara bersyarat pada realisasi $$X$$ hanya bila mekanisme pengambilan desain membenarkan pengondisian tersebut.

Normalitas, homoskedastisitas, dan kovariansi $\sigma^2I_n$ tidak diperlukan untuk mendefinisikan proyeksi atau memecahkan kuadrat terkecil. Ketiganya diperlukan untuk distribusi eksak dan independensi yang diturunkan pada Teorema distribusi nilai suaian dan sisaan. Bila kovariansi bukan kelipatan identitas, geometri Euklides ini harus diganti oleh geometri berbobot; mengganti nama penduga tanpa mengganti metrik tidak sah.

Ruang kolom, ruang nol, dan dua rezim peringkat

Ruang nol desain dan ruang barisnya adalah

\mathcal N(X)=\{v\in\mathbb R^p:Xv=0\}, \qquad \mathcal C(X^{\mathsf T})\subseteq\mathbb R^p.

Teorema dasar aljabar linear memberi dekomposisi ortogonal

\mathbb R^p =\mathcal C(X^{\mathsf T})\oplus\mathcal N(X), \qquad \mathcal C(X^{\mathsf T})=\mathcal N(X)^\perp.

Dua rezim berikut tidak boleh dicampur.

Peringkat kolom penuh: $$r=p$$ . Maka $p\le n$ , $\mathcal N(X)=\{0\}$ , $X^{\mathsf T}X$ definit positif, dan koefisien $\beta$ teridentifikasi.
Peringkat-defisien: $$r<p$$ . Maka ada $v\ne0$ dengan $$Xv=0$$ , sehingga $X(\beta+v)=X\beta$ . Data tidak dapat membedakan $\beta$ dan $\beta+v$ . Rataan $\mu=X\beta$ tetap teridentifikasi, tetapi tidak semua fungsi koefisien teridentifikasi.

Peringkat adalah sifat ruang rataan, bukan sifat algoritme. Menghapus sebuah kolom, memilih kendala koefisien, atau memakai pseudoinvers dapat memilih satu wakil dari kelas koefisien ekuivalen, tetapi tidak menciptakan informasi yang tidak ada dalam distribusi data.

Teorema proyeksi ortogonal pada ruang desain

Ambil matriks $Q\in\mathbb R^{n\times r}$ yang kolom-kolomnya membentuk basis ortonormal bagi $\mathcal C$ , sehingga $Q^{\mathsf T}Q=I_r$ . Definisikan

P_X=QQ^{\mathsf T}, \qquad M_X=I_n-P_X.

Maka:

$P_X^{\mathsf T}=P_X$ dan $$P_X^2=P_X$$ ;
$\mathcal C(P_X)=\mathcal C(X)$ dan $\mathcal N(P_X)=\mathcal C(X)^\perp$ ;
$M_X^{\mathsf T}=M_X$ , $$M_X^2=M_X$$ , dan $$P_XM_X=M_XP_X=0$$ ;
setiap $y\in\mathbb R^n$ mempunyai dekomposisi unik $$y=P_Xy+M_Xy$$ , dengan $P_Xy\in\mathcal C(X)$ dan $M_Xy\in\mathcal C(X)^\perp$ ; dan
$$P_X$$ tidak bergantung pada pilihan basis ortonormal $$Q$$ .

Bukti

Simetri langsung mengikuti $(QQ^{\mathsf T})^{\mathsf T}=QQ^{\mathsf T}$ . Idempotensi mengikuti

P_X^2=QQ^{\mathsf T}QQ^{\mathsf T} =Q(Q^{\mathsf T}Q)Q^{\mathsf T}=QQ^{\mathsf T}=P_X.

Setiap $P_Xy=Q(Q^{\mathsf T}y)$ berada dalam ruang yang direntang oleh kolom-kolom $$Q$$ . Sebaliknya, jika $z=Qa\in\mathcal C(X)$ , maka $P_Xz=QQ^{\mathsf T}Qa=Qa=z$ , sehingga citra $$P_X$$ tepat $\mathcal C(X)$ . Selanjutnya,

P_Xy=0 \iff Q^{\mathsf T}y=0 \iff y\perp\mathcal C(X).

Sifat $$M_X$$ diperoleh dari $$M_X=I-P_X$$ :

M_X^2=I-2P_X+P_X^2=I-P_X=M_X, \quad P_XM_X=P_X-P_X^2=0.

Identitas $$y=P_Xy+M_Xy$$ sudah jelas. Kedua suku ortogonal karena $(P_Xy)^{\mathsf T}M_Xy=y^{\mathsf T}P_XM_Xy=0$ . Jika $$y=u+v$$ adalah dekomposisi lain dengan $u\in\mathcal C(X)$ dan $v\in\mathcal C(X)^\perp$ , proyeksi oleh $$P_X$$ memberi $$P_Xy=u$$ , sehingga $$u$$ dan $$v$$ unik.

Akhirnya, setiap basis ortonormal lain bagi ruang yang sama menghasilkan operator yang mempertahankan setiap vektor dalam $\mathcal C(X)$ dan memetakan setiap vektor dalam komplemen ortogonalnya ke nol. Keunikan dekomposisi tadi memaksa operator itu sama dengan $$P_X$$ . ∎

Teorema jarak minimum dan Pythagoras

Untuk setiap $y\in\mathbb R^n$ , vektor $$P_Xy$$ adalah satu-satunya titik dalam $\mathcal C(X)$ yang meminimumkan jarak Euklides ke $$y$$ . Lebih tepat, untuk setiap $z\in\mathcal C(X)$ ,

\|y-z\|^2 =\|M_Xy\|^2+\|P_Xy-z\|^2.

Karena itu nilai minimum adalah $\|M_Xy\|^2$ , dicapai hanya pada $$z=P_Xy$$ .

Bukti

Tulis

\[y-z=M_Xy+(P_Xy-z).\]

Suku pertama berada dalam $\mathcal C(X)^\perp$ , sedangkan suku kedua berada dalam $\mathcal C(X)$ . Keduanya ortogonal, sehingga teorema Pythagoras memberi identitas. Suku kedua tidak negatif dan nol tepat ketika $$z=P_Xy$$ . ∎

Teorema persamaan normal

Untuk data tetap $$y$$ , pernyataan berikut ekuivalen bagi $\widehat\beta\in\mathbb R^p$ .

$\widehat\beta$ meminimumkan $S(b)=\|y-Xb\|^2$ atas semua $b\in\mathbb R^p$ .
Sisaan $y-X\widehat\beta$ ortogonal terhadap setiap kolom $$X$$ .
Persamaan normal berlaku:

X^{\mathsf T}X\widehat\beta=X^{\mathsf T}y.

Nilai suaiannya adalah proyeksi unik $X\widehat\beta=P_Xy$ .

Persamaan normal selalu mempunyai sedikitnya satu solusi, termasuk ketika $$X$$ peringkat-defisien. Semua solusinya menghasilkan nilai suaian dan sisaan yang sama.

Bukti

Menurut Teorema jarak minimum dan Pythagoras, meminimumkan $\|y-Xb\|^2$ atas $$b$$ sama dengan memilih titik terdekat dari $\mathcal C(X)$ , yaitu $$P_Xy$$ . Karena $P_Xy\in\mathcal C(X)$ , ada sedikitnya satu $\widehat\beta$ dengan $X\widehat\beta=P_Xy$ . Ini sekaligus membuktikan eksistensi solusi kuadrat-terkecil dan ekuivalensi pernyataan 1 dan 4.

Jika 4 berlaku, sisaannya $$M_Xy$$ , yang ortogonal terhadap ruang kolom; maka 2 berlaku. Pernyataan 2 berarti

X^{\mathsf T}(y-X\widehat\beta)=0,

yang tepat sama dengan 3. Sebaliknya, 3 membuat sisaan ortogonal terhadap ruang kolom, sehingga dekomposisi unik pada Teorema proyeksi ortogonal pada ruang desain memaksa $X\widehat\beta=P_Xy$ . Jadi keempatnya ekuivalen.

Jika $$b_1$$ dan $$b_2$$ sama-sama solusi, maka $$Xb_1=Xb_2=P_Xy$$ . Sebaliknya, setiap $$b_2=b_1+v$$ dengan $v\in\mathcal N(X)$ memberi nilai suaian yang sama dan juga solusi. Jadi himpunan solusi adalah $b_1+\mathcal N(X)$ . ∎

Korolari fungsi kemungkinan Gaussian

Untuk $\sigma^2>0$ tetap, himpunan nilai $\beta$ yang memaksimumkan fungsi kemungkinan tepat sama dengan himpunan seluruh solusi kuadrat-terkecil. Jika desain berperingkat kolom penuh, MLE bagi $\beta$ tunggal. Jika desain berperingkat-defisien, fungsi kemungkinan mencapai nilai maksimum yang sama pada seluruh kelas $\widehat\beta+\mathcal N(X)$ ; hanya MLE bagi rataan model, $X\widehat\beta=P_XY$ , yang tunggal.

Bukti

Fungsi log-kemungkinan, selain konstanta yang tidak bergantung pada parameter, adalah

\ell(\beta,\sigma^2;Y) =-\frac n2\log\sigma^2 -\frac1{2\sigma^2}\|Y-X\beta\|^2.

Untuk $\sigma^2$ tetap, memaksimalkan ekspresi ini sama dengan meminimumkan $\|Y-X\beta\|^2$ . Karakterisasi dan himpunan solusi pada Teorema persamaan normal memberi seluruh kesimpulan. ∎

Skor, informasi Fisher, dan peringkat

Untuk $\sigma^2$ diketahui, skor koefisien dan informasi Fishernya adalah

U_\beta(\beta) =\frac1{\sigma^2}X^{\mathsf T}(Y-X\beta), \qquad I_{\beta\beta} =\frac1{\sigma^2}X^{\mathsf T}X.

Jadi persamaan skor tepat sama dengan persamaan normal. Informasi $I_{\beta\beta}$ nonsingular jika dan hanya jika $$X$$ berperingkat kolom penuh. Pada peringkat-defisien, setiap $v\in\mathcal N(X)$ memenuhi $I_{\beta\beta}v=0$ : fungsi kemungkinan datar pada arah koefisien yang tidak teridentifikasi. Ini adalah bentuk konkret informasi singular pada definisi Definisi: informasi Fisher yang diharapkan dan informasi teramati, bukan kegagalan numerik yang boleh disembunyikan dengan ambang toleransi dalam perhitungan invers semu.

Kasus peringkat kolom penuh

Teorema solusi tunggal peringkat penuh

Jika $\operatorname{rank}(X)=p$ , maka $X^{\mathsf T}X$ definit positif dan dapat dibalik. Solusi kuadrat-terkecil tunggal, nilai suaian, dan sisaan adalah

\widehat\beta =(X^{\mathsf T}X)^{-1}X^{\mathsf T}y, \qquad \widehat y=P_Xy, \qquad e=M_Xy,

dengan

P_X=X(X^{\mathsf T}X)^{-1}X^{\mathsf T}.

Bukti

Untuk setiap $v\ne0$ , peringkat kolom penuh memberi $Xv\ne0$ , sehingga

v^{\mathsf T}X^{\mathsf T}Xv=\|Xv\|^2>0.

Jadi $X^{\mathsf T}X$ definit positif dan inversnya ada. Mengalikan persamaan normal dari kiri dengan invers tersebut memberi solusi yang dinyatakan. Nilai suaiannya adalah hasil kali $X\widehat\beta$ , sehingga matriks yang memetakan $$y$$ ke nilai suaian adalah formula $$P_X$$ di atas. Formula itu simetris, idempoten, dan citranya $\mathcal C(X)$ , jadi sama dengan proyektor unik pada Teorema proyeksi ortogonal pada ruang desain. ∎

Contoh peringkat penuh: regresi sederhana dengan prediktor terpusat

Ambil

X= \begin{pmatrix} 1&-1\\ 1&0\\ 1&1 \end{pmatrix}, \qquad y= \begin{pmatrix}1\\2\\4\end{pmatrix}.

Kedua kolom ortogonal dan

X^{\mathsf T}X= \begin{pmatrix}3&0\\0&2\end{pmatrix}, \qquad X^{\mathsf T}y= \begin{pmatrix}7\\3\end{pmatrix}.

Maka

\widehat\beta= \begin{pmatrix}7/3\\3/2\end{pmatrix}, \quad \widehat y= \begin{pmatrix}5/6\\7/3\\23/6\end{pmatrix}, \quad e= \begin{pmatrix}1/6\\-1/3\\1/6\end{pmatrix}.

Persamaan normal dapat dilihat tanpa perkalian matriks tambahan: $\sum_i e_i=0$ dan $\sum_i x_ie_i=0$ . Jadi sisaan ortogonal terhadap kolom intersep dan kolom prediktor. Jumlah kuadrat sisaan adalah $$1/6$$ . Karena prediktor terpusat, intersep taksiran sama dengan $\bar y=7/3$ .

Peringkat penuh bukan berarti berkondisi baik

Invers dapat ada tetapi sangat tidak stabil. Misalkan dua kolom $$x_1,x_2$$ telah dinormalisasi sehingga $\|x_1\|=\|x_2\|=1$ , dan $x_1^{\mathsf T}x_2=\rho$ . Blok Gramnya adalah

G= \begin{pmatrix}1&\rho\\\rho&1\end{pmatrix},

dengan nilai eigen $1+\rho$ dan $1-\rho$ . Ketika $|\rho|$ mendekati satu, nilai eigen terkecil mendekati nol dan varians koefisien pada arah hampir-kolinear membesar seperti $1/(1-|\rho|)$ . Jadi pemeriksaan biner “invers ada” tidak cukup; spektrum, angka kondisi, skala kolom, dan tujuan estimasi juga perlu dilaporkan.

Kasus peringkat-defisien dan pseudoinvers

Ambil dekomposisi nilai singular tipis

X=U_rD_rV_r^{\mathsf T},

dengan $U_r^{\mathsf T}U_r=I_r$ , $V_r^{\mathsf T}V_r=I_r$ , dan $$D_r$$ diagonal dengan entri positif. Pseudoinvers Moore--Penrose adalah

X^+=V_rD_r^{-1}U_r^{\mathsf T}.

Definisi ini juga berlaku pada kasus peringkat penuh. Dua proyektor pentingnya adalah

XX^+=U_rU_r^{\mathsf T}=P_X, \qquad X^+X=V_rV_r^{\mathsf T}=P_{\mathrm{row}},

di mana $P_{\mathrm{row}}$ memproyeksikan $\mathbb R^p$ ke $\mathcal C(X^{\mathsf T})$ .

Teorema seluruh solusi kuadrat-terkecil

Untuk desain dengan peringkat berapa pun, seluruh solusi persamaan normal dapat ditulis

\widehat\beta_z =X^+y+(I_p-X^+X)z, \qquad z\in\mathbb R^p.

Semua solusi menghasilkan nilai suaian $$P_Xy$$ . Pilihan $\widehat\beta^+=X^+y$ adalah satu-satunya solusi dengan norma Euklides terkecil dan satu-satunya solusi yang berada dalam $\mathcal C(X^{\mathsf T})$ .

Bukti

Karena $$I_p-X^+X$$ adalah proyektor ke $\mathcal N(X)$ ,

X\widehat\beta_z =XX^+y+X(I_p-X^+X)z =P_Xy.

Jadi setiap vektor yang ditampilkan adalah solusi. Sebaliknya, jika $$b$$ solusi, Teorema persamaan normal memberi $$Xb=P_Xy=XX^+y$$ , sehingga $b-X^+y\in\mathcal N(X)$ . Setiap vektor dalam ruang nol adalah hasil $$(I_p-X^+X)z$$ , jadi bentuk di atas mencakup seluruh solusi.

Vektor $$X^+y$$ berada di ruang baris, sedangkan $$(I_p-X^+X)z$$ berada di ruang nol. Kedua ruang itu ortogonal. Karena itu

\|\widehat\beta_z\|^2 =\|X^+y\|^2+\|(I_p-X^+X)z\|^2,

yang minimum tepat ketika komponen ruang nol sama dengan nol. ∎

Keterestimasi fungsi linear

Fungsi linear $a^{\mathsf T}\beta$ , dengan $a\in\mathbb R^p$ , disebut terestimasi secara linear bila ada $c\in\mathbb R^n$ sehingga $c^{\mathsf T}Y$ tak bias untuk $a^{\mathsf T}\beta$ bagi setiap $\beta$ :

E_\beta(c^{\mathsf T}Y)=a^{\mathsf T}\beta.

Istilah ini menyatakan bahwa target ditentukan oleh distribusi observasi. Pada desain peringkat penuh setiap $$a$$ memenuhi syarat; pada desain peringkat-defisien hanya arah tertentu yang memenuhi.

Teorema kriteria keterestimasi

Untuk $a\in\mathbb R^p$ , pernyataan berikut ekuivalen.

$a^{\mathsf T}\beta$ terestimasi secara linear.
$a\in\mathcal C(X^{\mathsf T})$ .
$a\perp\mathcal N(X)$ .
$a^{\mathsf T}\beta$ mempunyai nilai yang sama untuk setiap pasangan $\beta_1,\beta_2$ yang memenuhi $X\beta_1=X\beta_2$ .

Jika syarat ini berlaku, $a^{\mathsf T}\widehat\beta$ sama untuk setiap solusi kuadrat-terkecil dan dapat dihitung sebagai

\widehat\tau_a=a^{\mathsf T}X^+Y.

Bukti

Penduga $c^{\mathsf T}Y$ tak bias bagi target untuk setiap $\beta$ tepat ketika

c^{\mathsf T}X\beta=a^{\mathsf T}\beta \quad\text{untuk setiap }\beta,

atau, secara ekuivalen, $X^{\mathsf T}c=a$ . Jadi 1 ekuivalen dengan $a\in\mathcal C(X^{\mathsf T})$ , yaitu 2. Dekomposisi ortogonal pada Ruang kolom, ruang nol, dan dua rezim peringkat membuat 2 ekuivalen dengan 3.

Jika $X\beta_1=X\beta_2$ , selisih $v=\beta_1-\beta_2$ berada di $\mathcal N(X)$ . Maka target sama pada kedua representasi tepat ketika $a^{\mathsf T}v=0$ bagi setiap $v\in\mathcal N(X)$ , yang ekuivalen dengan 3. Ini membuktikan 4.

Untuk solusi kuadrat-terkecil apa pun, $\widehat\beta=X^+Y+v$ dengan $v\in\mathcal N(X)$ . Jika $$a$$ terestimasi, $a^{\mathsf T}v=0$ , sehingga semua solusi memberi $a^{\mathsf T}\widehat\beta=a^{\mathsf T}X^+Y$ . ∎

Contoh peringkat-defisien: intersep dan seluruh indikator kelompok

Misalkan observasi berasal dari dua kelompok yang masing-masing mempunyai sedikitnya satu observasi, dengan indikator $$g_0$$ dan $$g_1$$ . Desain memakai tiga kolom

X=(\mathbf1, g_0,g_1).

Karena $\mathbf1=g_0+g_1$ , peringkat $$X$$ hanya dua. Vektor

v=(1,-1,-1)^{\mathsf T}

berada dalam $\mathcal N(X)$ . Jadi intersep dan dua efek kelompok secara individual tidak teridentifikasi. Menambahkan $$t v$$ pada koefisien tidak mengubah satu pun nilai suaian.

Namun rataan kelompok 0 mempunyai vektor target $a_0=(1,1,0)^{\mathsf T}$ , rataan kelompok 1 mempunyai $a_1=(1,0,1)^{\mathsf T}$ , dan kontrasnya mempunyai $a_1-a_0=(0,-1,1)^{\mathsf T}$ . Ketiganya ortogonal terhadap $$v$$ , jadi terestimasi menurut Teorema kriteria keterestimasi. Taksirannya adalah dua rataan sampel kelompok dan selisih kedua rataan tersebut, tidak bergantung pada apakah perangkat lunak menghapus intersep, menghapus satu indikator, atau memilih solusi norma-minimum.

Contoh tandingan: koefisien yang dicetak belum tentu merupakan target yang teridentifikasi

Ambil dua kolom desain yang identik, $$X=(x,x)$$ . Rataan model adalah

X\beta=x(\beta_1+\beta_2).

Hanya jumlah $\beta_1+\beta_2$ yang teridentifikasi. Jika suatu algoritme memilih $\widehat\beta_2=0$ , pilihan itu tidak membuktikan bahwa efek kedua nol; algoritme hanya memilih satu wakil dari garis solusi. Vektor target bagi $\beta_1$ adalah $(1,0)^{\mathsf T}$ , yang tidak ortogonal terhadap $(1,-1)^{\mathsf T}\in\mathcal N(X)$ , sehingga $\beta_1$ tidak terestimasi. Sebaliknya, $(1,1)^{\mathsf T}\beta$ terestimasi. Galat baku atau nilai-p untuk satu koefisien arbitrer tidak memperbaiki kegagalan identifikasi ini.

Distribusi Gaussian dari nilai suaian dan sisaan

Teorema distribusi nilai suaian dan sisaan

Di bawah Model dan asumsi dasar, untuk peringkat $r=\operatorname{rank}(X)$ ,

\widehat\mu=P_XY\sim N_n(X\beta,\sigma^2P_X),

e=M_XY\sim N_n(0,\sigma^2M_X).

Vektor $\widehat\mu$ dan $$e$$ independen. Selanjutnya,

\operatorname{SSE}=e^{\mathsf T}e=Y^{\mathsf T}M_XY, \qquad \frac{\operatorname{SSE}}{\sigma^2}\sim\chi^2_{n-r}.

Jika $$r<n$$ , maka

s^2=\frac{\operatorname{SSE}}{n-r}

tak bias bagi $\sigma^2$ dan independen dari setiap fungsi terukur dari nilai suaian.

Bukti

Karena $X\beta\in\mathcal C(X)$ , $P_XX\beta=X\beta$ dan $M_XX\beta=0$ . Transformasi linear dari vektor Gaussian memberi

P_XY=X\beta+P_X\varepsilon, \qquad M_XY=M_X\varepsilon,

dengan kovariansi yang dinyatakan. Kovariansi silang keduanya adalah

\operatorname{Cov}(P_XY,M_XY) =\sigma^2P_XM_X=0.

Karena keduanya memiliki distribusi Gaussian gabungan, kovariansi nol menyiratkan independensi.

Pilih matriks ortogonal $$U$$ yang mendiagonalkan proyektor simetris $$M_X$$ . Nilai eigennya hanya nol atau satu; jejak dan peringkatnya adalah $$n-r$$ . Jadi

U^{\mathsf T}M_XU= \operatorname{diag}(I_{n-r},0_r).

Dengan $Z=U^{\mathsf T}\varepsilon/\sigma\sim N_n(0,I_n)$ ,

\frac{\operatorname{SSE}}{\sigma^2} =\frac{\varepsilon^{\mathsf T}M_X\varepsilon}{\sigma^2} =\sum_{j=1}^{n-r}Z_j^2 \sim\chi^2_{n-r}.

Harapan SSE adalah $(n-r)\sigma^2$ , sehingga $$s^2$$ tak bias. Karena SSE merupakan fungsi sisaan dan sisaan independen dari nilai suaian, pernyataan independensi terakhir juga berlaku. ∎

Teorema distribusi koefisien dan fungsi terestimasi

Jika $$X$$ berperingkat kolom penuh,

\widehat\beta =(X^{\mathsf T}X)^{-1}X^{\mathsf T}Y \sim N_p\!\left(\beta, \sigma^2(X^{\mathsf T}X)^{-1}\right).

Jika $$X$$ peringkat-defisien dan $a^{\mathsf T}\beta$ terestimasi, maka $a^{\mathsf T}\widehat\beta$ , yang bernilai sama untuk setiap solusi kuadrat-terkecil, mempunyai distribusi

\widehat\tau_a=a^{\mathsf T}X^+Y \sim N\!\left(a^{\mathsf T}\beta, \sigma^2a^{\mathsf T}(X^{\mathsf T}X)^+a\right).

Jika $a^{\mathsf T}\beta$ tidak terestimasi, $a^{\mathsf T}X^+Y$ umumnya menaksir $a^{\mathsf T}X^+X\beta$ , bukan $a^{\mathsf T}\beta$ .

Bukti

Pada peringkat penuh,

\widehat\beta =\beta+(X^{\mathsf T}X)^{-1}X^{\mathsf T}\varepsilon.

Karena $\varepsilon$ Gaussian, transformasi linear di atas menghasilkan rataan $\beta$ dan kovariansi

\sigma^2(X^{\mathsf T}X)^{-1}X^{\mathsf T}X (X^{\mathsf T}X)^{-1} =\sigma^2(X^{\mathsf T}X)^{-1}.

Pada peringkat-defisien, keterestimasi memberi $a\in\mathcal C(X^{\mathsf T})$ , sehingga $a^{\mathsf T}X^+X=a^{\mathsf T}$ . Maka

E(a^{\mathsf T}X^+Y) =a^{\mathsf T}X^+X\beta =a^{\mathsf T}\beta.

Dari SVD, $X^+(X^+)^{\mathsf T}=(X^{\mathsf T}X)^+$ . Karena itu variansnya adalah

\sigma^2a^{\mathsf T}X^+(X^+)^{\mathsf T}a =\sigma^2a^{\mathsf T}(X^{\mathsf T}X)^+a.

Normalitas kembali mengikuti sifat transformasi linear atas vektor Gaussian. Jika $$a$$ tidak berada dalam ruang baris, penduga tersebut tidak lagi tak bias bagi $a^{\mathsf T}\beta$ ; biasnya berasal dari komponen $$a$$ dalam ruang nol. ∎

MLE varians dan derajat bebas

Untuk $$r<n$$ dan SSE positif, memaksimalkan fungsi kemungkinan Gaussian setelah menaksir rataan memberi

\widehat\sigma^2_{\mathrm{MLE}}=\frac{\operatorname{SSE}}n.

Nilai ini berbeda dari penduga tak bias $s^2=\operatorname{SSE}/(n-r)$ . Memang,

E(\widehat\sigma^2_{\mathrm{MLE}}) =\frac{n-r}{n}\sigma^2.

Perbedaan penyebut bukan salah ketik: MLE tidak wajib tak bias. Jika $$r=n$$ , model rataan jenuh memberi SSE nol untuk setiap data dan fungsi kemungkinan meningkat tanpa batas saat $\sigma^2\downarrow0$ ; tidak ada MLE interior positif bagi varians. Derajat bebas sisaan nol juga berarti data tidak menyediakan penaksir varians internal.

Dekomposisi geometris jumlah kuadrat

Teorema dekomposisi tak terpusat

Untuk desain dan data apa pun,

\|Y\|^2 =\|P_XY\|^2+\|M_XY\|^2.

Identitas ini selalu benar, termasuk tanpa intersep dan pada desain peringkat-defisien.

Bukti

Dekomposisi $$Y=P_XY+M_XY$$ mempunyai dua komponen ortogonal menurut Teorema proyeksi ortogonal pada ruang desain. Menguadratkan norma dan menghapus suku silang memberi hasil. ∎

Teorema dekomposisi ANOVA terpusat

Andaikan kolom konstan $\mathbf1_n$ berada dalam $\mathcal C(X)$ . Tuliskan $\bar Y=n^{-1}\mathbf1_n^{\mathsf T}Y$ . Maka

\underbrace{\|Y-\bar Y\mathbf1_n\|^2}_{\mathrm{SST}} = \underbrace{\|P_XY-\bar Y\mathbf1_n\|^2}_{\mathrm{SSR}} + \underbrace{\|M_XY\|^2}_{\mathrm{SSE}}.

Dimensi geometris yang bersesuaian adalah $$n-1=(r-1)+(n-r)$$ . Identitas ini tetap benar bila desain berperingkat-defisien, selama ruang kolom memuat intersep.

Bukti

Karena $\mathbf1_n\in\mathcal C(X)$ , sisaan ortogonal terhadap $\mathbf1_n$ , sehingga $\mathbf1_n^{\mathsf T}M_XY=0$ . Selain itu,

Y-\bar Y\mathbf1_n =(P_XY-\bar Y\mathbf1_n)+M_XY.

Suku pertama berada dalam $\mathcal C(X)$ , sedangkan suku kedua berada dalam komplemen ortogonalnya. Pythagoras memberi identitas jumlah kuadrat. Setelah arah konstan berdimensi satu dipisahkan dari ruang kolom, subruang nilai suaian terpusat berdimensi $$r-1$$ , sedangkan ruang sisaan berdimensi $$n-r$$ . Jumlahnya $$n-1$$ , dimensi ruang semua vektor terpusat. ∎

Pada data Contoh peringkat penuh: regresi sederhana dengan prediktor terpusat,

\mathrm{SST}=\frac{14}{3}, \qquad \mathrm{SSR}=\frac92, \qquad \mathrm{SSE}=\frac16,

dan $$14/3=9/2+1/6$$ .

Contoh tandingan: dekomposisi terpusat tanpa intersep

Ambil

X=\begin{pmatrix}1\\0\end{pmatrix}, \qquad y=\begin{pmatrix}1\\1\end{pmatrix}.

Maka $P_Xy=(1,0)^{\mathsf T}$ , sisaan $e=(0,1)^{\mathsf T}$ , dan dekomposisi tak terpusat benar: $\|y\|^2=2=1+1$ . Namun $\bar y=1$ , sehingga SST terpusat nol, sementara SSE sama dengan satu. Jadi rumus $\mathrm{SST}=\mathrm{SSR}+\mathrm{SSE}$ terpusat tidak mungkin berlaku. Kegagalannya berasal dari $\mathbf1_2\notin\mathcal C(X)$ , bukan dari pembulatan. Melaporkan $R^2=1-\mathrm{SSE}/\mathrm{SST}$ dalam contoh ini bahkan tidak terdefinisi.

Teorema dekomposisi model bersarang

Misalkan $\mathcal C_0\subseteq\mathcal C_1$ adalah dua ruang model dengan peringkat $r_0\le r_1$ , proyektor $$P_0,P_1$$ , dan $$M_j=I-P_j$$ . Maka

\[D=P_1-P_0\]

adalah proyektor ortogonal berperingkat $$r_1-r_0$$ ke $\mathcal C_1\cap\mathcal C_0^\perp$ . Selain itu,

M_0=D+M_1, \qquad DM_1=M_1D=0,

dan

\operatorname{SSE}_0 -\operatorname{SSE}_1 =Y^{\mathsf T}(P_1-P_0)Y =\|DY\|^2.

Di bawah model Gaussian dan hipotesis nol $E(Y)\in\mathcal C_0$ ,

\frac{Y^{\mathsf T}DY}{\sigma^2} \sim\chi^2_{r_1-r_0}, \qquad \frac{Y^{\mathsf T}M_1Y}{\sigma^2} \sim\chi^2_{n-r_1},

dan kedua jumlah kuadrat independen.

Bukti

Inklusi ruang memberi $$P_1P_0=P_0P_1=P_0$$ . Maka $$D$$ simetris dan

\[D^2 =P_1-P_1P_0-P_0P_1+P_0 =P_1-P_0=D.\]

Jadi $$D$$ proyektor ortogonal. Ia mempertahankan komponen dalam $\mathcal C_1$ yang ortogonal terhadap $\mathcal C_0$ dan memetakan $\mathcal C_0$ serta $\mathcal C_1^\perp$ ke nol; peringkatnya adalah selisih dimensi. Identitas $$M_0=D+M_1$$ diperoleh dengan menjumlahkan $$P_1-P_0$$ dan $$I-P_1$$ . Perkalian langsung memberi $$DM_1=0$$ , sehingga

\|M_0Y\|^2=\|DY\|^2+\|M_1Y\|^2.

Ini sama dengan identitas SSE. Di bawah hipotesis nol, $$DE(Y)=0$$ dan $$M_1E(Y)=0$$ . Argumen diagonal proyektor pada Bukti memberi dua distribusi khi-kuadrat dengan derajat bebas masing-masing $$r_1-r_0$$ dan $$n-r_1$$ . Kovariansi silang antara kedua transformasi Gaussian tersebut adalah $\sigma^2DM_1=0$ , sehingga keduanya independen. ∎

Contoh tandingan: “lebih banyak kolom” belum tentu model lebih besar

Menambahkan sebuah kolom yang sudah merupakan kombinasi linear dari kolom-kolom lama tidak mengubah $\mathcal C(X)$ , proyektor, nilai suaian, SSE, atau nilai maksimum fungsi kemungkinan. Jumlah kolom $$p$$ bertambah, tetapi peringkat $$r$$ tetap. Karena itu derajat bebas untuk membandingkan model adalah selisih peringkat, bukan selisih jumlah koefisien yang dituliskan. Menghitung satu derajat bebas tambahan untuk kolom redundan akan menciptakan arah dalam ruang data yang sebenarnya tidak ada.

Prosedur audit model linear berdesain tetap

Tetapkan matriks desain yang benar-benar digunakan, termasuk intersep, pengodean kategori, interaksi, bobot, dan baris yang dibuang.
Hitung peringkat dan ruang nol; jangan mulai dengan invers $X^{\mathsf T}X$ .
Nyatakan ruang rataan $\mathcal C(X)$ . Dua parameterisasi dengan ruang kolom sama adalah model distribusi yang sama meskipun koefisiennya berbeda.
Bangun proyektor dari QR/SVD yang stabil. Gunakan formula invers hanya setelah peringkat penuh dan kondisi numerik diperiksa.
Verifikasi persamaan normal melalui ortogonalitas sisaan, bukan hanya pesan “optimisasi berhasil”.
Pada peringkat-defisien, nyatakan ruang nol dan buktikan bahwa vektor $$a$$ bagi setiap target linear $a^{\mathsf T}\beta$ berada dalam $\mathcal C(X^{\mathsf T})$ sebelum memberi taksiran atau galat baku.
Bedakan nilai suaian unik, sisaan unik, solusi koefisien yang mungkin tidak unik, dan solusi pseudoinvers bernorma minimum.
Sebelum memakai hukum eksak, periksa linearitas rataan, desain tetap, Gaussianitas, kovariansi $\sigma^2I$ , dan derajat bebas sisaan positif.
Gunakan dekomposisi terpusat hanya bila intersep berada dalam ruang kolom. Untuk model bersarang, gunakan selisih peringkat.
Laporkan apakah kesimpulan merupakan identitas aljabar, hasil bersyarat pada desain, atau inferensi distribusional. Ketiganya bukan sinonim.

Kesalahan penalaran yang harus dihindari

“Pseudoinvers membuat semua koefisien teridentifikasi.” Salah. Pseudoinvers memilih solusi; keterestimasi tetap ditentukan oleh ruang baris pada Teorema kriteria keterestimasi.
“Nilai suaian tidak unik jika koefisien tidak unik.” Salah. Semua solusi persamaan normal menghasilkan proyeksi unik $$P_XY$$ .
“Peringkat penuh menjamin galat baku kecil.” Salah. Desain yang hampir kolinear dapat membuat $(X^{\mathsf T}X)^{-1}$ mempunyai nilai eigen sangat besar.
“Sisaan Gaussian otomatis independen dari data.” Salah. Sisaan adalah fungsi data. Ia independen dari nilai suaian karena proyeksi ortogonal dan Gaussianitas, bukan independen dari $$Y$$ sendiri.
“Penyebut MLE varians harus $$n-r$$ .” Salah. $$n-r$$ menghasilkan penduga tak bias; MLE memakai $$n$$ dalam model biasa dengan SSE positif.
“ANOVA terpusat selalu berlaku.” Salah tanpa intersep atau syarat ekuivalen $\mathbf1_n\in\mathcal C(X)$ .
“Jumlah kolom adalah dimensi model.” Salah pada peringkat-defisien; dimensinya adalah peringkat ruang kolom.

Ringkasan

Kuadrat terkecil adalah proyeksi ortogonal data ke ruang kolom desain.
Persamaan normal menyatakan bahwa sisaan ortogonal terhadap setiap arah dalam ruang rataan model.
Pada peringkat penuh, koefisien unik dan formula invers biasa sah; pada peringkat-defisien, hanya nilai suaian serta fungsi koefisien yang berada di ruang baris yang teridentifikasi.
Pseudoinvers memberi solusi norma-minimum dan proyektor yang benar, tetapi tidak menambah informasi statistik.
Di bawah Gaussianitas, nilai suaian dan sisaan independen, SSE berskala khi-kuadrat dengan $$n-r$$ derajat bebas, dan setiap fungsi terestimasi mempunyai distribusi normal eksak.
Dekomposisi tak terpusat selalu berlaku; dekomposisi ANOVA terpusat memerlukan intersep; dekomposisi model bersarang memakai selisih peringkat.

Materi ini adalah prosa orisinal CC BY-SA 4.0. Ia memakai hasil aljabar linear B40 dan fondasi inferensi C1, tetapi tidak menyalin atau menyamarkan prosa Penn State maupun donor Random.