O006-C140-CMP-D010 · id-ID · CC BY-SA 4.0 · OpenAI Codex gpt-5.6-sol, Ultra

Inferensi eksak pada sampel berhingga dari geometri Gaussian

Inferensi regresi yang disebut “eksak” bukanlah kumpulan rumus terpisah. Semua hukum $$t$$ , $$F$$ , khi-kuadrat, ANOVA, interval kepercayaan, dan interval prediksi dalam bab ini berasal dari satu fakta geometris: vektor normal sferis yang diproyeksikan ke subruang ortogonal menghasilkan komponen normal yang independen. Peringkat setiap proyeksi menjadi derajat bebasnya.

Kata eksak di sini berarti distribusi pada sampel berhingga, bersyarat pada matriks desain yang tetap. Ia tidak berarti tahan terhadap kesalahan spesifikasi. Setiap hasil akan menyebut syarat peringkat, ruang rataan, kenormalan, homoskedastisitas, dan independensi yang membuat distribusinya benar.

Model, peringkat, dan ruang yang diproyeksikan

Ambil model linear Gaussian berdesain tetap

Y=X\beta+\varepsilon, \qquad \varepsilon\sim N_n(0,\sigma^2I_n), \qquad \sigma^2>0,

dengan $Y\in\mathbb R^n$ , matriks nonacak $X\in\mathbb R^{n\times p}$ , dan

r=\operatorname{rank}(X),\qquad 1\le r<n.

Ketaksamaan $$r<n$$ wajib untuk mengestimasi $\sigma^2$ dari sisaan. Kita tidak langsung mengasumsikan $$r=p$$ : bentuk proyeksi tetap sah ketika kolom-kolom $$X$$ bergantung secara linear, sedangkan rumus koefisien biasa akan diberi syarat peringkat penuh secara terpisah.

Tuliskan $\mathcal S=\mathcal C(X)$ untuk ruang kolom $$X$$ , $$X^+$$ untuk pseudoinvers Moore–Penrose, dan

P_X=XX^+, \qquad M_X=I_n-P_X.

$$P_X$$ adalah proyektor ortogonal ke $\mathcal S$ dan $$M_X$$ proyektor ortogonal ke $\mathcal S^\perp$ . Karena itu

P_X^\top=P_X,\qquad P_X^2=P_X,\qquad M_X^\top=M_X,\qquad M_X^2=M_X,\qquad P_XM_X=0,

dengan $\operatorname{rank}(P_X)=r$ dan $\operatorname{rank}(M_X)=n-r$ .

Nilai suaian unik dan fungsi linear yang terestimasi

Jika $$r<p$$ , parameter $\beta$ tidak teridentifikasi secara unik: dua vektor yang berbeda dapat memberi rataan $X\beta$ yang sama. Namun nilai suaian dan sisaan selalu unik,

\widehat\mu=P_XY, \qquad e=M_XY=Y-\widehat\mu.

Fungsi $c^\top\beta$ disebut terestimasi (dapat diestimasi) tepat ketika

c\in\mathcal C(X^\top).

Ekuivalennya, terdapat $a\in\mathbb R^n$ sehingga $c=X^\top a$ ; lalu $c^\top\beta=a^\top X\beta$ hanya bergantung pada rataan teridentifikasi. Apabila $c\notin\mathcal C(X^\top)$ , tidak ada data dari model ini yang dapat membedakan seluruh nilai $c^\top\beta$ yang mungkin. Interval kepercayaan untuk target semacam itu bukan sekadar sulit: targetnya tidak teridentifikasi.

Hukum proyeksi normal dan kuadrat normanya

Misalkan secara lebih umum

Y\sim N_n(\mu,\sigma^2I_n)

dan $$P$$ matriks simetris-idempoten dengan peringkat $$k$$ . Maka

PY\sim N_n(P\mu,\sigma^2P)

sebagai distribusi normal yang mungkin degenerat, dan

\frac{Y^\top PY}{\sigma^2} =\frac{\lVert PY\rVert^2}{\sigma^2} \sim\chi^2_k(\lambda), \qquad \lambda=\frac{\mu^\top P\mu}{\sigma^2}.

Distribusi itu sentral tepat ketika $P\mu=0$ . Jika $$P$$ dan $$Q$$ keduanya proyektor ortogonal dan $$PQ=0$$ , maka $$PY$$ dan $$QY$$ independen; akibatnya $Y^\top PY$ dan $Y^\top QY$ juga independen.

Bukti

Pilih matriks $U\in\mathbb R^{n\times k}$ dengan kolom ortonormal yang merentang citra $$P$$ . Maka $P=UU^\top$ . Lengkapi $$U$$ menjadi matriks ortogonal $O=[U\;U_\perp]$ . Karena transformasi ortogonal mempertahankan kovarians sferis,

O^\top Y\sim N_n(O^\top\mu,\sigma^2I_n).

Jadi koordinat $Z=U^\top Y/\sigma$ saling independen dan

Z\sim N_k(U^\top\mu/\sigma,I_k).

Selanjutnya

\frac{Y^\top PY}{\sigma^2} =\frac{Y^\top UU^\top Y}{\sigma^2} =Z^\top Z.

Jumlah kuadrat dari $$k$$ peubah normal independen dengan rataan $U^\top\mu/\sigma$ adalah khi-kuadrat nonsentral dengan parameter

\lVert U^\top\mu/\sigma\rVert^2 =\mu^\top UU^\top\mu/\sigma^2 =\mu^\top P\mu/\sigma^2.

Untuk bagian independensi, $$PQ=0$$ memberi

\operatorname{Cov}(PY,QY)=\sigma^2PQ=0.

Vektor gabungan $$(PY,QY)$$ memiliki distribusi normal multivariat. Untuk vektor dengan distribusi normal gabungan, kovarians silang nol mengimplikasikan independensi, termasuk pada dukungan linear yang degenerat. Fungsi terukur dari dua vektor independen juga independen, sehingga kedua bentuk kuadratik independen. ∎

Teorema Cochran dalam bentuk proyeksi

Misalkan $P_1,\ldots,P_m$ proyektor ortogonal yang citranya saling ortogonal:

P_iP_j=0\quad(i\ne j).

Jika $Y\sim N_n(\mu,\sigma^2I_n)$ dan $k_j=\operatorname{rank}(P_j)$ , maka bentuk-bentuk

\frac{Y^\top P_jY}{\sigma^2} \sim\chi^2_{k_j} \left(\frac{\mu^\top P_j\mu}{\sigma^2}\right), \qquad j=1,\ldots,m,

saling independen. Jika juga $\sum_{j=1}^mP_j=I_n$ , maka $\sum_jk_j=n$ dan

\lVert Y\rVert^2=\sum_{j=1}^mY^\top P_jY.

Inilah versi Teorema Cochran yang diperlukan di seluruh bab. Versi sentral diperoleh bila $P_j\mu=0$ untuk setiap kuadrat yang sedang dipakai sebagai derau murni.

Bukti

Gabungkan basis ortonormal bagi citra $P_1,\ldots,P_m$ . Karena citra-citra itu ortogonal, semua vektor basis gabungan tetap ortonormal. Lengkapi menjadi basis ortonormal $\mathbb R^n$ . Dalam koordinat basis ini, setiap $Y^\top P_jY$ adalah jumlah kuadrat dari satu blok koordinat normal yang tidak bertumpang tindih. Blok-blok koordinat normal tersebut independen, sehingga hukum marginal dan independensinya mengikuti bukti Bukti.

Jika jumlah proyektor adalah $$I_n$$ , citra-citra itu membentuk jumlah langsung ortogonal seluruh $\mathbb R^n$ . Dimensi menjumlah menjadi $$n$$ , dan identitas Pythagoras memberi dekomposisi kuadrat norma. ∎

Hukum eksak nilai suaian, sisaan, dan penduga varians sisaan

Di bawah model Model, peringkat, dan ruang yang diproyeksikan, berlaku

\widehat\mu=P_XY\sim N_n(X\beta,\sigma^2P_X),

e=M_XY\sim N_n(0,\sigma^2M_X),

dan $\widehat\mu$ independen dari $$e$$ . Lebih lanjut, dengan

\operatorname{SSE}=e^\top e=Y^\top M_XY, \qquad \nu=n-r, \qquad s^2=\frac{\operatorname{SSE}}{\nu},

kita mempunyai

\frac{\operatorname{SSE}}{\sigma^2}\sim\chi^2_\nu, \qquad E(s^2)=\sigma^2, \qquad \operatorname{Var}(s^2)=\frac{2\sigma^4}{\nu}.

$$s^2$$ independen dari setiap fungsi terukur dari $$P_XY$$ , termasuk setiap penduga linear yang dibentuk dari nilai suaian untuk menaksir fungsi terestimasi.

Bukti

Karena $X\beta\in\mathcal C(X)$ ,

P_XX\beta=X\beta, \qquad M_XX\beta=0.

Maka

P_XY=X\beta+P_X\varepsilon, \qquad M_XY=M_X\varepsilon.

Transformasi linear terhadap vektor normal memberikan kedua distribusi normal yang dinyatakan. Selain itu $$P_XM_X=0$$ , sehingga independensi mengikuti Hukum proyeksi normal dan kuadrat normanya. Proyektor $$M_X$$ berperingkat $n-r=\nu$ dan menghilangkan rataan. Teorema yang sama memberi $\operatorname{SSE}/\sigma^2\sim\chi^2_\nu$ .

Jika $U\sim\chi^2_\nu$ , maka $E(U)=\nu$ dan $\operatorname{Var}(U)=2\nu$ . Karena $s^2=\sigma^2U/\nu$ , dua momen yang dinyatakan segera mengikuti. ∎

Apa yang terjadi bila ruang rataan salah

Anggap kovarians masih $\sigma^2I_n$ dan data masih normal, tetapi rataan sebenarnya $\mu$ tidak harus berada dalam $\mathcal C(X)$ . Proyeksi tetap independen, tetapi sisaan tidak lagi merupakan derau sentral:

\frac{\operatorname{SSE}}{\sigma^2} \sim\chi^2_{n-r}(\lambda_{\mathrm{mis}}), \qquad \lambda_{\mathrm{mis}} =\frac{\lVert M_X\mu\rVert^2}{\sigma^2}.

Akibatnya

E(s^2) =\sigma^2+\frac{\lVert M_X\mu\rVert^2}{n-r}.

Jadi membagi SSE dengan derajat bebas tidak “memperbaiki” kesalahan spesifikasi. Ia tak bias bagi $\sigma^2$ hanya ketika rataan benar-benar berada di ruang model. Bentuk nonsentral ini juga menjelaskan mengapa uji ketidakcocokan model memerlukan replikasi atau struktur pembanding: satu SSE mencampur variasi acak dengan komponen rataan yang tidak tertangkap model.

Spesialisasi peringkat kolom penuh

Untuk rumus koefisien eksplisit, mulai sekarang andaikan

\operatorname{rank}(X)=p<n.

Maka

\widehat\beta=(X^\top X)^{-1}X^\top Y, \qquad \widehat\beta\sim N_p\{\beta,\sigma^2(X^\top X)^{-1}\},

dan $\widehat\beta$ independen dari $$s^2$$ . Untuk $c\in\mathbb R^p$ yang tidak nol, definisikan

v_c=c^\top(X^\top X)^{-1}c>0.

Jika $$X$$ tidak berperingkat kolom penuh, semua hasil koefisien di bawah tetap dapat dinyatakan bagi fungsi yang terestimasi dengan suatu invers umum. Namun koefisien individual yang tidak terestimasi tidak memperoleh makna hanya karena perangkat lunak memilih satu invers umum.

Hukum t dan interval kepercayaan bagi satu kontras

Di bawah Model, peringkat, dan ruang yang diproyeksikan dan Spesialisasi peringkat kolom penuh, untuk setiap $c\ne0$ ,

T_c= \frac{c^\top\widehat\beta-c^\top\beta} {s\sqrt{v_c}} \sim t_\nu, \qquad \nu=n-p.

Karena itu interval kepercayaan dua-sisi dengan peluang cakupan tepat $1-\alpha$ bagi $c^\top\beta$ adalah

c^\top\widehat\beta \;\pm\; t_{\nu,1-\alpha/2}\,s\sqrt{v_c}.

Peluang cakupan ini bersyarat pada $$X$$ dan berlaku sebelum data dipakai untuk memilih $$c$$ .

Bukti

Dari hukum normal $\widehat\beta$ ,

Z= \frac{c^\top\widehat\beta-c^\top\beta} {\sigma\sqrt{v_c}} \sim N(0,1).

Menurut Hukum eksak nilai suaian, sisaan, dan penduga varians sisaan,

U=\frac{\nu s^2}{\sigma^2} =\frac{\operatorname{SSE}}{\sigma^2} \sim\chi^2_\nu

dan $$U$$ independen dari $$Z$$ . Jadi

T_c=\frac{Z}{\sqrt{U/\nu}}\sim t_\nu

menurut definisi distribusi t. Membalik kejadian $-t_{\nu,1-\alpha/2}\le T_c\le t_{\nu,1-\alpha/2}$ menghasilkan interval yang dinyatakan dan probabilitas tepat $1-\alpha$ . ∎

Kontras dan satu koefisien bukan selalu hal yang sama

Dalam model dengan intersep, indikator perlakuan, dan kovariat, efek perlakuan bersyarat mungkin koefisien satu kolom. Dalam parameterisasi lain, efek yang sama dapat menjadi selisih dua koefisien. Yang invarian terhadap parameterisasi adalah fungsi rataan yang terestimasi, bukan nama koefisien.

Misalnya, jika target adalah selisih rataan suaian pada dua baris desain $x_a^\top$ dan $x_b^\top$ , ambil

\[c=x_a-x_b.\]

Targetnya $c^\top\beta$ , dan galat bakunya

s\sqrt{(x_a-x_b)^\top(X^\top X)^{-1}(x_a-x_b)}.

Rumus ini juga menunjukkan bahwa memperlakukan dua rataan suaian sebagai independen biasanya salah; kovarians keduanya sudah tercakup oleh bentuk kuadratik tersebut.

Hipotesis linear umum

Pertimbangkan hipotesis

H_0:C\beta=d,

dengan $C\in\mathbb R^{q\times p}$ berperingkat baris penuh $$q$$ , $1\le q\le p$ , dan $d\in\mathbb R^q$ . Di bawah peringkat kolom penuh $$X$$ , matriks

V_C=C(X^\top X)^{-1}C^\top

definit positif. Definisikan jumlah kuadrat hipotesis

Q_H=(C\widehat\beta-d)^\top V_C^{-1}(C\widehat\beta-d).

$$Q_H$$ mempunyai satuan kuadrat respons; pembagian dengan $$s^2$$ membuat statistik tak berdimensi. Syarat peringkat penuh $$C$$ mencegah pembatasan yang sama dihitung dua kali.

Uji F eksak untuk hipotesis linear umum

Di bawah model, peringkat, dan $$H_0$$ pada Hipotesis linear umum,

F_H=\frac{Q_H/q}{s^2}\sim F_{q,\nu}, \qquad \nu=n-p.

Di bawah alternatif tetap $C\beta\ne d$ ,

F_H\sim F_{q,\nu}(\lambda), \qquad \lambda= \frac{(C\beta-d)^\top V_C^{-1}(C\beta-d)}{\sigma^2}.

Karena itu daya uji eksak pada alternatif tertentu dapat dihitung dari ekor distribusi F nonsentral, bukan dengan mengganti $\sigma^2$ secara diam-diam dengan nilai yang dipilih setelah melihat data.

Bukti

Kita mempunyai

C\widehat\beta-d \sim N_q(C\beta-d,\sigma^2V_C).

Ambil akar kuadrat definit positif $V_C^{-1/2}$ dan definisikan

W=\frac{V_C^{-1/2}(C\widehat\beta-d)}{\sigma}.

Di bawah $$H_0$$ , $W\sim N_q(0,I_q)$ , sehingga

\frac{Q_H}{\sigma^2}=W^\top W\sim\chi^2_q.

Di bawah alternatif, rataan $$W$$ adalah $V_C^{-1/2}(C\beta-d)/\sigma$ , sehingga kuadrat normanya mempunyai distribusi khi-kuadrat nonsentral dengan parameter $\lambda$ yang dinyatakan.

$C\widehat\beta$ adalah fungsi $$P_XY$$ , sedangkan $$s^2$$ adalah fungsi $$M_XY$$ . Keduanya independen menurut Hukum eksak nilai suaian, sisaan, dan penduga varians sisaan. Karena $\nu s^2/\sigma^2\sim\chi^2_\nu$ , rasio

\frac{(Q_H/\sigma^2)/q}{(\nu s^2/\sigma^2)/\nu} =\frac{Q_H/q}{s^2}

mempunyai hukum F sentral di bawah hipotesis nol dan F nonsentral di bawah alternatif. ∎

Pembatasan terestimasi ketika desain tidak berperingkat kolom penuh

Jika $\operatorname{rank}(X)=r<p$ , hipotesis $C\beta=d$ bermakna secara statistik hanya bila setiap baris $$C$$ berada dalam $\mathcal C(X^\top)$ . Ambil invers umum (invers tergeneralisasi) $$G$$ dari $X^\top X$ dan bentuk

V_C=CGC^\top.

Untuk pembatasan terestimasi, bentuk ini tidak bergantung pada pilihan invers umum pada subruang yang relevan. Hapus baris pembatasan yang redundan sampai $q=\operatorname{rank}(V_C)$ dan $$V_C$$ definit positif; barulah rumus Uji F eksak untuk hipotesis linear umum berlaku dengan $\nu=n-r$ . Secara ekuivalen, gunakan pseudoinvers $$V_C^+$$ dan tetapkan $q=\operatorname{rank}(V_C)$ , tetapi $$d$$ harus kompatibel dengan relasi linear di antara pembatasan. Menggunakan jumlah baris mentah sebagai $$q$$ dapat menghasilkan derajat bebas salah.

Uji F sebagai perbandingan dua ruang model bersarang

Misalkan $\mathcal S_0\subset\mathcal S_1\subset\mathbb R^n$ adalah dua ruang rataan linear dengan proyektor ortogonal $$P_0,P_1$$ dan peringkat

\[r_0<r_1<n.\]

Andaikan model penuh benar, $\mu\in\mathcal S_1$ , dan galat berdistribusi $N_n(0,\sigma^2I_n)$ . Definisikan

q=r_1-r_0, \qquad \nu=n-r_1,

\operatorname{SS}_{\mathrm{extra}} =Y^\top(P_1-P_0)Y =\operatorname{SSE}_0-\operatorname{SSE}_1,

\operatorname{SSE}_1=Y^\top(I_n-P_1)Y.

Untuk $H_0:\mu\in\mathcal S_0$ ,

F_{\mathrm{nested}} =\frac{\operatorname{SS}_{\mathrm{extra}}/q} {\operatorname{SSE}_1/\nu} \sim F_{q,\nu}.

Di bawah $\mu\in\mathcal S_1\setminus\mathcal S_0$ , hukum itu nonsentral dengan

\lambda= \frac{\lVert(P_1-P_0)\mu\rVert^2}{\sigma^2}.

Bukti

Karena ruang bersarang,

\[P_1P_0=P_0P_1=P_0.\]

Maka $$A=P_1-P_0$$ simetris dan

\[A^2=P_1-P_1P_0-P_0P_1+P_0=P_1-P_0=A.\]

Jadi $$A$$ adalah proyektor ke $\mathcal S_1\cap\mathcal S_0^\perp$ dengan peringkat $$r_1-r_0=q$$ . Proyektor $$B=I_n-P_1$$ mempunyai peringkat $n-r_1=\nu$ , dan

\[AB=(P_1-P_0)(I_n-P_1)=0.\]

Di bawah $$H_0$$ , $A\mu=0$ ; karena $\mu\in\mathcal S_1$ , juga $B\mu=0$ . Teorema Cochran Teorema Cochran dalam bentuk proyeksi memberi

\frac{Y^\top AY}{\sigma^2}\sim\chi^2_q, \qquad \frac{Y^\top BY}{\sigma^2}\sim\chi^2_\nu,

secara independen. Rasionya berdistribusi F seperti yang dinyatakan. Di bawah alternatif dalam ruang penuh, hanya kuadrat pertama yang menjadi nonsentral, dengan parameter $\mu^\top A\mu/\sigma^2=\lVert A\mu\rVert^2/\sigma^2$ . ∎

ANOVA sebagai identitas proyeksi

Istilah ANOVA tidak menambah asumsi baru pada model linear Gaussian. Ia menamai dekomposisi kuadrat norma menjadi komponen ortogonal dan memasangkan setiap komponen dengan peringkatnya. Namun dekomposisi terpusat yang lazim memerlukan intersep; tanpa syarat ini, rumus yang tampak familier dapat salah.

Dekomposisi ANOVA dengan intersep

Andaikan $\mathbf1_n\in\mathcal C(X)$ dan $r=\operatorname{rank}(X)<n$ . Definisikan

J=\frac1n\mathbf1_n\mathbf1_n^\top, \qquad \bar Y=\frac1n\mathbf1_n^\top Y,

\operatorname{SST} =\sum_{i=1}^n(Y_i-\bar Y)^2 =Y^\top(I_n-J)Y,

\operatorname{SSR} =\sum_{i=1}^n(\widehat Y_i-\bar Y)^2 =Y^\top(P_X-J)Y,

dan $\operatorname{SSE}=Y^\top(I_n-P_X)Y$ . Maka

\operatorname{SST}=\operatorname{SSR}+\operatorname{SSE},

dengan derajat bebas

\[n-1=(r-1)+(n-r).\]

Jika $$r>1$$ dan hipotesis nol menyatakan bahwa rataan konstan, $H_0:\mu\in\operatorname{span}(\mathbf1_n)$ , maka

\frac{\operatorname{SSR}}{\sigma^2}\sim\chi^2_{r-1}, \qquad \frac{\operatorname{SSE}}{\sigma^2}\sim\chi^2_{n-r},

secara independen, sehingga

F_{\mathrm{overall}} =\frac{\operatorname{SSR}/(r-1)} {\operatorname{SSE}/(n-r)} \sim F_{r-1,n-r}.

Bukti

Karena $\operatorname{span}(\mathbf1_n)\subseteq\mathcal C(X)$ , $$P_XJ=JP_X=J$$ . Dengan argumen yang sama seperti Bukti, $$P_X-J$$ adalah proyektor berperingkat $$r-1$$ . Selain itu

\[I_n-J=(P_X-J)+(I_n-P_X),\]

dan kedua proyektor di ruas kanan ortogonal karena

\[(P_X-J)(I_n-P_X)=0.\]

Mengalikan identitas matriks dari kiri dengan $Y^\top$ dan dari kanan dengan $$Y$$ memberi dekomposisi jumlah kuadrat. Peringkat yang menjumlah memberi identitas derajat bebas.

Di bawah hipotesis nol, $(P_X-J)\mu=0$ karena $\mu$ berada di ruang citra $$J$$ , dan $(I_n-P_X)\mu=0$ karena ruang model nol merupakan subruang $\mathcal C(X)$ . Teorema Cochran kemudian memberi dua peubah khi-kuadrat sentral yang independen dan rasio F. ∎

Batas interpretasi tabel ANOVA

Beberapa pembedaan harus dipertahankan.

Identitas tak terpusat $\lVert Y\rVert^2=\lVert P_XY\rVert^2+\lVert M_XY\rVert^2$ selalu benar, tetapi bukan dekomposisi SST terpusat. Tanpa intersep, $$P_X-J$$ umumnya bukan proyektor dan “ $R^2=1-\mathrm{SSE}/\mathrm{SST}$ ” tidak mempunyai interpretasi geometris standar yang sama.
Pada desain tak ortogonal, jumlah kuadrat sekuensial bergantung pada urutan penambahan suku. Uji parsial yang terdefinisi dengan baik harus menyebut dua ruang bersarang yang dibandingkan. Label “Tipe I”, “Tipe II”, atau “Tipe III” tidak menggantikan definisi ruang nol dan ruang penuh.
Dekomposisi geometris tidak memerlukan desain seimbang. Keseimbangan dapat membuat subruang suku ortogonal dan interpretasi lebih sederhana, tetapi bukan syarat Teorema Cochran.
Kuadrat tengah bukan otomatis penduga $\sigma^2$ . Ia menjadi derau murni hanya jika proyektor komponen menghilangkan rataan di bawah model yang sedang dipakai.

Interval kepercayaan dan interval prediksi

Interval kepercayaan bagi rataan bersyarat dan interval prediksi bagi satu respons baru menjawab pertanyaan berbeda. Keduanya menggunakan distribusi t, tetapi varians prediksi mempunyai tambahan $\sigma^2$ karena observasi baru membawa galat baru.

Interval kepercayaan eksak bagi rataan pada $$x_0$$

Di bawah peringkat kolom penuh, ambil vektor desain tetap $x_0\in\mathbb R^p$ dan target

m_0=x_0^\top\beta.

Definisikan daya ungkit prediksi

h_0=x_0^\top(X^\top X)^{-1}x_0.

Jika $x_0\ne0$ , maka $$h_0>0$$ dan

\frac{x_0^\top\widehat\beta-m_0}{s\sqrt{h_0}} \sim t_\nu, \qquad \nu=n-p.

Jadi interval kepercayaan titik demi titik dengan cakupan tepat $1-\alpha$ bagi rataan respons adalah

x_0^\top\widehat\beta \;\pm\; t_{\nu,1-\alpha/2}s\sqrt{h_0}.

Bukti

Ambil $$c=x_0$$ dalam Hukum t dan interval kepercayaan bagi satu kontras. Karena target adalah fungsi linear yang sama, $$v_c=h_0$$ dan hasil mengikuti langsung. Secara mandiri,

x_0^\top\widehat\beta \sim N(m_0,\sigma^2h_0)

dan independen dari $$s^2$$ , sehingga standardisasi oleh akar khi-kuadrat independen menghasilkan t. ∎

Interval prediksi eksak bagi satu observasi baru

Selain asumsi sebelumnya, misalkan

Y_0=x_0^\top\beta+\varepsilon_0, \qquad \varepsilon_0\sim N(0,\sigma^2),

dengan $\varepsilon_0$ independen dari data pelatihan. Maka

\frac{Y_0-x_0^\top\widehat\beta} {s\sqrt{1+h_0}} \sim t_\nu,

dan interval prediksi titik demi titik dengan cakupan tepat $1-\alpha$ adalah

x_0^\top\widehat\beta \;\pm\; t_{\nu,1-\alpha/2}s\sqrt{1+h_0}.

Bukti

Selisih prediksi dapat ditulis

Y_0-x_0^\top\widehat\beta =\varepsilon_0-x_0^\top(\widehat\beta-\beta).

Dua suku di ruas kanan independen, normal, dan masing-masing mempunyai varians $\sigma^2$ dan $\sigma^2h_0$ . Jadi selisihnya normal dengan rataan nol dan varians $\sigma^2(1+h_0)$ . Ia independen dari $$s^2$$ : galat baru independen dari seluruh data, dan $\widehat\beta$ independen dari SSE. Pembagian oleh $\sigma\sqrt{1+h_0}$ menghasilkan normal baku. Karena $\nu s^2/\sigma^2\sim\chi^2_\nu$ dan bebas dari pembilang normal baku, mengganti $\sigma$ dengan $$s$$ menghasilkan $t_\nu$ . ∎

Rataan suaian, sisaan teramati, dan respons baru

Untuk baris desain teramati ke- $$i$$ , daya ungkit biasa adalah $h_{ii}=(P_X)_{ii}$ . Tiga varians yang sering tertukar adalah

\operatorname{Var}(\widehat Y_i)=\sigma^2h_{ii},

\operatorname{Var}(e_i)=\sigma^2(1-h_{ii}),

dan, bagi respons baru independen pada baris yang sama,

\operatorname{Var}(Y_{0i}-\widehat Y_i)=\sigma^2(1+h_{ii}).

Tanda minus pada sisaan bukan alasan memakai $1+h_{ii}$ : $$Y_i$$ dan $\widehat Y_i$ dibentuk dari data yang sama dan berkorelasi. Respons baru independen, sehingga variansnya justru menjumlah. Untuk $h_{ii}<1$ , sisaan internal yang dibagi $s\sqrt{1-h_{ii}}$ juga tidak persis $t_\nu$ , sebab $$e_i$$ ikut membentuk $$s^2$$ . Klaim hukum t bagi sisaan memerlukan bentuk studentisasi eksternal dan derajat bebas yang diturunkan khusus.

Untuk desain yang tidak berperingkat kolom penuh, target $x_0^\top\beta$ hanya sah bila $x_0\in\mathcal C(X^\top)$ . Untuk desain acak, semua hasil tetap eksak secara bersyarat pada $$X$$ bila hukum galat bersyarat memenuhi asumsi Gaussian yang sama dan $$X$$ mempunyai peringkat yang disyaratkan hampir pasti.

Inferensi simultan dan multiplikitas

Peluang cakupan $1-\alpha$ untuk setiap interval secara terpisah tidak berarti semua interval mencakup target masing-masing secara bersamaan dengan probabilitas $1-\alpha$ . Pemilihan kontras setelah melihat data juga mengubah kejadian yang harus dikendalikan.

Daerah Scheffé bagi semua kontras dalam satu subruang

Di bawah peringkat kolom penuh, pilih $L\in\mathbb R^{q\times p}$ berperingkat baris penuh, tetapkan

\theta=L\beta, \qquad \widehat\theta=L\widehat\beta, \qquad V_L=L(X^\top X)^{-1}L^\top,

dengan $1\le q\le p$ . Dengan probabilitas $1-\alpha$ , ketaksamaan berikut berlaku secara simultan untuk semua $a\in\mathbb R^q$ :

\left|a^\top(\widehat\theta-\theta)\right| \le s\sqrt{qF_{q,\nu;1-\alpha}} \sqrt{a^\top V_La}

Dengan konvensi bahwa kedua ruas nol untuk $$a=0$$ , pemilihan $$a$$ setelah melihat data tetap tercakup selama $$a$$ berada dalam subruang berdimensi $$q$$ yang telah ditentukan melalui $$L$$ sebelum analisis.

Bukti

Tuliskan $\Delta=\widehat\theta-\theta$ . Menurut ketaksamaan Cauchy–Schwarz dalam metrik $$V_L$$ ,

\{a^\top\Delta\}^2 =\{(V_L^{1/2}a)^\top(V_L^{-1/2}\Delta)\}^2 \le (a^\top V_La)(\Delta^\top V_L^{-1}\Delta).

Dengan menerapkan Uji F eksak untuk hipotesis linear umum pada nilai parameter sebenarnya $\theta=L\beta$ , diperoleh statistik

\frac{\Delta^\top V_L^{-1}\Delta/q}{s^2} \sim F_{q,\nu}.

Dengan probabilitas $1-\alpha$ ,

\Delta^\top V_L^{-1}\Delta \le q s^2F_{q,\nu;1-\alpha}.

Memasukkan batas ini ke ketaksamaan Cauchy–Schwarz memberi ketaksamaan bagi semua $$a$$ sekaligus. Sebaliknya, supremum rasio kuadrat atas semua $a\ne0$ mencapai $\Delta^\top V_L^{-1}\Delta$ , sehingga konstanta ini bukan berasal dari batas gabungan yang longgar untuk keluarga tersebut. ∎

Bonferroni, keluarga yang dipilih, dan batas klaim

Untuk $$m$$ kontras yang telah ditentukan, interval Bonferroni

c_j^\top\widehat\beta \;\pm\; t_{\nu,1-\alpha/(2m)} s\sqrt{c_j^\top(X^\top X)^{-1}c_j}, \qquad j=1,\ldots,m,

mempunyai cakupan serentak sekurang-kurangnya $1-\alpha$ untuk seluruh keluarga, tanpa memerlukan independensi antarkontras. Ia dapat lebih sempit atau lebih lebar daripada Scheffé, bergantung jumlah dan geometri kontras; tidak ada metode yang selalu dominan.

Metode Tukey mempunyai sasaran khusus bagi perbandingan berpasangan rataan dalam struktur ANOVA tertentu. Ia bukan pengganti otomatis untuk semua hipotesis linear umum. Demikian pula, laju penemuan palsu, laju galat serentak untuk keluarga, cakupan simultan, dan cakupan selektif adalah target berbeda. Metode harus dipilih dari target galat yang dinyatakan, bukan dari nilai kritis yang paling kecil setelah hasil terlihat.

Jika model, variabel, subkelompok, atau kontras dipilih karena tampak menarik pada data yang sama, interval dan nilai-p biasa tidak lagi memiliki jaminan cakupan atau tingkat galat nominal dari teorema di atas. Pemisahan data, prosedur selektif yang sah, atau validasi independen diperlukan untuk klaim pascaseleksi.

Asumsi yang menopang hukum eksak

Setiap bagian asumsi Model, peringkat, dan ruang yang diproyeksikan memainkan peran matematis tertentu. Menghapus satu bagian tidak selalu merusak estimasi OLS, tetapi dapat menghilangkan keabsahan hukum inferensinya.

Konsekuensi kegagalan asumsi

Rataan linear benar. Jika $E(Y\mid X)$ tidak berada di $\mathcal C(X)$ , SSE mempunyai komponen nonsentral seperti Apa yang terjadi bila ruang rataan salah. Koefisien OLS menargetkan proyeksi rataan, bukan otomatis efek ilmiah yang dimaksud.
Varians sama dan kovarians nol. Jika $\operatorname{Cov}(\varepsilon\mid X)=\Sigma\ne\sigma^2I_n$ , proyeksi ortogonal menurut geometri Euklides umumnya tidak menghasilkan komponen independen atau varians $\sigma^2P$ . Galat baku homoskedastik, khi-kuadrat SSE, dan uji F eksak dapat salah. GLS menjadi eksak setelah pemutihan (whitening) hanya bila struktur $\Sigma$ diketahui dengan benar; galat baku sandwich biasanya hanya bersifat asimtotik dan bukan pengganti yang identik bagi inferensi Gaussian eksak pada sampel berhingga.
Kenormalan. Dengan rataan nol dan kovarians $\sigma^2I_n$ , OLS tetap tak bias dan nilai suaian tetap tak berkorelasi dengan sisaan. Namun ketakkorelasian tidak mengimplikasikan independensi di luar keluarga normal; bentuk kuadratik tidak harus khi-kuadrat, sehingga rasio tidak harus t atau F. Kenormalan diperlukan di sini untuk klaim eksak, bukan untuk menghitung OLS.
Desain tetap atau pengondisian yang sah. Untuk desain acak, hasil bersyarat tetap berlaku jika, bersyarat pada $$X$$ , galat Gaussian sferis dengan rataan nol dan $$X$$ memenuhi syarat peringkat. Endogenitas, yaitu $E(\varepsilon\mid X)\ne0$ , merusak target dan tidak diselesaikan dengan galat baku yang tahan terhadap heteroskedastisitas.
Peringkat dan derajat bebas. Kolom redundan menurunkan $$r$$ ; derajat bebas sisaan selalu $$n-r$$ , bukan $$n-p$$ secara mekanis. Hipotesis dengan pembatasan redundan memakai peringkat pembatasan efektif, bukan jumlah baris masukan.
Observasi baru independen. Interval prediksi Interval prediksi eksak bagi satu observasi baru tidak menjamin cakupan bagi respons baru yang berkorelasi dalam klaster, pengukuran ulang pada subjek yang sama, atau populasi baru tempat model belum tentu tetap berlaku.
Keluarga klaim ditetapkan. Uji titik demi titik tidak mengendalikan pencarian banyak model, penghentian opsional, atau pelaporan hanya hasil signifikan.

Ortogonal tidak berarti independen tanpa Gaussian

Ambil vektor acak dua dimensi

\varepsilon=R(\cos\Theta,\sin\Theta)^\top,

dengan $\Theta$ seragam pada $\{0,\pi/2,\pi,3\pi/2\}$ dan $R=\sqrt2\sigma$ . Maka $E(\varepsilon)=0$ dan $\operatorname{Cov}(\varepsilon)=\sigma^2I_2$ . Proyeksi ke dua sumbu mempunyai kovarians nol. Tetapi tepat satu dari dua koordinat mempunyai kuadrat $2\sigma^2$ dan yang lain nol; mengetahui kuadrat koordinat pertama menentukan kuadrat koordinat kedua. Jadi keduanya tidak independen dan jumlah kuadrat proyeksi tidak tersusun dari peubah khi-kuadrat yang independen.

Contoh ini memisahkan dua klaim: geometri OLS memberi ortogonalitas aljabar, sedangkan kenormalan bersama mengubah kovarians silang nol menjadi independensi probabilistik.

Pemeriksaan model yang bertanggung jawab

Plot sisaan, pemeriksaan kuantil, plot sisaan terhadap nilai suaian, dan ukuran daya ungkit dapat menemukan pola besar, tetapi tidak membuktikan asumsi. Sisaan adalah $M_X\varepsilon$ , bukan salinan langsung galat-galat yang saling bebas dan berdistribusi identik (iid): variansnya $\sigma^2(1-h_{ii})$ dan sisaan berbeda berkorelasi melalui entri luar diagonal $-\sigma^2h_{ij}$ .

Karena itu pemeriksaan harus menggabungkan konteks pengumpulan data dan struktur model:

periksa apakah observasi benar-benar independen atau berkelompok/berurutan;
cari pola rataan yang belum dimodelkan, varians yang berubah, dan titik berdaya ungkit tinggi;
bandingkan sisaan terstandardisasi dengan ketidakpastian yang sesuai, bukan dengan satu ambang universal;
bedakan interpolasi dari ekstrapolasi melalui posisi $$x_0$$ relatif terhadap desain;
laporkan analisis sensitivitas bila satu observasi atau satu pilihan model mengubah kesimpulan;
gunakan metode kekar atau model kovarians lain dengan label inferensi yang benar—asimtotik, bootstrap, GLS, atau model hierarkis—alih-alih tetap menyebutnya uji t/F eksak.

Dalam model satu-sampel $N(\mu,\sigma^2)$ dengan $\sigma^2$ diperlakukan diketahui dan hanya $\mu$ yang menjadi parameter, $\bar Y$ lengkap-cukup bagi $\mu$ , sedangkan distribusi SSE yang telah diskalakan tidak bergantung pada $\mu$ . Independensinya juga mengikuti Teorema Basu yang dibahas di Teorema Basu: pemisahan informasi dan variasi statistik tambahan. Jika $\sigma^2$ turut menjadi parameter, SSE bergantung pada $\sigma^2$ ; karena itu SSE tidak memiliki sifat bebas-parameter tersebut bagi pasangan $(\mu,\sigma^2)$ , sehingga argumen Basu itu tidak dapat dipindahkan begitu saja. Bukti proyeksi di sini lebih langsung dan berlaku sekaligus untuk seluruh model linear Gaussian.

Audit sebelum memakai t, F, atau ANOVA

Nyatakan unit observasi, respons, matriks desain, dan apakah inferensi bersyarat pada $$X$$ .
Hitung peringkat numerik dan peringkat struktural $$X$$ ; gunakan $\nu=n-r$ , bukan jumlah kolom mentah.
Pastikan target koefisien atau kontras terestimasi. Untuk desain berperingkat tak penuh, periksa bahwa baris pembatasan berada dalam $\mathcal C(X^\top)$ .
Tulis ruang model nol dan penuh. Untuk uji bersarang, buktikan $\mathcal S_0\subset\mathcal S_1$ dan catat $$q=r_1-r_0$$ .
Periksa apakah rataan linear, kovarians $\sigma^2I$ , dan kenormalan masuk akal bagi klaim pada sampel berhingga. Catat pelanggaran yang terdeteksi dan metode pengganti yang dipakai.
Untuk ANOVA terpusat, verifikasi bahwa intersep ada. Jangan memberi derajat bebas $$r-1$$ kepada regresi bila $\mathbf1_n\notin\mathcal C(X)$ .
Bedakan interval rataan dari interval prediksi dan verifikasi independensi observasi baru.
Tentukan keluarga kontras sebelum memilih koreksi multiplikitas. Nyatakan apakah jaminannya titik demi titik, secara bersama untuk keluarga berhingga, simultan atas suatu subruang, atau selektif.
Laporkan pendugaan, galat baku, derajat bebas, interval, statistik uji, dan definisi ruang hipotesis; nilai-p sendiri tidak mengidentifikasi target pendugaan.
Simpan pemeriksaan daya ungkit, sisaan, dan sensitivitas sebagai bukti diagnostik, bukan sebagai sertifikat bahwa model pasti benar.

Ringkasan

Proyeksi ortogonal dari normal sferis memberi komponen normal independen; peringkat proyeksi menjadi derajat bebas bentuk kuadratik.
Dalam model rataan yang benar, SSE dibagi $\sigma^2$ adalah $\chi^2_{n-r}$ , sehingga $s^2=\mathrm{SSE}/(n-r)$ tak bias dan independen dari nilai suaian. Kesalahan spesifikasi rataan membuat hukum itu nonsentral.
Satu kontras terestimasi menghasilkan hukum t; $$q$$ pembatasan independen menghasilkan hukum F dengan peringkat pembilang $$q$$ dan derajat bebas penyebut $$n-r$$ .
Hipotesis linear umum dan perbandingan model bersarang adalah dua koordinatisasi dari geometri proyeksi yang sama.
ANOVA terpusat memerlukan intersep; dalam desain tak ortogonal, hipotesis harus didefinisikan melalui ruang yang dibandingkan, bukan hanya label tipe jumlah kuadrat.
Interval kepercayaan bagi rataan memakai $$h_0$$ , sedangkan interval prediksi bagi respons baru memakai $$1+h_0$$ .
Interval titik demi titik tidak otomatis simultan. Scheffé dan Bonferroni mengendalikan keluarga yang berbeda dan harus ditetapkan sebelum melihat hasil.
Kenormalan, homoskedastisitas, independensi, rataan linear, peringkat, dan keabsahan pengondisian pada desain adalah syarat matematis, bukan formalitas perangkat lunak.

Materi ini adalah prosa orisinal CC BY-SA 4.0. Provenans model: OpenAI Codex gpt-5.6-sol, Ultra. Hubungan ke bab lain memakai ID stabil untuk navigasi dan tidak mengubah atribusi maupun lisensi komponen lain.

Inferensi eksak pada sampel berhingga dari geometri Gaussian

Model, peringkat, dan ruang yang diproyeksikan

Nilai suaian unik dan fungsi linear yang terestimasi

Hukum proyeksi normal dan kuadrat normanya

Bukti

Teorema Cochran dalam bentuk proyeksi

Bukti

Hukum eksak nilai suaian, sisaan, dan penduga varians sisaan

Bukti

Apa yang terjadi bila ruang rataan salah

Spesialisasi peringkat kolom penuh

Hukum t dan interval kepercayaan bagi satu kontras

Bukti

Kontras dan satu koefisien bukan selalu hal yang sama

Hipotesis linear umum

Uji F eksak untuk hipotesis linear umum

Bukti

Pembatasan terestimasi ketika desain tidak berperingkat kolom penuh

Uji F sebagai perbandingan dua ruang model bersarang

Bukti

ANOVA sebagai identitas proyeksi

Dekomposisi ANOVA dengan intersep

Bukti

Batas interpretasi tabel ANOVA

Interval kepercayaan dan interval prediksi

Interval kepercayaan eksak bagi rataan pada \(x_0\)

Bukti

Interval prediksi eksak bagi satu observasi baru

Bukti

Rataan suaian, sisaan teramati, dan respons baru

Inferensi simultan dan multiplikitas

Daerah Scheffé bagi semua kontras dalam satu subruang

Bukti

Bonferroni, keluarga yang dipilih, dan batas klaim

Asumsi yang menopang hukum eksak

Konsekuensi kegagalan asumsi

Ortogonal tidak berarti independen tanpa Gaussian

Pemeriksaan model yang bertanggung jawab

Audit sebelum memakai t, F, atau ANOVA

Ringkasan

Interval kepercayaan eksak bagi rataan pada $\(x_0\)$