O006-C140-CMP-MS05 · id-ID · CC BY-SA 4.0 · OpenAI Codex gpt-5.6-sol, Ultra

Set penguasaan 05 — informasi Fisher, interval kepercayaan, bootstrap, dan metode delta

Delapan soal ini menghubungkan Pelajaran 06 Penn State Lesson05 dengan teori informasi dan metode pengambilan sampel ulang. Nyatakan parameter yang tetap, hukum pencuplikan, serta skala aproksimasi sebelum memilih rumus. Identitas informasi mengikuti Teorema: identitas informasi kedua, sedangkan limit dan metode delta mengikuti Teorema: normalitas asimtotik akar skor konsisten, termasuk MLE interior dan Teorema: metode delta skalar.

Soal 1 — informasi Fisher dan batas Cramér–Rao untuk proporsi Bernoulli

Misalkan $X_1,\ldots,X_n$ iid $\operatorname{Bernoulli}(p)$ , $$0<p<1$$ , dan $S=\sum_iX_i$ . (a) Turunkan skor dan informasi Fisher untuk satu pengamatan. (b) Hitung informasi sampel dan batas Cramér–Rao bagi penduga tak bias $$T$$ dengan $$E_pT=p$$ . (c) Verifikasi bahwa $\widehat p=S/n$ mencapai batas. (d) Untuk $$n=40,S=12$$ , hitung estimasi dan varians substitusi langsung.

Petunjuk 1

Gunakan $\ell(p;x)=x\log p+(1-x)\log(1-p)$ dan $\operatorname{Var}_p(X)=p(1-p)$ . Informasi dari pengamatan iid bersifat aditif.

Petunjuk 2

Untuk target $$g(p)=p$$ , $$g'(p)=1$$ . Hitung varians $$S/n$$ langsung lalu bandingkan dengan batas, dengan mengingat bahwa batas memerlukan syarat keteraturan.

Jawaban singkat

$$s_p(x)=(x-p)/[p(1-p)]$$ dan $$I_1(p)=1/[p(1-p)]$$ , sehingga $$I_n(p)=n/[p(1-p)]$$ . Batasnya $$p(1-p)/n$$ , tepat sama dengan varians $$S/n$$ . Pada data tersebut $\widehat p=0{,}3$ dan estimasi substitusi langsung untuk variansnya adalah $$0{,}00525$$ .

Solusi lengkap

Turunan fungsi log-kemungkinan adalah

s_p(x)=\frac{x}{p}-\frac{1-x}{1-p} =\frac{x-p}{p(1-p)}.

Karena skor memiliki rataan nol dan $\operatorname{Var}_p(X)=p(1-p)$ ,

I_1(p)=E_ps_p(X)^2=\frac1{p(1-p)}.

Aditivitas skor memberi $$I_n(p)=n/[p(1-p)]$$ . Batas Cramér–Rao Batas Cramér–Rao dalam bentuk umum untuk target $$p$$ adalah

\operatorname{Var}_p(T)\geq\frac{1}{I_n(p)}=\frac{p(1-p)}n.

Penduga $$S/n$$ tak bias dan memiliki varians $$p(1-p)/n$$ , jadi mencapai batas dalam kelas penduga tak bias yang memenuhi syarat keteraturan. Dengan $$S=12,n=40$$ , $\widehat p=0{,}3$ dan $$0{,}3(0{,}7)/40=0{,}00525$$ . Pencapaian ini tidak membandingkan semua penduga bias di bawah semua fungsi kerugian, dan taksiran varians dengan substitusi langsung bukan peluang posterior.

Soal 2 — matriks informasi pada model Normal dengan rataan sebagai parameter pengganggu

Anggap $X_i\sim N(\mu,v)$ iid dengan $v=\sigma^2>0$ dan $\theta=(\mu,v)^\mathsf T$ . (a) Turunkan $I_1(\theta)$ dan invers matriks informasi sampel. (b) Tuliskan batas formal untuk penduga tak bias $\mu$ dan $$v$$ . (c) Bandingkan dengan $\bar X$ dan $S^2=(n-1)^{-1}\sum_i(X_i-\bar X)^2$ . (d) Apakah matriks informasi diagonal membuktikan independensi kedua penduga?

Petunjuk 1

Skor lokasi dan varians adalah $s_\mu=(X-\mu)/v$ dan $s_v=-1/(2v)+(X-\mu)^2/(2v^2)$ . Momen pusat Normal orde dua sampai empat menghasilkan elemen silang nol.

Petunjuk 2

Kalikan informasi per pengamatan dengan $$n$$ , lalu ambil invers matriksnya. Gunakan $\operatorname{Var}(S^2)=2v^2/(n-1)$ ; jangan mengganti $$n-1$$ dengan $$n$$ tanpa alasan.

Jawaban singkat

$I_1=\operatorname{diag}(1/v,1/(2v^2))$ dan $I_n^{-1}=\operatorname{diag}(v/n,2v^2/n)$ . Batas formal untuk $\mu$ adalah $$v/n$$ , sedangkan untuk $$v$$ adalah $$2v^2/n$$ . $\bar X$ mencapai batas pertama; $$S^2$$ mempunyai varians $$2v^2/(n-1)$$ , bukan batas untuk sampel berhingga. Diagonalitas menyatakan ortogonalitas skor, bukan independensi universal.

Solusi lengkap

Dengan $v=\sigma^2$ , skor per pengamatan ialah

s_\mu=\frac{X-\mu}{v},\qquad s_v=-\frac1{2v}+\frac{(X-\mu)^2}{2v^2}.

Momen Normal memberi

I_1(\mu,v)= \begin{pmatrix}1/v&0\\0&1/(2v^2)\end{pmatrix}, \qquad I_n^{-1}= \begin{pmatrix}v/n&0\\0&2v^2/n\end{pmatrix}.

Untuk target $\mu$ , gradien $(1,0)^\mathsf T$ memberi batas $$v/n$$ , dan $\operatorname{Var}(\bar X)=v/n$ , sehingga rataan mencapai batas. Untuk target $$v$$ , gradien $(0,1)^\mathsf T$ memberi batas informasi formal $$2v^2/n$$ . Akan tetapi $$S^2$$ tak bias dengan $\operatorname{Var}(S^2)=2v^2/(n-1)$ ; ia tidak mencapai batas tersebut pada sampel berhingga. Hal ini mengingatkan bahwa batas multivariat memerlukan syarat keteraturan dan kelas penduga yang tepat ketika rataan pengganggu ikut diestimasi. Elemen silang yang bernilai nol menyatakan bahwa kovarians kedua komponen skor adalah nol; independensi pada sampel berhingga antara $\bar X$ dan $$S^2$$ merupakan teorema khusus Normal, bukan konsekuensi matriks informasi semata.

Soal 3 — interval t eksak dan makna cakupan

Sampel iid dari distribusi Normal menghasilkan $$n=16$$ , $\bar X=12$ , dan $$s=4$$ . Tanpa menganggap $\sigma$ diketahui, (a) turunkan pivot Student, (b) bentuk interval dua sisi 95% untuk $\mu$ memakai $t_{15,0.975}=2{,}131$ , (c) hitung titik ujung, dan (d) tulis pernyataan cakupan yang benar.

Petunjuk 1

Gunakan independensi $\bar X$ dan $$S^2$$ pada sampel Normal serta $(n-1)S^2/\sigma^2\sim\chi^2_{n-1}$ .

Petunjuk 2

Kesalahan baku adalah $s/\sqrt n=4/4=1$ . Isolasi $\mu$ pada $-2{,}131\leq(\bar X-\mu)/(S/\sqrt n)\leq2{,}131$ .

Jawaban singkat

$T=(\bar X-\mu)/(S/\sqrt n)\sim t_{15}$ dan intervalnya $12\pm2{,}131=[9{,}869,14{,}131]$ . Jika prosedur diulang pada model Normal, cakupannya untuk parameter tetap adalah 0,95; setelah data diamati, ini bukan peluang posterior bahwa $\mu$ berada di interval tersebut.

Solusi lengkap

Untuk sampel Normal, $\bar X\sim N(\mu,\sigma^2/n)$ dan $(n-1)S^2/\sigma^2\sim\chi^2_{n-1}$ secara independen. Karena itu

T=\frac{\bar X-\mu}{S/\sqrt n}\sim t_{15}.

Maka

P\left(-2{,}131\leq T\leq2{,}131\right)=0{,}95.

Menyelesaikan terhadap $\mu$ menghasilkan

C(X)=\left[\bar X-2{,}131\frac S{\sqrt{16}}, \bar X+2{,}131\frac S{\sqrt{16}}\right].

Substitusi memberi $$[12-2{,}131,12+2{,}131]=[9{,}869,14{,}131]$$ . Pernyataan frekuentis yang sah adalah $P_\mu\{\mu\in C(X)\}=0{,}95$ untuk pengulangan sampel dengan ukuran sama di bawah model. Setelah satu sampel diamati, $\mu$ adalah nilai tetap; klaim peluang posterior memerlukan prior dan model Bayesian yang eksplisit.

Soal 4 — interval Wald untuk laju eksponensial dan reparameterisasi

Misalkan $X_i\sim\operatorname{Exponential}(\lambda)$ iid dan $$n=100$$ , $\bar X=2{,}5$ . (a) Temukan MLE dan informasi Fisher. (b) Bentuk interval Wald 95% pada skala $\lambda$ . (c) Bentuk interval Wald pada $\eta=\log\lambda$ , lalu kembalikan ke skala laju. Gunakan $z_{.975}=1{,}96$ .

Petunjuk 1

$\ell(\lambda)=n\log\lambda-\lambda\sum_iX_i$ , sehingga $\widehat\lambda=1/\bar X$ dan $I_1(\lambda)=1/\lambda^2$ .

Petunjuk 2

$\widehat\lambda=0{,}4$ dan galat baku substitusi langsung adalah $\widehat\lambda/\sqrt n=0{,}04$ . Untuk log-laju, informasi per pengamatan menjadi satu dan galat baku $1/\sqrt n$ .

Jawaban singkat

Interval laju langsung adalah $0{,}4\pm1{,}96(0{,}04)=[0{,}3216,0{,}4784]$ . Interval log yang dieksponensialkan adalah sekitar $[\exp(-1{,}1123),\exp(-0{,}7203)]=[0{,}3288,0{,}4866]$ . Perbedaan pada sampel berhingga wajar karena Wald tidak invarian, sedangkan transformasi log menjaga positivitas.

Solusi lengkap

Skor total eksponensial menghasilkan $\widehat\lambda=n/\sum_iX_i=1/\bar X=0{,}4$ . Karena $\operatorname{Var}_\lambda(1/\lambda-X)=1/\lambda^2$ , $I_n(\lambda)=n/\lambda^2$ dan galat baku substitusi langsung $0{,}4/\sqrt{100}=0{,}04$ . Maka

C_\lambda=[0{,}4-1{,}96(0{,}04),0{,}4+1{,}96(0{,}04)] =[0{,}3216,0{,}4784].

Untuk $\eta=\log\lambda$ , aturan rantai memberi $I_1(\eta)=\lambda^2I_1(\lambda)=1$ . Jadi $\widehat\eta=\log0{,}4\approx-0{,}91629$ dan $C_\eta=[-0{,}91629-0{,}196,-0{,}91629+0{,}196] =[-1{,}11229,-0{,}72029]$. Eksponensiasi memberi sekitar $$[0{,}3288,0{,}4866]$$ . Kedua bentuk asimtotik ekuivalen hingga orde pertama, tetapi perbedaan orde lebih tinggi dapat besar pada sampel kecil; transformasi log juga mencegah titik ujung negatif. Tidak satu pun interval menjadi eksak hanya karena angka galat baku dihitung dengan substitusi langsung.

Soal 5 — metode delta untuk logit proporsi

Dalam model Bernoulli ambil $$n=100,S=30$$ dan $g(p)=\log\{p/(1-p)\}$ . (a) Hitung $$g'(p)$$ dan varians asimtotik logit. (b) Bentuk interval Wald 95% untuk $$g(p)$$ dengan substitusi langsung. (c) Kembalikan titik ujung ke skala $$p$$ dan jelaskan domainnya.

Petunjuk 1

$$g'(p)=1/[p(1-p)]$$ dan $\operatorname{Var}(\widehat p)\approx p(1-p)/n$ . Kalikan sesuai Teorema: metode delta skalar.

Petunjuk 2

Dengan $\widehat p=0{,}3$ , galat baku substitusi langsung adalah $1/\sqrt{100(0{,}3)(0{,}7)}=1/\sqrt{21}$ . Invers logit $$h(u)=e^u/(1+e^u)$$ monoton naik.

Jawaban singkat

$\sqrt n{g(\widehat p)-g(p)}\Rightarrow N(0,1/[p(1-p)]) $$. Estimasi logit $$ -0{,}8473 $$, SE $$ 0{,}2182$, dan interval logit sekitar $$[-1{,}275,-0{,}4196]$$ . Invers logit memberi $$[0{,}218,0{,}397]$$ ; pemotongan pada $$[0,1]$$ bukan pengganti transformasi titik ujung.

Solusi lengkap

Turunan $$g'(p)=1/p+1/(1-p)=1/[p(1-p)]$$ . CLT untuk proporsi dan metode delta memberi

\sqrt n\{g(\widehat p)-g(p)\}\Rightarrow N\left(0,\frac1{p(1-p)}\right).

Pada $\widehat p=0{,}3$ , $g(\widehat p)=\log(3/7)\approx-0{,}84730$ dan $\widehat{\operatorname{se}}=1/\sqrt{21}\approx0{,}21822$ . Maka

C_g=[-0{,}84730-1{,}96(0{,}21822), -0{,}84730+1{,}96(0{,}21822)] \approx[-1{,}27499,-0{,}41961].

Karena invers logit monoton, $h(-1{,}27499)\approx0{,}2183$ dan $h(-0{,}41961)\approx0{,}3967$ . Transformasi nonlinier menimbulkan perbedaan pada suku-suku berorde lebih tinggi; sekadar memotong interval linier menjadi $$[0,1]$$ tidak mempertahankan pivot atau cakupan. Jika $$S=0$$ atau $$S=n$$ , fungsi logit pada MLE tidak terdefinisi, sehingga prosedur ini membutuhkan regularisasi atau interval lain.

Soal 6 — bootstrap persentil dan interval dasar

Statistik teramati adalah $\widehat\theta=2{,}4$ . Dari pengambilan sampel ulang bootstrap nonparametrik dengan benih acak dan lingkungan komputasi yang dikunci, kuantilnya $q^*_{.025}=2{,}0$ dan $q^*_{.975}=2{,}9$ . (a) Hitung interval persentil dan dasar 95%. (b) Bandingkan pusat dan panjangnya. (c) Jelaskan apa yang diaproksimasi oleh $\widehat\theta^*-\widehat\theta$ . (d) Sebutkan pemeriksaan sebelum interval dapat dinyatakan valid.

Petunjuk 1

Persentil memakai $[q^*_{.025},q^*_{.975}]$ . Interval dasar merefleksikan kuantil terhadap statistik teramati: $[2\widehat\theta-q^*_{.975},2\widehat\theta-q^*_{.025}]$ .

Petunjuk 2

Bootstrap mengaproksimasi hukum pencuplikan secara kondisional pada data, bukan distribusi parameter. Periksa benih acak, aturan pengambilan sampel ulang, statistik yang terdefinisi, dan cakupan pada model pembangkit yang relevan.

Jawaban singkat

Persentil $$[2{,}0,2{,}9]$$ ; interval dasar $$[4{,}8-2{,}9,4{,}8-2{,}0]=[1{,}9,2{,}8]$$ . Keduanya panjang $$0{,}9$$ , tetapi pusatnya 2,45 dan 2,35. Distribusi bootstrap meniru variasi pencuplikan bersyarat, bukan posterior; validasi memerlukan benih acak, lingkungan komputasi, definisi statistik, dan audit cakupan.

Solusi lengkap

Interval persentil langsung adalah

C_{\mathrm{perc}}=[2{,}0,2{,}9].

Interval dasar membalikkan kuantil galat di sekitar $\widehat\theta$ :

C_{\mathrm{basic}}=[2(2{,}4)-2{,}9,2(2{,}4)-2{,}0]=[1{,}9,2{,}8].

Panjang keduanya $$0{,}9$$ ; pusat persentil 2,45 dan pusat interval dasar 2,35. Secara konseptual, $\widehat\theta^*-\widehat\theta$ meniru hukum $\widehat\theta-\theta$ setelah populasi diganti distribusi empiris. Itu adalah aproksimasi kondisional, bukan posterior dan bukan jaminan cakupan seragam. Simpan benih acak, versi lingkungan komputasi, jumlah ulangan bootstrap, dan aturan penanganan kegagalan, serta nyatakan bahwa statistik terdefinisi untuk setiap sampel ulang. Uji cakupan di bawah model pembangkit yang dinyatakan, misalnya Model lokasi normal: MLE, cakupan, dan tiga statistik uji, dan laporkan galat Monte Carlo; kuantil yang tampak rapi tidak cukup sebagai bukti.

Soal 7 — titik ujung distribusi seragam dan interval eksak

Misalkan $X_i\sim\operatorname{Unif}(0,\theta)$ iid dan $M=X_{(n)}$ . Untuk $$n=10$$ amati $$M=0{,}8$$ . (a) Turunkan distribusi $M/\theta$ dan laju galat MLE. (b) Bentuk interval kepercayaan eksak 95% untuk $\theta$ . (c) Hitung interval numeriknya. (d) Jelaskan kegagalan Wald/delta dan bootstrap nonparametrik.

Petunjuk 1

$P_\theta(M\le m)=(m/\theta)^n$ untuk $0<m<\theta$ . Karena $M\le\theta$ hampir pasti, gunakan kuantil bawah dari $M/\theta$ untuk batas atas.

Petunjuk 2

Dengan $\alpha=.05$ , $P(M/\theta\ge\alpha^{1/n})=1-\alpha$ , sehingga intervalnya $[M,M\alpha^{-1/n}]$ . Sampel ulang empiris tidak pernah memiliki maksimum lebih besar dari $$M$$ .

Jawaban singkat

$(M/\theta)^n\sim\operatorname{Unif}(0,1)$ dan galat titik ujung berorde $n^{-1}$ . Interval eksak adalah $[M,M\,0{,}05^{-1/10}]$ , yakni kira-kira $$[0{,}8,1{,}07943]$$ . Himpunan dukungan yang berubah dan bootstrap empiris terkunci di bawah $$M$$ , sehingga teori akar- $$n$$ tidak dapat diterapkan secara mekanis.

Solusi lengkap

Untuk $0<m<\theta$ ,

P_\theta(M\le m)=P(X_1\le m,\ldots,X_n\le m)=(m/\theta)^n.

Maka $V=(M/\theta)^n$ berdistribusi seragam dan $n(1-M/\theta)\Rightarrow\operatorname{Exponential}(1)$ ; laju galat MLE adalah $n^{-1}$ , bukan $n^{-1/2}$ . Untuk $\alpha=.05$ ,

P_\theta\{M/\theta\ge\alpha^{1/n}\}=1-\alpha.

Bersama $M\le\theta$ hal ini setara dengan

P_\theta\{M\le\theta\le M\alpha^{-1/n}\}=1-\alpha.

Dengan $$n=10$$ , $0{,}05^{-1/10}\approx1{,}34928285$ , sehingga intervalnya $$[0{,}8,1{,}07942628]$$ . Teori reguler gagal karena dukungan bergantung pada parameter, titik ujung bukan interior, dan laju konvergensinya bukan akar- $$n$$ ; perhitungan skor biasa tidak menangkap suku batas. Bootstrap nonparametrik tidak pernah menghasilkan nilai di atas maksimum sampel dan menempatkan massa atom pada titik ujung empiris, sehingga tidak meniru hukum titik ujung kontinu. Bootstrap parametrik yang menggunakan model Seragam $(0,\theta)$ atau pivot eksak dapat dipakai setelah dibuktikan, bukan diasumsikan. Lihat Rasio fungsi kemungkinan tidak mengikuti hukum Wilks berdimensi satu.

Soal 8 — audit cakupan Monte Carlo

Simulasi deterministik memakai $$N=20.000$$ replikasi kumpulan data pada parameter tetap. Prosedur A mempunyai target cakupan $c_A=0{,}9500$ dan hasil $\widehat c_A=0{,}9478$ ; prosedur B mempunyai target $c_B=0{,}9000$ dan hasil $\widehat c_B=0{,}9025$ . (a) Hitung galat baku binomial dan skor $(\widehat c-c)/\operatorname{SE}$ . (b) Bentuk interval kira-kira 95% untuk cakupan Monte Carlo. (c) Jelaskan kesimpulan yang sah, termasuk metadata reproduksibilitas dan perbedaan cakupan parameter-tetap dari massa posterior.

Petunjuk 1

Gunakan $\operatorname{SE}=\sqrt{c(1-c)/N}$ dan interval $\widehat c\pm1{,}96\operatorname{SE}$ . Skor mengukur keragaman Monte Carlo, bukan statistik baru untuk parameter.

Petunjuk 2

Hitung A dan B secara terpisah. Pastikan benih acak, model pembangkit, parameter tetap, aturan interval, dan definisi kejadian tercakup disimpan; cakupan $$P_p$$ bukan peluang posterior dengan $$p$$ acak.

Jawaban singkat

$\operatorname{SE}_A\approx0{,}001541$ , $z_A\approx-1{,}43$ , dan interval $$[0{,}9448,0{,}9508]$$ . $\operatorname{SE}_B\approx0{,}002121$ , $z_B\approx1{,}18$ , dan interval $$[0{,}8983,0{,}9067]$$ . Deviasi konsisten dengan keragaman Monte Carlo dalam satu rangkaian simulasi; ini tidak membuktikan cakupan universal ataupun menyamakan cakupan dengan massa posterior.

Solusi lengkap

Untuk A,

\operatorname{SE}_A=\sqrt{\frac{0{,}95(0{,}05)}{20000}} \approx0{,}0015411,\qquad z_A=\frac{0{,}9478-0{,}9500}{0{,}0015411}\approx-1{,}43.

Interval normal sederhana adalah $0{,}9478\pm1{,}96(0{,}0015411)\approx[0{,}9448,0{,}9508]$ . Untuk B,

\operatorname{SE}_B=\sqrt{\frac{0{,}9(0{,}1)}{20000}} \approx0{,}0021213,\qquad z_B=\frac{0{,}9025-0{,}9000}{0{,}0021213}\approx1{,}18,

dengan interval $0{,}9025\pm1{,}96(0{,}0021213)\approx[0{,}8983,0{,}9067]$ . Kedua skor masih wajar sebagai variasi Monte Carlo. Kesimpulan yang dapat ditarik terbatas: simulasi tidak menunjukkan penyimpangan kuat pada model dan parameter yang dibekukan; ia tidak membuktikan validitas pada ukuran sampel, parameter, atau distribusi lain. Simpan benih acak, versi lingkungan komputasi, aturan interval, dan definisi cakupan. Cakupan parameter-tetap $P_p\{p\in C(X)\}$ berbeda dari massa posterior $P\{p\in C(X)\mid X\}$ ; rataan terhadap prior menjawab pertanyaan lain. Karena itu audit Model lokasi normal: MLE, cakupan, dan tiga statistik uji dan Metode delta pada titik reguler dan titik dengan turunan nol memberi bukti yang terbatas pada konfigurasi yang diuji, bukan klaim superioritas universal.

Daftar periksa kelulusan

Set ini dikuasai bila Anda dapat menghitung informasi dengan parameterisasi jelas; menurunkan interval dari pivot atau limit yang benar; memakai gradien metode delta sesuai domain; menjalankan bootstrap dengan benih acak, lingkungan komputasi, dan statistik terdefinisi; serta melaporkan cakupan dengan galat Monte Carlo. Sebelum memakai rumus akar- $$n$$ , periksa dukungan bersama, apakah parameter berada di interior ruang parameter, apakah informasi nonsingular, dan apakah syarat keteraturan teorema terpenuhi. Interval, bootstrap, dan simulasi menjawab pertanyaan probabilistik yang berbeda; jangan mengganti salah satunya dengan bahasa yang tidak setara.