Set penguasaan 10
Pada setiap uji asimtotik, tulis titik tempat informasi dievaluasi dan sebutkan syarat keteraturan yang dipakai. Jangan menyimpulkan limit \(\chi^2\) hanya karena suatu statistik memuat fungsi kemungkinan. Pada setiap persoalan penduga, nyatakan kerugian dan kelas pembanding sebelum memakai kata “efisien” atau “optimal”.
Masalah 1 — tiga uji Bernoulli pada satu himpunan data
Untuk \(X\sim\operatorname{Binomial}(n,p)\), uji dua sisi \(H_0:p=p_0\) melawan \(H_1:p\neq p_0\), dengan \(0<p_0<1\). Turunkan statistik Wald, skor, dan rasio fungsi kemungkinan (LR) dalam \(\widehat p=X/n\). Evaluasi ketiganya ketika \(n=100\), \(X=60\), dan \(p_0=0{,}5\). Jelaskan distribusi limit di bawah hipotesis nol dan satu kegagalan Wald pada sampel berhingga.
Petunjuk 1
\(\operatorname{Var}(\widehat p)\approx p(1-p)/n\). Wald memasukkan \(\widehat p\); skor memasukkan \(p_0\).
Petunjuk 2
Untuk LR, hitung dua kali selisih fungsi log-kemungkinan pada \(\widehat p\) dan \(p_0\), dengan konvensi \(0\log0=0\).
Jawaban singkat
Untuk data yang diberikan: \(W=4{,}1667\), \(S=4\), dan \(G^2\approx4{,}0271\). Ketiganya menuju \(\chi^2_1\) di bawah hipotesis nol yang reguler; Wald tidak terdefinisi saat \(\widehat p\in\{0,1\}\).
Solusi lengkap
Fungsi log-kemungkinan tanpa konstanta adalah
dengan MLE \(\widehat p=X/n\), yang berada di interior tepat ketika \(0<X<n\). Varians asimtotik MLE ialah \(p(1-p)/n\). Uji Wald mengevaluasi penduga varians itu pada MLE:
Skor pada \(p_0\) adalah
dan informasi \(I_n(p_0)=n/[p_0(1-p_0)]\), sehingga
Statistik LR adalah
Untuk \(\widehat p=0{,}6\) dan \(p_0=0{,}5\),
dan
Dukungan yang tidak bergantung pada parameter, \(p_0\) interior, informasi positif, dan diferensiabilitas memungkinkan ketiganya konvergen ke \(\chi^2_1\). Ketiganya hanya ekuivalen hingga galat orde lebih kecil, bukan identik. Bila \(X=0\) atau \(X=n\), penyebut Wald nol; skor dan LR masih dapat didefinisikan, menunjukkan ketidakstabilan Wald pada nilai batas dalam sampel berhingga.
Masalah 2 — ekuivalensi lokal pada model Poisson
Misalkan \(X_1,\ldots,X_n\) saling bebas dan berdistribusi identik menurut \(\operatorname{Poisson}(\lambda)\), dan \(\widehat\lambda=\bar X\). Untuk \(H_0:\lambda=\lambda_0>0\):
- turunkan \(W\), \(S\), dan \(G^2\);
- gunakan \(\widehat\lambda-\lambda_0=O_p(n^{-1/2})\) untuk membuktikan \(W-S=o_p(1)\) dan \(G^2-S=o_p(1)\).
Kerjakan rumus Wald pada kejadian \(\widehat\lambda>0\). Pada \(\widehat\lambda=0\), tetapkan \(W=0\) dan jelaskan mengapa perluasan ini tidak memengaruhi limit asimtotik.
Petunjuk 1
Informasi sampel adalah \(n/\lambda\). Karena itu Wald menggunakan \(\widehat\lambda/n\) sebagai penduga varians MLE, sedangkan skor menggunakan \(\lambda_0/n\).
Petunjuk 2
Untuk \(d=\widehat\lambda-\lambda_0\), perluas \((\lambda_0+d)\log(1+d/\lambda_0)-d\) hingga orde dua.
Jawaban singkat
Ketiganya sama dengan \(n(\widehat\lambda-\lambda_0)^2/\lambda_0+o_p(1)\) dan berkonvergensi dalam distribusi ke \(\chi^2_1\) di bawah hipotesis nol.
Rumus Wald di atas berlaku pada \(\widehat\lambda>0\). Definisi \(W=0\) pada \(\widehat\lambda=0\) tidak mengubah limit karena \(P_{\lambda_0}(\widehat\lambda=0)=e^{-n\lambda_0}\to0\). Untuk LR, gunakan konvensi \(0\log(0/\lambda_0)=0\), sehingga \(G^2=2n\lambda_0\) ketika \(\widehat\lambda=0\).
Solusi lengkap
Fungsi log-kemungkinan tanpa konstanta ialah
Skor dan informasi adalah
Pada kejadian \(\widehat\lambda>0\), substitusi langsung memberi ketiga formula pada jawaban singkat. Misalkan \(d=\widehat\lambda-\lambda_0=O_p(n^{-1/2})\). Karena \(\widehat\lambda^{-1}=\lambda_0^{-1}+O_p(n^{-1/2})\),
Untuk LR, ekspansi log memberi
Maka
Di bawah hipotesis nol, \(\sqrt n(\widehat\lambda-\lambda_0)/\sqrt{\lambda_0}\Rightarrow N(0,1)\), sehingga \(S\Rightarrow\chi^2_1\) dan hasil Slutsky memberikan limit yang sama bagi Wald dan LR.
Masalah 3 — dukungan berubah dan kegagalan Wilks
Misalkan \(X_1,\ldots,X_n\) saling bebas dan berdistribusi identik menurut \(\operatorname{Unif}(0,\theta)\), \(\theta>0\), dan \(M=\max_iX_i\). Uji \(H_0:\theta=\theta_0\) melawan \(H_1:\theta>0,\ \theta\ne\theta_0\):
- cari MLE dan statistik \(T=-2\log\Lambda\);
- tentukan distribusi nol eksak \(T\);
- jelaskan kondisi Wilks yang gagal.
Petunjuk 1
Fungsi kemungkinan adalah \(\theta^{-n}\mathbf1\{M\leq\theta\}\) dan dimaksimumkan pada nilai \(\theta\) terkecil yang masih konsisten dengan data.
Petunjuk 2
Di bawah \(\theta_0\), peubah \(U=(M/\theta_0)^n\) seragam pada \([0,1]\).
Jawaban singkat
Untuk \(M>0\), MLE adalah \(\widehat\theta=M\). Statistik LR ialah
Jika \(M=0\), fungsi kemungkinan penuh tidak berbatas ketika \(\theta\downarrow0\), sehingga tidak ada MLE berhingga; kejadian ini berpeluang nol di bawah setiap \(\theta>0\). Di bawah hipotesis nol, \(0<M\leq\theta_0\) hampir pasti dan \(U=(M/\theta_0)^n\sim\operatorname{Unif}(0,1)\), sehingga \(T=-2\log U\sim\chi^2_2\) secara eksak. Distribusi ini bukan \(\chi^2_1\) karena dukungan \((0,\theta)\) berubah dengan parameter, sehingga diferensiasi fungsi kemungkinan dan identitas skor yang disyaratkan oleh kondisi Wilks tidak berlaku.
Solusi lengkap
Fungsi kemungkinan adalah
Untuk \(M>0\), pada himpunan \(\theta\geq M\) fungsi \(\theta^{-n}\) menurun, sehingga MLE adalah \(\widehat\theta=M\). Jika \(M=0\), fungsi kemungkinan tidak berbatas ketika \(\theta\downarrow0\) dan tidak ada MLE berhingga; kejadian ini berpeluang nol di bawah setiap \(\theta>0\). Untuk \(M>0\), rasio fungsi kemungkinannya adalah
Kasus kedua terjadi karena \(L(\theta_0)=0\), sehingga \(T=-2\log\Lambda=+\infty\). Di bawah \(H_0\), \(0<M\leq\theta_0\) hampir pasti.
CDF maksimum di bawah hipotesis nol adalah \(P(M\leq m)=(m/\theta_0)^n\) untuk \(0<m<\theta_0\). Karena itu
jadi \(U=(M/\theta_0)^n\sim\operatorname{Unif}(0,1)\). Transformasi logaritmik memberi \(-2\log U\sim\chi^2_2\) secara eksak.
Wilks reguler untuk satu restriksi akan menghasilkan \(\chi^2_1\), tetapi dukungan data bergantung pada \(\theta\). Turunan indikator dukungan menimbulkan kontribusi batas yang tidak boleh diabaikan; skor reguler tidak mempunyai sifat bermean nol yang diperlukan. Fakta bahwa \(\theta_0>0\) adalah titik interior ruang parameter tidak memperbaiki pelanggaran asumsi dukungan yang tetap.
Masalah 4 — parameter pada batas dan limit campuran
Misalkan \(X_1,\ldots,X_n\) iid \(N(\mu,1)\) tetapi ruang parameter dibatasi \(\mu\geq0\). Uji \(H_0:\mu=0\) melawan \(H_1:\mu>0\) dengan LR.
- Turunkan MLE terbatas dan statistik LR.
- Tentukan distribusi nolnya.
- Tentukan persamaan nilai kritis untuk aras \(0{,}05\) dan bandingkan dengan nilai kritis Wilks biasa \(\chi^2_{1;\,0{,}95}\).
Petunjuk 1
MLE terbatas adalah \(\max(0,\bar X)\). Gunakan \(Z=\sqrt n\bar X\sim N(0,1)\) di bawah hipotesis nol.
Petunjuk 2
Ketika \(Z\leq0\), MLE sama dengan nilai nol sehingga statistik LR tepat nol. Ketika \(Z>0\), statistiknya \(Z^2\).
Jawaban singkat
Di bawah hipotesis nol, \(T\sim\tfrac12\delta_0+\frac12\chi^2_1\). Nilai kritis \(c\) beraras \(0{,}05\) memenuhi \(P(\chi^2_1>c)=0{,}10\), jadi \(c=\chi^2_{1;\,0{,}90}\approx2{,}7055\), bukan \(3{,}8415\).
Solusi lengkap
Jika ruang parameter tidak dibatasi, fungsi log-kemungkinan kuadratik dimaksimumkan pada \(\bar X\). Proyeksi ke \([0,\infty)\) memberi \(\widehat\mu=\max(0,\bar X)\). Jika \(\bar X\leq0\), MLE terbatas sama dengan nol dan \(T=2\{\ell(\widehat\mu)-\ell(0)\}=0\). Jika \(\bar X>0\),
Di bawah hipotesis nol, \(P(Z\leq0)=1/2\). Pada kejadian \(Z>0\), kuadrat mempunyai distribusi \(\chi^2_1\) yang menyumbang setengah massa. Maka
Untuk \(c>0\),
Menyamakan dengan \(0{,}05\) memerlukan ekor \(\chi^2_1\) sebesar \(0{,}10\), yaitu kuantil ke-\(0{,}90\). Memakai kuantil ke-\(0{,}95\) menghasilkan aras \(0{,}025\), terlalu konservatif. Penyebabnya adalah nol terletak pada batas ruang parameter, bukan titik interior seperti yang disyaratkan Wilks biasa.
Masalah 5 — risiko penduga proporsi yang disusutkan
Untuk \(S\sim\operatorname{Binomial}(n,p)\), bandingkan di bawah kerugian kuadratik
Turunkan bias, varians, dan risiko \(\delta_L\). Bandingkan kedua penduga pada \(p=1/2\) dan \(p=0\). Apakah salah satunya mendominasi yang lain berdasarkan dua perbandingan ini?
Petunjuk 1
\(E(S)=np\) dan \(\operatorname{Var}(S)=np(1-p)\). Gunakan dekomposisi MSE.
Petunjuk 2
Pada \(p=0\), \(S=0\) hampir pasti. Pada \(p=1/2\), bias \(\delta_L\) menghilang.
Jawaban singkat
Pada \(p=1/2\), \(\delta_L\) lebih baik; pada \(p=0\), \(\delta_0\) mempunyai risiko nol sedangkan \(\delta_L\) positif. Jadi \(\delta_L\) tidak mendominasi \(\delta_0\), dan risiko keduanya bersilangan.
Solusi lengkap
Rataan penduga Laplace adalah
sehingga bias terhadap \(p\) ialah
Variansnya
Dekomposisi bias–varians memberi formula risiko pada jawaban. Sementara itu \(\delta_0\) tak bias dan
Pada \(p=1/2\),
karena \(n^2<(n+2)^2\). Pada \(p=0\), \(S=0\) hampir pasti, maka
Jadi \(\delta_L\) tidak mendominasi \(\delta_0\). Sebaliknya, hasil pada \(p=1/2\) menunjukkan bahwa \(\delta_0\) juga tidak mendominasi \(\delta_L\). Dengan demikian, kedua fungsi risiko saling bersilangan. Klaim keadmisibelan salah satu penduga masih memerlukan pembandingan terhadap seluruh kelas aturan, bukan hanya pasangan ini.
Masalah 6 — perbaikan Rao–Blackwell Bernoulli
Misalkan \(X_1,\ldots,X_n\) iid Bernoulli\((p)\), \(n>1\), dan \(S=\sum_iX_i\). Mulai dari penduga \(\delta=X_1\) untuk \(p\).
- Buktikan \(S\) cukup.
- Hitung \(E_p(X_1\mid S)\) tanpa memakai \(p\).
- Hitung penurunan risiko kuadratik secara eksak.
- Hubungkan langkah Anda dengan simpul donor kecukupan dan Rao–Blackwell.
Petunjuk 1
Fungsi kemungkinan dapat difaktorkan menjadi \(p^S(1-p)^{n-S}\) kali faktor yang tidak bergantung pada \(p\); bandingkan Definisi statistik cukup dan Teorema faktorisasi Fisher–Neyman.
Petunjuk 2
Diberikan \(S=s\), semua penempatan \(s\) sukses di antara \(n\) posisi mempunyai probabilitas sama. Gunakan simetri posisi pertama.
Jawaban singkat
\(S\) cukup, \(E_p(X_1\mid S)=S/n\), dan Rao–Blackwell mengubah \(X_1\) menjadi \(\bar X=S/n\). Risiko turun dari \(p(1-p)\) menjadi \(p(1-p)/n\), yaitu penurunan \(p(1-p)(1-1/n)\).
Solusi lengkap
Fungsi kemungkinan sampel adalah
sehingga faktorisasi Fisher–Neyman memperlihatkan bahwa \(S\) cukup. Ini adalah penerapan, bukan pengulangan prosa, dari simpul donor Definisi statistik cukup dan Teorema faktorisasi Fisher–Neyman.
Jika \(S=s\), tepat \(s\) dari \(n\) posisi bernilai satu dan seluruh konfigurasi mempunyai probabilitas bersyarat yang sama. Peluang bahwa posisi pertama merupakan salah satu posisi yang bernilai satu adalah \(s/n\), maka
Fungsi ini tidak mengandung \(p\), sebagaimana dijamin oleh kecukupan. Teorema Rao–Blackwell pada simpul Teorema Rao–Blackwell menghasilkan penduga \(\delta^*=S/n\). Keduanya tak bias. Di bawah kerugian kuadratik,
dan
Selisihnya
positif untuk \(0<p<1\). Ini juga sama dengan \(E_p\operatorname{Var}(X_1\mid S)\) menurut identitas proyeksi bersyarat.
Masalah 7 — Lehmann–Scheffé pada keluarga Poisson
Misalkan \(X_1,\ldots,X_n\) iid Poisson\((\lambda)\) dengan \(n\geq2\), dan \(S=\sum_iX_i\).
- Buktikan \(S\) cukup dan lengkap.
- Temukan penduga tak bias berbasis \(S\) untuk \(e^{-\lambda}\).
- Buktikan status UMVU-nya dan nyatakan batas klaim tersebut.
Petunjuk 1
Untuk kelengkapan, jika \(E_\lambda h(S)=0\), kalikan persamaan deret Poisson dengan \(e^{n\lambda}\) dan gunakan ketunggalan koefisien deret pangkat.
Petunjuk 2
Gunakan fungsi pembangkit \(E(a^S)=\exp\{n\lambda(a-1)\}\) dan pilih \(a=1-1/n\).
Jawaban singkat
Statistik \(S\), yang berdistribusi \(\operatorname{Poisson}(n\lambda)\), cukup dan lengkap. Selain itu,
tak bias untuk \(e^{-\lambda}\). Menurut Lehmann–Scheffé, \(U\) adalah UMVU di kelas penduga tak bias bermomen kedua; hasil itu tidak dengan sendirinya membuktikan keadmisibelan terhadap seluruh penduga bias.
Solusi lengkap
Fungsi kemungkinan sampel dapat ditulis
jadi faktorisasi menunjukkan \(S\) cukup. Untuk kelengkapan, andaikan \(E_\lambda|h(S)|<\infty\) dan \(E_\lambda h(S)=0\) bagi semua \(\lambda>0\). Karena \(S\sim\operatorname{Poisson}(n\lambda)\),
Deret itu konvergen absolut untuk setiap \(\lambda>0\). Karena nilainya nol pada seluruh interval \(\lambda>0\), ketunggalan deret pangkat memberi \(h(s)=0\) untuk setiap \(s\). Inilah kelengkapan pada simpul donor Definisi statistik lengkap.
Fungsi pembangkit probabilitas memberi
Jadi \(U\) tak bias dan merupakan fungsi dari statistik yang cukup dan lengkap. Teorema Lehmann–Scheffé Teorema Lehmann–Scheffé menyatakan bahwa setiap penduga tak bias lain, setelah diperbaiki melalui Rao–Blackwell terhadap \(S\), harus sama hampir pasti dengan \(U\); varians \(U\) karena itu tidak lebih besar. Klaim yang sah adalah UMVU dalam kelas penduga tak bias. Tanpa pembuktian risiko terhadap semua penduga bias, tidak ada kesimpulan keadmisibelan global.
Masalah 8 — efisiensi estimasi varians normal
Misalkan \(X_1,\ldots,X_n\) iid \(N(\mu,\tau)\), dengan \(\mu\) diketahui dan parameter \(\tau=\sigma^2>0\). Definisikan
- Hitung skor dan informasi Fisher untuk parameter \(\tau\).
- Buktikan \(\delta\) tak bias dan mencapai batas Cramér–Rao untuk menduga \(g(\tau)=\tau\).
- Nyatakan dengan tepat apa yang belum dibuktikan oleh efisiensi ini.
Petunjuk 1
\(T/\tau\sim\chi^2_n\), sehingga \(E(T)=n\tau\) dan \(\operatorname{Var}(T)=2n\tau^2\).
Petunjuk 2
Diferensiasikan \(\ell(\tau)=-(n/2)\log\tau-T/(2\tau)\) dan bandingkan \(\operatorname{Var}(T/n)\) dengan \(1/I_n(\tau)\).
Jawaban singkat
\(E(\delta)=\tau\) dan \(\operatorname{Var}(\delta)=2\tau^2/n=1/I_n(\tau)\), sehingga \(\delta\) efisien dalam kelas tak bias reguler. Ini belum membuktikan keadmisibelan terhadap semua penduga bias atau validitas pada batas \(\tau=0\).
Solusi lengkap
Fungsi log-kemungkinan tanpa konstanta adalah
Skornya
Karena \(T/\tau\sim\chi^2_n\), \(\operatorname{Var}(T)=2n\tau^2\). Maka
Selain itu,
Untuk \(g(\tau)=\tau\), \(g'(\tau)=1\), sehingga batas Cramér–Rao adalah
tepat sama dengan varians \(\delta\). Model pada \(\tau>0\) mempunyai dukungan bersama \(\mathbb R^n\), parameter interior, dan diferensiabilitas yang dibutuhkan, sehingga perbandingan reguler sah. Pencapaian batas membuktikan efisiensi dalam kelas penduga tak bias yang tunduk pada asumsi tersebut. Ia tidak menyingkirkan semua penduga bias di bawah kerugian kuadratik, tidak membuktikan keadmisibelan global, dan tidak dapat diekstrapolasi ke \(\tau=0\), tempat distribusi menjadi degenerat dan parameter berada pada batas.
Daftar periksa kelulusan
Set ini dikuasai bila Anda dapat menurunkan ketiga statistik fungsi kemungkinan tanpa menghafal bentuk akhir; membuktikan laju sisa yang membuatnya ekuivalen; memakai distribusi yang benar ketika dukungan berubah atau parameter nol berada pada batas; serta membedakan perbaikan risiko, UMVU, efisiensi Cramér–Rao, dan keadmisibelan.