O006-C140-CMP-MS07 · id-ID · CC BY-SA 4.0 · OpenAI Codex gpt-5.6-sol, Ultra

Set penguasaan 07 — keteraturan, konsistensi, dan normalitas MLE

Delapan soal ini menguji rantai penalaran lengkap dari definisi model terdominasi hingga inferensi dengan metode delta. Dalam setiap solusi, kesimpulan asimtotik baru dipakai setelah asumsi yang relevan diperiksa. Notasi skor, informasi Fisher, ULLN, dan ekspansi fungsi kemungkinan mengikuti Definisi: skor satu observasi, Teorema: ULLN Lipschitz pada himpunan kompak, dan Teorema: normalitas asimtotik akar skor konsisten, termasuk MLE interior.

Soal 1 — Dominasi, pertukaran turunan, dan dukungan

Bandingkan dua model berikut untuk satu pengamatan.

\text{A: } f_\lambda(x)=\lambda e^{-\lambda x}\mathbf 1\{x\ge0\}, \quad \lambda>0,

\text{B: } g_\theta(x)=\theta^{-1}\mathbf 1\{0<x<\theta\}, \quad \theta>0.

Untuk masing-masing model:

tentukan ukuran yang mendominasi dan dukungan;
tentukan apakah ada dukungan bersama dalam suatu lingkungan bagi setiap parameter interior;
hitung skor formal; dan
putuskan apakah identitas $$E(s)=0$$ sah.

Untuk model A, berikan selubung terintegralkan yang membenarkan pertukaran turunan dan integral pada lingkungan kompak $[\lambda_0/2,3\lambda_0/2]$ . Untuk model B, tunjukkan secara eksplisit suku batas yang hilang jika indikator diturunkan secara naif.

Petunjuk 1

Kedua model terdominasi oleh ukuran Lebesgue. Namun dominasi hanya menyatakan bahwa seluruh densitas ditulis terhadap satu ukuran; ia tidak menyatakan bahwa daerah tempat densitas positif tetap.

Petunjuk 2

Untuk model A, $\partial_\lambda f_\lambda(x)=e^{-\lambda x}(1-\lambda x)$ . Pada lingkungan yang diberikan, gunakan $e^{-\lambda x}\le e^{-\lambda_0x/2}$ dan $|1-\lambda x|\le1+(3\lambda_0/2)x$ . Untuk model B, turunkan langsung $\int_0^\theta\theta^{-1}\,dx$ dengan aturan Leibniz.

Jawaban singkat

Model A mempunyai dukungan bersama $[0,\infty)$ , skor $s_\lambda(x)=1/\lambda-x$ , dan $E_\lambda s_\lambda=0$ . Model B mempunyai dukungan $(0,\theta)$ yang bergerak; skor interior formalnya $-1/\theta$ memiliki nilai harapan $-1/\theta$ , sehingga identitas skor reguler tidak sah. Suku batas di ujung atas tepat meniadakan integral turunan pada bagian interior.

Solusi lengkap

Ukuran Lebesgue mendominasi kedua keluarga. Pada A, dukungan esensial adalah $[0,\infty)$ untuk setiap $\lambda>0$ , jadi dukungan bersama tersedia. Turunan densitasnya

\partial_\lambda f_\lambda(x) =e^{-\lambda x}(1-\lambda x)\mathbf 1\{x\ge0\}.

Pada $N=[\lambda_0/2,3\lambda_0/2]$ ,

|\partial_\lambda f_\lambda(x)| \le e^{-\lambda_0x/2} \left[1+\frac{3\lambda_0}{2}x\right] =:G(x).

Kedua suku yang diperoleh dengan mengembangkan $$G$$ dapat diintegralkan pada $[0,\infty)$ , sehingga teorema pertukaran turunan Teorema: menurunkan di bawah tanda integral berlaku. Skor

s_\lambda(x)=\partial_\lambda\log f_\lambda(x) =\frac1\lambda-x

mempunyai harapan $1/\lambda-E_\lambda X=0$ .

Pada B, dukungan esensial $(0,\theta)$ berubah dengan $\theta$ . Jika hanya bagian $\theta^{-1}$ diturunkan, skor formal adalah $-1/\theta$ dan memiliki nilai harapan $-1/\theta$ . Perhitungan benar memakai aturan Leibniz:

\frac d{d\theta}\int_0^\theta\frac1\theta\,dx =\int_0^\theta\left(-\frac1{\theta^2}\right)\,dx +\frac1\theta\frac d{d\theta}(\theta) =-\frac1\theta+\frac1\theta=0.

Suku kedua berasal dari batas dukungan yang bergerak. Ia tidak termuat dalam skor interior. Jadi dominasi berlaku, tetapi syarat dukungan bersama pada Asumsi R1--R6 gagal dan teorema nilai harapan skor nol tidak dapat diterapkan pada B.

Soal 2 — Identifiabilitas dan informasi singular

Misalkan $X_1,\ldots,X_n$ iid dengan

X_i\sim N(\theta^2,1),\qquad \theta\in\mathbb R.

Tunjukkan bahwa model tidak teridentifikasi.
Hitung skor dan informasi Fisher per pengamatan.
Tentukan himpunan MLE ketika $\bar X>0$ dan ketika $\bar X\le0$ .
Buktikan bahwa tidak ada penduga yang konsisten untuk label $\theta$ pada kedua titik $\theta_0=a$ dan $\theta_0=-a$ , dengan $$a>0$$ .
Berikan dua cara sah untuk merumuskan ulang target inferensi.

Petunjuk 1

Distribusi data hanya bergantung pada $m=\theta^2$ . Bandingkan hukum seluruh sampel pada $$a$$ dan $$-a$$ .

Petunjuk 2

Jika dinyatakan dalam $m\ge0$ , fungsi kemungkinannya adalah fungsi kemungkinan bagi parameter rataan distribusi Normal. Proyeksikan $\bar X$ ke $[0,\infty)$ , lalu ambil akar kuadrat untuk kembali ke koordinat $\theta$ .

Jawaban singkat

$P_\theta=P_{-\theta}$ , skor adalah $2\theta(X-\theta^2)$ , dan $I(\theta)=4\theta^2$ . Bila $\bar X>0$ , himpunan MLE $\{-\sqrt{\bar X},\sqrt{\bar X}\}$ ; bila $\bar X\le0$ , MLE tunggalnya nol. Target yang sah adalah $m=\theta^2$ atau $\theta$ pada cabang yang ditetapkan sebelum data, misalnya $\theta\ge0$ .

Solusi lengkap

Karena rataan distribusi adalah $\theta^2$ , $N(\theta^2,1)=N((-\theta)^2,1)$ . Jadi model melanggar identifiabilitas Definisi: identifiabilitas. Log-densitas, selain konstanta, adalah $-\tfrac12(x-\theta^2)^2$ . Maka

s_\theta(x)=2\theta(x-\theta^2).

Di bawah parameter $\theta$ , $X-\theta^2$ bervarians satu, sehingga

I(\theta)=E_\theta s_\theta(X)^2=4\theta^2.

Informasi positif untuk $\theta\ne0$ hanya merupakan sifat lokal; hal itu tidak menghilangkan ambiguitas label global antara $\theta$ dan $-\theta$ . Pada $\theta=0$ , informasi juga singular.

Sebagai fungsi $m=\theta^2\ge0$ , fungsi log-kemungkinan dimaksimumkan pada $\widehat m=\max(\bar X,0)$ . Jika $\bar X>0$ , kedua akar $\pm\sqrt{\bar X}$ memberi nilai fungsi kemungkinan yang sama; jika $\bar X\le0$ , hanya $\theta=0$ yang berpadanan dengan pemaksimum berkendala $$m=0$$ .

Andaikan penduga $$T_n$$ konsisten pada $$a$$ dan $$-a$$ . Pilih dua lingkungan terpisah $$A_+$$ dan $$A_-$$ di sekitar kedua titik. Konsistensi pada $$a$$ memberi $P_a(T_n\in A_+)\to1$ . Namun hukum seluruh sampel sama di bawah $$a$$ dan $$-a$$ , jadi $P_{-a}(T_n\in A_+)\to1$ . Konsistensi pada $$-a$$ sekaligus menuntut $P_{-a}(T_n\in A_-)\to1$ , mustahil karena kedua kejadian saling lepas.

Kita dapat (i) menargetkan parameter teridentifikasi $m=\theta^2$ , atau (ii) menetapkan cabang, misalnya $\Theta=[0,\infty)$ , sebelum melihat data. Pilihan cabang merupakan bagian substantif model, bukan aturan yang baru memilih salah satu pemaksimum setara setelah hasil dilihat.

Soal 3 — Informasi Fisher multivariat dan reparameterisasi

Misalkan $X\sim N(\mu,v)$ , $$v>0$$ .

Turunkan skor untuk $\theta=(\mu,v)^\mathsf T$ .
Hitung $I_\theta(\mu,v)$ .
Gunakan reparameterisasi $\eta=(\mu,\tau)^\mathsf T$ dengan $\tau=\log v$ . Hitung Jacobian $H=\partial\theta/\partial\eta^\mathsf T$ dan informasi $I_\eta$ .
Jelaskan arti elemen nondiagonal nol dan apakah hal itu menjadikan penduga $\widehat\mu$ dan $\widehat v$ independen pada setiap model.

Petunjuk 1

Gunakan momen terpusat Normal sampai orde empat: $E(X-\mu)^2=v$ , $E(X-\mu)^3=0$ , dan $E(X-\mu)^4=3v^2$ .

Petunjuk 2

Karena $v=e^\tau$ ,

H= \begin{pmatrix} 1&0\\ 0&e^\tau \end{pmatrix},

dan gunakan $I_\eta=H^\mathsf T I_\theta H$ .

Jawaban singkat

Skor adalah $s_\mu=(X-\mu)/v$ dan $s_v=-1/(2v)+(X-\mu)^2/(2v^2)$ . Informasi dalam koordinat $(\mu,v)$ adalah $\operatorname{diag}(1/v,1/(2v^2))$ ; dalam koordinat $(\mu,\log v)$ menjadi $\operatorname{diag}(e^{-\tau},1/2)$ . Elemen silang yang nol menyatakan ortogonalitas informasi lokal, bukan independensi universal penduga.

Solusi lengkap

Log-densitas per pengamatan ialah

\ell(\mu,v;x) =-\frac12\log(2\pi v)-\frac{(x-\mu)^2}{2v}.

Turunan komponennya

s_\mu=\frac{x-\mu}{v}, \qquad s_v=-\frac1{2v}+\frac{(x-\mu)^2}{2v^2}.

Nilai harapan setiap komponen skor adalah nol. Untuk elemen informasi,

E(s_\mu^2)=\frac{E(X-\mu)^2}{v^2}=\frac1v,

E(s_\mu s_v) =-\frac{E(X-\mu)}{2v^2} +\frac{E(X-\mu)^3}{2v^3}=0,

dan

E(s_v^2) =\frac1{4v^2} -\frac{E(X-\mu)^2}{2v^3} +\frac{E(X-\mu)^4}{4v^4} =\frac1{2v^2}.

Jadi

I_\theta= \begin{pmatrix} 1/v&0\\ 0&1/(2v^2) \end{pmatrix}.

Untuk $\theta=h(\eta)=(\mu,e^\tau)^\mathsf T$ , $H=\operatorname{diag}(1,e^\tau)=\operatorname{diag}(1,v)$ . Teorema reparameterisasi Teorema: transformasi informasi memberi

I_\eta=H^\mathsf T I_\theta H = \begin{pmatrix} e^{-\tau}&0\\ 0&1/2 \end{pmatrix}.

Elemen silang yang nol berarti arah lokasi dan log-varians ortogonal dalam geometri informasi pada model Normal. Itu tidak membenarkan kebiasaan menghapus kovarians silang pada model lain. Bahkan bila limit asimtotiknya independen, independensi pada sampel berhingga perlu dibuktikan dari hukum gabungan penduga; ia tidak mengikuti hanya dari sebuah matriks informasi diagonal.

Soal 4 — Konsistensi Bernoulli melalui KL, ULLN, dan argmax

Misalkan $X_i\sim\operatorname{Bernoulli}(p_0)$ iid, dengan $p_0\in[a,1-a]$ dan $$0<a<1/2$$ . Ruang parameter adalah $\Theta=[a,1-a]$ .

Tulis kriteria $$M_n(p)$$ dan $$M(p)$$ .
Buktikan bahwa $$M$$ mempunyai pemaksimum unik $$p_0$$ .
Verifikasi syarat Lipschitz acak untuk ULLN.
Buktikan pemisahan argmax untuk setiap $\varepsilon>0$ .
Simpulkan bahwa MLE berkendala konsisten, termasuk jika algoritme hanya menghasilkan pemaksimum hampiran dengan galat $$r_n=o_P(1)$$ .

Petunjuk 1

Gunakan $M(p)-M(p_0)=-D_{\mathrm{KL}}(\operatorname{Bern}(p_0)\|\operatorname{Bern}(p))$ .

Petunjuk 2

Nilai mutlak turunan $m_p(x)=x\log p+(1-x)\log(1-p)$ dibatasi oleh $$1/a$$ pada $\Theta$ . Kekompakan dan kontinuitas mengubah keunikan maksimum menjadi celah positif di luar bola $\varepsilon$ .

Jawaban singkat

$M_n(p)=\bar X\log p+(1-\bar X)\log(1-p)$ dan $M(p)=p_0\log p+(1-p_0)\log(1-p)$ . Identifikasi KL memberi maksimum unik; batas turunan $$1/a$$ memberi ULLN; kontinuitas pada parameter kompak memberi pemisahan. Teorema argmax kemudian memberi $\widehat p_n\xrightarrow{P}p_0$ bagi MLE eksak maupun hampiran.

Solusi lengkap

Kriteria per pengamatan dan rata-ratanya ialah

m_p(x)=x\log p+(1-x)\log(1-p),

M_n(p)=\bar X_n\log p+(1-\bar X_n)\log(1-p).

Mengambil harapan di bawah $$p_0$$ memberi

M(p)=p_0\log p+(1-p_0)\log(1-p).

Model Bernoulli teridentifikasi. Oleh identifikasi KL Teorema: identifikasi kriteria populasi,

M(p)-M(p_0) =-D_{\mathrm{KL}}\{\operatorname{Bern}(p_0)\| \operatorname{Bern}(p)\}\le0,

dengan kesamaan hanya pada $$p=p_0$$ .

Untuk $p\in[a,1-a]$ ,

\left|\partial_p m_p(x)\right| =\left|\frac{x}{p}-\frac{1-x}{1-p}\right| \le\frac1a.

Teorema nilai rata-rata memberi $|m_p(x)-m_q(x)|\le a^{-1}|p-q|$ . Jadi ULLN Teorema: ULLN Lipschitz pada himpunan kompak berlaku dengan selubung konstan $$L(X)=1/a$$ .

Untuk $\varepsilon>0$ , himpunan $A_\varepsilon=\{p\in\Theta:|p-p_0|\ge\varepsilon\}$ merupakan himpunan tertutup dalam $\Theta$ ; karena $\Theta$ kompak, $A_\varepsilon$ juga kompak. Kontinuitas $$M$$ menjamin maksimum pada $A_\varepsilon$ tercapai; keunikan maksimum global membuat

\Delta_\varepsilon =M(p_0)-\sup_{p\in A_\varepsilon}M(p)>0.

Konvergensi seragam dan celah ini memenuhi hipotesis teorema argmax Teorema: konsistensi pemaksimum hampiran. Maka setiap $\widehat p_n$ dengan $M_n(\widehat p_n)\ge\sup_\Theta M_n-r_n$ dan $$r_n=o_P(1)$$ memenuhi $\widehat p_n\xrightarrow{P}p_0$ . Bukti tidak bergantung pada rumus berbentuk tertutup untuk MLE.

Soal 5 — Konsistensi tidak menyiratkan konvergensi nilai harapan

Definisikan peubah acak

T_n= \begin{cases} n,&\text{dengan probabilitas }1/n,\\ 0,&\text{dengan probabilitas }1-1/n. \end{cases}

Buktikan $T_n\xrightarrow{P}0$ tetapi $ET_n\nrightarrow0$ .
Tunjukkan bahwa $\{T_n\}$ tidak terintegralkan secara seragam.
Misalkan sekarang $\widehat\theta_n\xrightarrow{P}\theta_0$ dan $|\widehat\theta_n|\le C$ hampir pasti untuk seluruh $$n$$ . Buktikan $E|\widehat\theta_n-\theta_0|\to0$ dan $E\widehat\theta_n\to\theta_0$ .
Jelaskan mengapa klaim “konsistensi MLE berarti biasnya menuju nol” harus menyebut syarat tambahan.

Petunjuk 1

Untuk bagian pertama, hitung peluang $P(|T_n|>\varepsilon)$ dan harapan langsung. Untuk UI, pilih $$n>K$$ .

Petunjuk 2

Batas seragam tersebut membuat keluarga penduga terintegralkan secara seragam (UI). Anda juga dapat membuktikan konvergensi $$L^1$$ langsung dengan membagi harapan pada kejadian $|\widehat\theta_n-\theta_0|\le\varepsilon$ dan komplemennya.

Jawaban singkat

$P(|T_n|>\varepsilon)=1/n\to0$ untuk $n>\varepsilon$ , tetapi $$ET_n=1$$ . Untuk setiap $$K$$ , pilih $$n>K$$ sehingga $E[T_n\mathbf1\{T_n>K\}]=1$ ; jadi UI gagal. Keluarga penduga yang terbatas secara seragam bersifat UI, sehingga konsistensi bersama UI memberi konvergensi $$L^1$$ dan nilai harapan.

Solusi lengkap

Untuk $\varepsilon>0$ tetap dan $n>\varepsilon$ ,

P(|T_n|>\varepsilon)=P(T_n=n)=\frac1n\longrightarrow0.

Jadi $T_n\xrightarrow{P}0$ . Namun

ET_n=n\frac1n+0\left(1-\frac1n\right)=1.

Konvergensi probabilitas tidak mengendalikan kontribusi kejadian langka dengan nilai besar. Untuk setiap $$K>0$$ , ambil bilangan bulat $$n>K$$ . Maka

E\{T_n\mathbf1(T_n>K)\}=n\frac1n=1.

Akibatnya supremum terhadap $$n$$ tidak menuju nol saat $K\to\infty$ , sehingga UI gagal menurut Definisi: integrabilitas seragam (uniform integrability).

Untuk penduga terbatas, konsistensi juga memaksa $|\theta_0|\le C$ : jika tidak, jarak penduga dari $\theta_0$ dibatasi bawah oleh bilangan positif. Karena $|\widehat\theta_n-\theta_0|\le2C$ , untuk setiap $\varepsilon>0$ ,

E|\widehat\theta_n-\theta_0| \le\varepsilon +2C\,P(|\widehat\theta_n-\theta_0|>\varepsilon).

Limit superior ruas kiri paling besar $\varepsilon$ ; kemudian biarkan $\varepsilon\downarrow0$ . Jadi konvergensi $$L^1$$ berlaku. Selanjutnya

|E\widehat\theta_n-\theta_0| \le E|\widehat\theta_n-\theta_0|\to0.

Secara ekuivalen, keterbatasan seragam memberi UI dan teorema Teorema: UI memperkuat konvergensi dalam peluang menjadi konvergensi harapan dapat diterapkan. Maka klaim bias menuju nol memerlukan UI, keterbatasan, kontrol momen, atau syarat ekor lain; konsistensi saja tidak cukup.

Soal 6 — MLE eksponensial: dua jalan menuju limit yang sama

Misalkan $X_1,\ldots,X_n$ iid eksponensial dengan laju $\lambda>0$ .

Temukan MLE $\widehat\lambda_n$ .
Hitung informasi Fisher per pengamatan dan gunakan teorema normalitas MLE untuk memperoleh limit $\sqrt n(\widehat\lambda_n-\lambda)$ .
Peroleh limit yang sama dengan menerapkan CLT pada $\bar X$ dan metode delta pada $$g(x)=1/x$$ .
Turunkan galat baku substitusi langsung dan interval Wald asimtotik 95%.
Sebutkan kelemahan interval itu ketika ketidakpastian $\widehat\lambda_n$ sangat besar.

Petunjuk 1

Fungsi log-kemungkinan adalah $n\log\lambda-\lambda\sum_iX_i$ . Untuk satu pengamatan, $s_\lambda=1/\lambda-X$ .

Petunjuk 2

$E(X)=1/\lambda$ dan $\operatorname{Var}(X)=1/\lambda^2$ . Pada $$g(x)=1/x$$ , $g'(1/\lambda)=-\lambda^2$ .

Jawaban singkat

$\widehat\lambda=1/\bar X$ , $I(\lambda)=1/\lambda^2$ , dan $\sqrt n(\widehat\lambda-\lambda)\Rightarrow N(0,\lambda^2)$ . Galat baku substitusi langsung adalah $\widehat\lambda/\sqrt n$ ; interval Wald 95% ialah $\widehat\lambda\{1\pm1.96/\sqrt n\}$ , tetapi ujung bawahnya dapat negatif pada sampel kecil.

Solusi lengkap

Turunan fungsi log-kemungkinan

\ell_n(\lambda)=n\log\lambda-\lambda\sum_iX_i

adalah $n/\lambda-\sum_iX_i$ . Hessian $-n/\lambda^2<0$ , sehingga akar tunggal

\widehat\lambda_n=\frac n{\sum_iX_i}=\frac1{\bar X}

adalah maksimum. Skor per pengamatan $1/\lambda-X$ mempunyai varians $1/\lambda^2$ , jadi $I(\lambda)=1/\lambda^2$ . Teorema MLE Teorema: normalitas asimtotik akar skor konsisten, termasuk MLE interior memberi

\sqrt n(\widehat\lambda_n-\lambda) \Rightarrow N(0,I(\lambda)^{-1}) =N(0,\lambda^2).

Sebagai pemeriksaan independen, CLT memberi

\sqrt n(\bar X-1/\lambda)\Rightarrow N(0,1/\lambda^2).

Dengan $$g(x)=1/x$$ dan $g'(1/\lambda)=-\lambda^2$ , metode delta memberi varians limit

\lambda^4\frac1{\lambda^2}=\lambda^2,

sama dengan hasil informasi. Penduga varians asimtotik orde pertama adalah $\widehat\lambda^2/n$ , sehingga

\widehat{\operatorname{se}}(\widehat\lambda) =\frac{\widehat\lambda}{\sqrt n}.

Interval Wald 95% ialah

\widehat\lambda\pm1.96\frac{\widehat\lambda}{\sqrt n}.

Karena ruang parameter hanya positif, interval simetris dapat mempunyai ujung negatif bila ketidakpastian besar. Interval untuk $\log\lambda$ yang kemudian dieksponensialkan menghormati positivitas dan sering lebih masuk akal secara geometris, walaupun tetap asimtotik.

Soal 7 — Metode delta multivariat untuk rasio dua laju

Dua sampel independen tersedia: $X_1,\ldots,X_n\sim\operatorname{Exp}(\lambda_1)$ dan $Y_1,\ldots,Y_m\sim\operatorname{Exp}(\lambda_2)$ , dengan $m/n\to\rho\in(0,\infty)$ . MLE masing-masing adalah $\widehat\lambda_1=1/\bar X$ dan $\widehat\lambda_2=1/\bar Y$ .

Untuk target log-rasio

\psi=\log(\lambda_1/\lambda_2),

tentukan distribusi limit gabungan pada skala $\sqrt n$ ;
tulis Jacobian untuk $g(\lambda_1,\lambda_2)=\log\lambda_1-\log\lambda_2$ ;
turunkan distribusi asimtotik $\widehat\psi=\log(\widehat\lambda_1/\widehat\lambda_2)$ ; dan
berikan galat baku substitusi langsung serta interval 95% untuk rasio $\lambda_1/\lambda_2$ .

Petunjuk 1

Pada skala $\sqrt n$ , komponen dari sampel kedua dikalikan dengan faktor $\sqrt{n/m}\to1/\sqrt\rho$ .

Petunjuk 2

Jacobian log-rasio adalah $G=(1/\lambda_1,-1/\lambda_2)$ . Independensi membuat matriks kovarians limit diagonal.

Jawaban singkat

Pada skala $\sqrt n$ , kovarians limit $\operatorname{diag}(\lambda_1^2,\lambda_2^2/\rho)$ . Karena itu $\sqrt n(\widehat\psi-\psi)\Rightarrow N(0,1+1/\rho)$ . Galat baku asimtotiknya adalah $\sqrt{1/n+1/m}$ ; interval rasio diperoleh dengan mengeksponensialkan $\widehat\psi\pm1.96\sqrt{1/n+1/m}$ .

Solusi lengkap

Dari Soal 6,

\sqrt n(\widehat\lambda_1-\lambda_1) \Rightarrow N(0,\lambda_1^2)

dan

\sqrt m(\widehat\lambda_2-\lambda_2) \Rightarrow N(0,\lambda_2^2).

Karena sampel independen,

\sqrt n \begin{pmatrix} \widehat\lambda_1-\lambda_1\\ \widehat\lambda_2-\lambda_2 \end{pmatrix} \Rightarrow N_2\left[ 0, \begin{pmatrix} \lambda_1^2&0\\ 0&\lambda_2^2/\rho \end{pmatrix} \right].

Faktor $1/\rho$ muncul karena $\sqrt n(\widehat\lambda_2-\lambda_2)=\sqrt{n/m}\,\sqrt m(\widehat\lambda_2-\lambda_2)$ .

Untuk $g(\lambda_1,\lambda_2)=\log\lambda_1-\log\lambda_2$ ,

G= \begin{pmatrix} 1/\lambda_1&-1/\lambda_2 \end{pmatrix}.

Metode delta multivariat Teorema: metode delta multivariat memberi

G \begin{pmatrix} \lambda_1^2&0\\ 0&\lambda_2^2/\rho \end{pmatrix} G^\mathsf T =1+\frac1\rho.

Dalam skala sampel asli, varians hampiran $$1/n+1/m$$ . Jadi interval 95% untuk $\psi$ adalah

\widehat\psi\pm1.96\sqrt{\frac1n+\frac1m}.

Eksponensiasi kedua ujung menghasilkan interval positif untuk rasio:

\left[ \frac{\widehat\lambda_1}{\widehat\lambda_2} \exp\!\left\{-1.96\sqrt{1/n+1/m}\right\}, \frac{\widehat\lambda_1}{\widehat\lambda_2} \exp\!\left\{1.96\sqrt{1/n+1/m}\right\} \right].

Soal 8 — Audit lengkap model Poisson dan transformasi probabilitas

Misalkan $X_i\sim\operatorname{Poisson}(\lambda_0)$ iid dengan $\lambda_0>0$ , dan target ilmiah adalah probabilitas kejadian nol $q_0=P_{\lambda_0}(X=0)=e^{-\lambda_0}$ .

Audit dominasi, dukungan, identifiabilitas, titik interior, pertukaran turunan dan penjumlahan, serta nonsingularitas informasi.
Temukan MLE $\widehat\lambda$ dan buktikan konsistensinya.
Turunkan normalitas asimtotik $\widehat\lambda$ .
Gunakan metode delta untuk $\widehat q=e^{-\widehat\lambda}$ .
Bandingkan varians asimtotik $\widehat q$ dengan varians penduga empiris $\widetilde q=n^{-1}\sum_i\mathbf1\{X_i=0\}$ . Mana yang lebih kecil, dan mengapa hal itu tidak melanggar prinsip informasi?

Petunjuk 1

Terhadap ukuran pencacahan pada $\{0,1,\ldots\}$ , $f_\lambda(x)=e^{-\lambda}\lambda^x/x!$ dan $s_\lambda=x/\lambda-1$ .

Petunjuk 2

Untuk membandingkan varians, tulis $q=e^{-\lambda}$ dan gunakan $e^\lambda>1+\lambda$ bagi $\lambda>0$ .

Jawaban singkat

Model Poisson reguler untuk $\lambda_0>0$ . Pada kejadian $\sum_iX_i>0$ , $\widehat\lambda=\bar X$ . Jika semua pengamatan nol dan ruang parameter $(0,\infty)$ , supremum berada di batas $\lambda=0$ tetapi tidak tercapai; kejadian ini berpeluang $e^{-n\lambda_0}\to0$ . Selanjutnya, $\sqrt n(\widehat\lambda-\lambda_0)\Rightarrow N(0,\lambda_0)$ . Untuk $\widehat q=e^{-\bar X}$ , $\sqrt n(\widehat q-q_0)\Rightarrow N(0,\lambda_0q_0^2)$ . Penduga empiris mempunyai varians limit $$q_0(1-q_0)$$ , yang lebih besar karena $q_0(1-q_0)-\lambda_0q_0^2=q_0^2(e^{\lambda_0}-1-\lambda_0)>0$ .

Solusi lengkap

Ukuran pencacahan mendominasi keluarga dan dukungan $\{0,1,\ldots\}$ tidak bergantung pada $\lambda>0$ . Model teridentifikasi karena $EX=\lambda$ . Nilai parameter sebenarnya, $\lambda_0>0$ , merupakan titik interior ruang parameter $(0,\infty)$ . Pertukaran turunan dan penjumlahan dapat dibenarkan secara lokal, misalnya dengan selubung berupa deret eksponensial untuk $\lambda$ dalam suatu lingkungan kompak; atau identitas skor dapat diverifikasi langsung dari momen Poisson. Skor dan informasi ialah

s_\lambda(X)=\frac X\lambda-1, \qquad I(\lambda)=\frac{\operatorname{Var}(X)}{\lambda^2} =\frac1\lambda,

yang hingga dan positif pada $\lambda_0>0$ .

Dengan mengabaikan suku konstan yang hanya bergantung pada data, fungsi log-kemungkinannya adalah

\ell_n(\lambda) =-\!n\lambda+\left(\sum_iX_i\right)\log\lambda

dan dimaksimumkan pada $\widehat\lambda=\bar X$ bila $\sum_iX_i>0$ . Di bawah $\lambda_0>0$ , peluang semua pengamatan bernilai nol adalah $e^{-n\lambda_0}\to0$ ; pada kejadian komplemennya terdapat pemaksimum interior yang unik. Hukum bilangan besar memberi $\bar X\xrightarrow{P}\lambda_0$ , yang langsung membuktikan konsistensi yang sejalan dengan teorema argmax. CLT atau teorema MLE memberi

\sqrt n(\widehat\lambda-\lambda_0) \Rightarrow N(0,I(\lambda_0)^{-1}) =N(0,\lambda_0).

Untuk $g(\lambda)=e^{-\lambda}$ , $g'(\lambda)=-e^{-\lambda}=-q$ . Metode delta memberi

\sqrt n(\widehat q-q_0) \Rightarrow N(0,\lambda_0q_0^2).

Sementara itu, $\widetilde q$ adalah rata-rata peubah Bernoulli dengan peluang $$q_0$$ , sehingga varians limitnya $$q_0(1-q_0)$$ . Selisihnya

q_0(1-q_0)-\lambda_0q_0^2 =q_0^2(e^{\lambda_0}-1-\lambda_0)>0.

Penduga substitusi berbasis MLE lebih efisien karena ia memakai seluruh nilai hitungan, bukan hanya indikator nol. Ini tidak melanggar batas informasi: dalam model Poisson parametrik, seluruh distribusi dikendalikan oleh satu $\lambda$ dan informasi dari hitungan positif relevan untuk $$q$$ . Penduga empiris tetap berguna jika model Poisson diragukan, tetapi ketergantungannya yang lebih lemah pada asumsi model dibayar dengan varians yang lebih besar ketika model Poisson benar.