Fungsi kemungkinan nonreguler: empat mekanisme kegagalan
Teorema reguler bukan sekadar resep untuk menghitung matriks. Ia menyatakan bahwa, pada skala \(n^{-1/2}\), eksperimen statistik lokal menyerupai pergeseran Gaussian dengan kelengkungan tak singular. Jika himpunan dukungan bergerak, nilai parameter sebenarnya berada pada batas, kelengkungan menghilang, atau parameter tidak dapat diidentifikasi, eksperimen lokal mempunyai geometri lain. Memasukkan angka ke rumus reguler tidak memperbaiki geometri tersebut.
Bab ini menurunkan empat contoh tandingan. Pada setiap contoh dibedakan:
- asumsi teorema yang tidak terpenuhi pada daftar Syarat keteraturan yang dipakai;
- kesimpulan yang menjadi tidak sah;
- hukum eksak atau limit yang benar; dan
- perbaikan inferensial yang menggunakan struktur kasus itu sendiri.
Kata “nonreguler” tidak berarti “tidak dapat dianalisis”. Dalam beberapa contoh hukum yang benar justru lebih mudah daripada pendekatan reguler, tetapi laju, dukungan distribusi limit, atau objek yang teridentifikasi berbeda.
Peta syarat keteraturan yang akan diperiksa
Untuk memudahkan diagnosis, beri nama lima pilar dari Syarat keteraturan yang dipakai.
- R1 (himpunan dukungan lokal bersama): himpunan dukungan tidak berubah dengan parameter pada lingkungan nilai parameter sebenarnya, dan diferensiasi dapat dipertukarkan dengan integrasi.
- R2 (titik interior): ada lingkungan terbuka dua arah di sekitar parameter benar dalam ruang parameter.
- R3 (identifiabilitas): distribusi lokal maupun distribusi yang relevan secara global menentukan parameter.
- R4 (informasi tak singular): informasi Fisher pada nilai parameter sebenarnya definit positif pada arah yang diuji.
- R5 (LAN kuadratik dan MLE lokal): sisa ekspansi seragam pada skala \(n^{-1/2}\), dan MLE penuh serta berkendala berada pada lingkungan itu.
Pilar-pilar tersebut berhubungan, tetapi tidak identik. Contoh informasi singular pada Contoh tandingan 3: informasi singular tetapi model teridentifikasi tetap teridentifikasi. Contoh nonidentifiabilitas pada Contoh tandingan 4: nonidentifiabilitas walau informasi lokal positif bahkan mempunyai informasi lokal positif pada dua representasi parameter. Karena itu label “masalah informasi” tidak boleh dipakai untuk semua kegagalan.
Contoh tandingan 1: titik ujung seragam dan himpunan dukungan yang bergerak
Misalkan
dan tulis \(M_n=\max_iX_i\). Fungsi kemungkinannya adalah
MLE adalah \(\widehat\theta_n=M_n\). Maksimum sampel, bukan rata-rata, membawa seluruh informasi relevan tentang titik ujung.
Hukum eksak dan laju MLE titik ujung
Untuk \(0\le t\le1\),
Akibatnya,
dan bahkan
secara eksak untuk setiap \(n\).
Bukti
Peristiwa \(M_n\le m\) sama dengan semua \(X_i\le m\). Independensi memberi
Untuk \(x\ge0\) tetap dan \(n>x\),
Itulah fungsi kesintasan (survival) distribusi eksponensial dengan laju satu. Untuk pernyataan eksak, definisikan \(V=(M_n/\theta)^n\). Dari fungsi distribusi di atas, \(P(V\le v)=v\) pada \([0,1]\), jadi \(V\sim\operatorname{Unif}(0,1)\). Maka \(-\log V=-n\log(M_n/\theta)\sim\operatorname{Exp}(1)\). □
Laju galat MLE adalah \(n^{-1}\), lebih cepat daripada \(n^{-1/2}\), dan limit bersifat satu sisi serta bukan normal.
Rasio fungsi kemungkinan tidak mengikuti hukum Wilks berdimensi satu
Untuk menguji \(H_0:\theta=\theta_0\) terhadap \(H_1:\theta\in(0,\infty)\setminus\{\theta_0\}\), data yang dihasilkan di bawah \(H_0\) memenuhi \(M_n\le\theta_0\) hampir pasti. Statistik LR adalah
Di bawah \(H_0\),
secara eksak, bukan \(\chi_1^2\). Sebab \(n\log(\theta_0/M_n)\sim\operatorname{Exp}(1)\), dan dua kali peubah eksponensial berlaju satu berdistribusi \(\chi_2^2\).
Asumsi yang tidak terpenuhi dan kesimpulan yang tidak sah
- Gagal: R1. Himpunan dukungan \([0,\theta]\) bergerak dengan \(\theta\). Turunan formal log-densitas pada bagian interior adalah \(-1/\theta\), sehingga “skor” formal satu pengamatan mempunyai harapan \(-1/\theta\), bukan nol. Kontribusi perubahan batas dukungan tidak tertangkap oleh diferensiasi biasa yang mengabaikan indikator dukungan.
- Gagal: R5 pada skala \(\sqrt n\). Fungsi kemungkinan menjadi nol segera setelah kandidat parameter turun melewati \(M_n\); tidak ada aproksimasi kuadratik dua arah yang seragam di sekitar nilai parameter sebenarnya.
- Tidak sah: normalitas \(\sqrt n(\widehat\theta_n-\theta)\), identitas informasi biasa, varians \(I(\theta)^{-1}/n\), dan limit Wilks \(\chi_1^2\).
- Pengganti benar: hukum maksimum di Hukum eksak dan laju MLE titik ujung dan distribusi LR eksak di Rasio fungsi kemungkinan tidak mengikuti hukum Wilks berdimensi satu.
Interval kepercayaan eksak \(1-\alpha\) dapat diperoleh tanpa normalitas:
Memang \(M_n\le\theta\) selalu, dan \(P_\theta(M_n/\theta\ge\alpha^{1/n})=1-\alpha\).
Cek mandiri terjawab
Mengapa interval Wald simetris di sekitar \(M_n\) secara struktural buruk? Karena \(M_n\le\theta\) hampir pasti: galat \(M_n-\theta\) hanya dapat negatif. Setiap aproksimasi Normal tak singular memberi probabilitas positif pada kedua arah. Masalahnya bukan sekadar pendugaan galat baku, melainkan himpunan dukungan galat yang salah.
Contoh tandingan 2: rataan distribusi Normal pada batas
Misalkan
dan uji \(H_0:\mu=0\) terhadap \(H_1:\mu>0\). Model Normal sebagai fungsi dari \(\mu\) halus, himpunan dukungannya tetap, dan informasi per pengamatan sama dengan satu. Satu-satunya perubahan adalah \(0\) merupakan batas ruang parameter.
MLE berkendala adalah
Limit campuran LR pada batas
Definisikan \(Z_n=\sqrt n\,\bar X\). Di bawah \(H_0\), \(Z_n\sim N(0,1)\) secara eksak dan
Jadi
secara eksak untuk setiap \(n\). Notasi \(\delta_0\) menyatakan massa titik di nol.
Bukti
Mengabaikan konstanta,
Jika \(\bar X\le0\), maksimum pada \([0,\infty)\) dicapai di \(\mu=0\); karena ini juga maksimum di bawah \(H_0\), LR bernilai nol. Jika \(\bar X>0\), maksimum dicapai di \(\widehat\mu=\bar X\), dan identitas jumlah kuadrat memberi
Normal baku simetris: \(P(Z_n\le0)=1/2\), sedangkan hukum \(Z_n^2\) bersyarat pada \(Z_n>0\) tetap \(\chi_1^2\), karena tanda dan nilai absolut peubah Normal baku saling independen. □
Jika kuantil \(\chi_{1,1-\alpha}^2\) reguler dipakai, probabilitas penolakan sebenarnya adalah \(\alpha/2\), bukan \(\alpha\). Untuk \(0<\alpha<1/2\), kuantil campuran yang benar adalah
Alternatif lokal pada kerucut singgung
Di bawah \(\mu_n=a/\sqrt n\) dengan \(a\ge0\),
Distribusi mempunyai massa \(\Phi(-a)\) di nol. Untuk aturan tolak \(L_n^{\mathrm{LR}}>z_{1-\alpha}^2\), daya lokal eksaknya adalah
Ini bukan khi-kuadrat nonsentral biasa: proyeksi ke kerucut \([0,\infty)\) tidak linear.
Asumsi yang tidak terpenuhi dan kesimpulan yang tidak sah
- Gagal: R2. Nol bukan titik interior; arah lokal yang diizinkan membentuk kerucut \([0,\infty)\), bukan ruang vektor \(\mathbb R\).
- Tetap berlaku: himpunan dukungan bersama, diferensiabilitas, identifiabilitas, dan informasi positif. Karena itu menyalahkan “informasi Fisher” tidak tepat.
- Tidak sah: proyeksi linear pada Norma informasi dan geometri kendala, normalitas MLE tanpa massa batas, dan limit Wilks \(\chi_1^2\) pada Teorema Wilks bertipe kendala halus.
- Pengganti benar: proyeksi Gaussian ke kerucut dan distribusi khi-bar-kuadrat pada Limit campuran LR pada batas.
Fenomena yang sama muncul pada komponen varians yang diuji sama dengan nol, tetapi bobot campurannya dapat berubah ketika ada parameter pengganggu yang tidak teridentifikasi di bawah nol. Karena itu rumus campuran setengah-setengah tidak boleh digeneralisasi tanpa menghitung kerucut dan struktur parameter pengganggu.
Contoh tandingan 3: informasi singular tetapi model teridentifikasi
Misalkan
Pemetaan \(\theta\mapsto\theta^3\) satu-ke-satu, sehingga model teridentifikasi secara global. Titik \(\theta_0=0\) juga interior dan himpunan dukungan tetap. Namun skor satu pengamatan adalah
sehingga
Laju dan limit MLE pada titik singular
MLE adalah akar pangkat tiga riil dari rata-rata,
Di bawah \(\theta_0=0\), jika \(Z\sim N(0,1)\), maka MLE memenuhi kesamaan dalam distribusi secara eksak
Jadi laju MLE adalah \(n^{-1/6}\), bukan \(n^{-1/2}\), dan limitnya bukan normal.
Bukti
Fungsi kemungkinan sebagai fungsi \(m=\theta^3\) adalah fungsi kemungkinan untuk rataan distribusi Normal dengan varians satu. Maksimumnya terjadi di \(m=\bar X\). Karena pemetaan kubik bijektif, MLE parameter asli adalah \(\operatorname{cbrt}(\bar X)\). Di bawah nol, \(\sqrt n\bar X\sim N(0,1)\). Identitas
memberi hasil. □
Fungsi distribusi kumulatif (CDF) dari peubah limit dapat dituliskan secara eksplisit:
dengan densitas \(3t^2\phi(t^3)\). Densitas tersebut nol di pusat dan memiliki perilaku ekor yang berbeda dari distribusi Normal.
LR dapat tetap khi-kuadrat karena parameterisasi reguler tersembunyi
Untuk \(H_0:\theta=0\),
secara eksak di bawah nol.
Derivasi
Gunakan parameter teridentifikasi \(m=\theta^3\), yang menjangkau seluruh garis bilangan real. Dekomposisi jumlah kuadrat memberi
Dua kali kenaikan fungsi log-kemungkinan sama dengan sisi kanan, dan \(\sqrt n\,\bar X\sim N(0,1)\) di bawah nol. □
Hasil ini penting secara logis. Kegagalan syarat teorema berarti kesimpulan tidak dijamin, bukan berarti setiap kesimpulan selalu salah. LR kebetulan mempunyai distribusi reguler karena \(m\) adalah parameter distribusi yang reguler dan pemetaan \(\theta\mapsto m=\theta^3\) bijektif. Sebaliknya, inferensi Wald dalam koordinat \(\theta\) tidak dapat memakai \(I(0)^{-1}\), dan metode delta invers gagal karena turunan \(m\mapsto\operatorname{cbrt}(m)\) tidak berhingga di nol.
Asumsi yang tidak terpenuhi dan kesimpulan yang tidak sah
- Gagal: R4, sebab \(I(0)=0\). Bentuk informasi tidak mempunyai invers.
- Gagal: R5 dalam koordinat \(\theta\) pada skala \(n^{-1/2}\). Perubahan \(\theta\) berorde \(n^{-1/2}\) hanya mengubah rataan berorde \(n^{-3/2}\), terlalu kecil untuk eksperimen lokal biasa. Skala yang terdeteksi adalah \(\theta\) berorde \(n^{-1/6}\), karena \(\theta^3\) kemudian berorde \(n^{-1/2}\).
- Tetap berlaku: R1, R2, dan R3.
- Tidak sah: \(\sqrt n(\widehat\theta_n-0)\Rightarrow N(0,I(0)^{-1})\), statistik Wald berbasis invers informasi, dan metode delta biasa untuk akar kubik.
- Tidak boleh disimpulkan dari teorema reguler: limit Wilks. Dalam contoh khusus ini limit tersebut benar karena derivasi eksak LR dapat tetap khi-kuadrat karena parameterisasi reguler tersembunyi, bukan karena Teorema Wilks bertipe kendala halus dapat diterapkan.
Cek mandiri terjawab
Apakah mengganti \(\theta\) dengan \(m=\theta^3\) “menyembuhkan” semua pertanyaan? Ia menyembuhkan inferensi tentang distribusi atau tentang \(m\). Untuk kerugian kuadrat dalam \(\theta\), interval atau risiko tetap harus ditransformasikan kembali; panjang interval \(\theta\) lalu mempunyai skala \(n^{-1/6}\) di dekat nol. Parameterisasi yang reguler untuk fungsi kemungkinan tidak menghapus fungsi kerugian yang dinyatakan dalam koordinat asli.
Contoh tandingan 4: nonidentifiabilitas walau informasi lokal positif
Misalkan
Ambil
Keduanya menghasilkan rataan nol, jadi
Namun skor dan informasi lokal adalah
sehingga \(I(\theta_0)=I(\theta_1)=1\). Informasi lokal positif tidak menjamin identifiabilitas global.
Tidak ada penduga yang konsisten pada kedua label
Tidak ada barisan penduga \(T_n\) yang sekaligus memenuhi
Bukti
Pilih lingkungan terbuka \(A_0\) bagi \(\theta_0\) dan \(A_1\) bagi \(\theta_1\) yang saling lepas. Konsistensi di \(\theta_0\) menuntut
Karena hukum seluruh sampel sama di \(\theta_0\) dan \(\theta_1\), distribusi setiap fungsi data juga sama. Maka
Konsistensi di \(\theta_1\) sekaligus menuntut \(P_{\theta_1}(T_n\in A_1)\to1\). Dua peristiwa tersebut saling lepas, sehingga jumlah probabilitasnya tidak dapat menuju dua. Kontradiksi. □
Tidak ada uji yang membedakan label ekuivalen
Untuk setiap uji acak maupun nonacak \(\varphi_n(X_1,\ldots,X_n)\in[0,1]\),
Jadi, terhadap alternatif \(\theta_1\), daya uji beraras \(\alpha\) untuk \(H_0:\theta=\theta_0\) tepat sama dengan probabilitas penolakannya di bawah \(H_0\). Penambahan data tidak mengubah fakta ini.
Bukti
Kesamaan ukuran probabilitas \(P_{\theta_0}=P_{\theta_1}\) berarti integral setiap fungsi data terukur dan terbatas sama di bawah keduanya. Terapkan pada \(\varphi_n\). □
Asumsi yang tidak terpenuhi dan kesimpulan yang tidak sah
- Gagal: R3. Parameter tidak teridentifikasi: banyak nilai \(\theta\) mempunyai nilai kosinus yang sama.
- Dapat berlaku secara lokal: R1, R2 pada titik yang dipilih dalam peta koordinat lokal, dan R4. Kedua titik bahkan mempunyai informasi satu.
- Tidak sah: konsistensi MLE untuk label \(\theta\) tanpa aturan identifikasi, interval yang menyusut ke satu label sambil memiliki cakupan seragam, dan uji dengan daya melebihi ukuran terhadap label ekuivalen.
- Perbaikan: nyatakan parameter teridentifikasi \(m=\cos\theta\in[-1,1]\), atau batasi ruang parameter pada cabang tempat kosinus satu-ke-satu. Jika cabang dipilih, pilihan itu adalah bagian model dan harus dilaporkan, bukan ditemukan dari data lalu diperlakukan seolah telah ditentukan sebelumnya.
Campuran berhingga dengan label komponen yang dapat dipertukarkan mempunyai masalah serupa. Mengurutkan rataan komponen dapat memilih representasi, tetapi titik tempat dua rataan bertemu masih singular dan memerlukan analisis tersendiri.
Perbandingan empat mekanisme
| Mekanisme | Pilar yang gagal | Laju/limit khas dalam contoh | Kesimpulan reguler yang tidak sah | Perbaikan utama |
|---|---|---|---|---|
| Titik ujung seragam | R1 dan R5 | \(n(\theta-\widehat\theta)/\theta\Rightarrow\mathrm{Exp}(1)\); LR eksak \(\chi_2^2\) | skor memiliki nilai harapan nol, normalitas \(\sqrt n\), Wilks \(\chi_1^2\) | statistik maksimum dan pivot eksak |
| Rataan distribusi Normal \(\mu\ge0\) | R2 | LR \(\tfrac12\delta_0+\tfrac12\chi_1^2\) | ruang singgung linear dan Wilks \(\chi_1^2\) | kerucut singgung/khi-bar-kuadrat |
| Rataan distribusi Normal \(\theta^3\) | R4 dan R5 dalam koordinat \(\theta\) | \(n^{1/6}\widehat\theta\Rightarrow\operatorname{cbrt}(Z)\) | invers informasi dan normalitas \(\sqrt n\) | parameter teridentifikasi \(m=\theta^3\), lalu transformasi fungsi kerugian |
| Rataan distribusi Normal \(\cos\theta\) | R3 | dua label memberi hukum data yang identik | konsistensi label dan daya terhadap label ekuivalen | ruang hasil bagi, parameter teridentifikasi, atau cabang yang dibekukan |
Baris-baris ini tidak dapat saling menggantikan. Menggunakan campuran khi-kuadrat untuk titik ujung seragam sama tidak sahnya dengan menggunakan Wilks biasa: mekanisme geometrinya berbeda.
Prosedur diagnosis dari fungsi kemungkinan yang diberikan
- Tulis densitas beserta indikator himpunan dukungan. Jangan membuang indikator sebelum mendiferensialkan. Jika batas himpunan dukungan memuat parameter, periksa statistik ekstrem dan pivot statistik urutan.
- Gambarkan ruang parameter dan ruang parameter di bawah \(H_0\). Tentukan apakah nilai parameter sebenarnya merupakan titik interior, berada pada batas halus, pada sudut, atau pada perpotongan. Untuk batas, hitung kerucut singgung.
- Uji identifiabilitas sebelum menghitung informasi. Cari \(\theta\ne\theta'\) dengan \(p_\theta=p_{\theta'}\) hampir di mana-mana. Informasi lokal positif tidak membantah pasangan global semacam itu.
- Hitung orde pertama yang tidak nol. Jika skor atau informasi bernilai nol, lakukan ekspansi terhadap rataan atau fungsi log-kemungkinan hingga suku pertama yang tidak nol. Orde suku tersebut menentukan kandidat laju lokal.
- Turunkan hukum statistik yang cukup atau MLE langsung bila mungkin. Hukum eksak pada Hukum eksak dan laju MLE titik ujung dan Limit campuran LR pada batas lebih informatif daripada simulasi tanpa derivasi.
- Nyatakan objek inferensi. Bedakan parameter distribusi yang teridentifikasi, label representasi, dan fungsi kerugian. Reparameterisasi dapat meregulerkan fungsi kemungkinan tetapi mengubah skala fungsi kerugian.
- Kalibrasikan terhadap limit yang benar. Jika limit berupa campuran, kerucut, atau transformasi Gaussian nonnormal, gunakan kuantilnya; jangan memilih \(\chi^2\) hanya karena statistik berasal dari LR.
- Validasi komputasi pada beberapa ukuran sampel. Simulasi harus memakai
benih acak terkunci dan membandingkan CDF/cakupan dengan rumus yang diturunkan,
bukan menentukan hukum limit dari grafik. Kaitan simulasi komponen ini adalah
relasi metadata
supportskeO006-C140-CMP-SIM003.
Latihan derivasi singkat dengan jawaban
1. Kuantil LR titik ujung seragam
Untuk uji titik ujung pada Rasio fungsi kemungkinan tidak mengikuti hukum Wilks berdimensi satu, tentukan nilai kritis eksak aras \(\alpha\). Karena LR eksak \(\chi_2^2\), dan fungsi kesintasan \(\chi_2^2\) adalah \(e^{-c/2}\), persamaan \(e^{-c/2}=\alpha\) memberi
Walaupun selisih dimensi parameter adalah satu, argumen dimensi Wilks tidak berlaku karena syarat keteraturan gagal; kuantil \(\chi_1^2\) juga tidak terkalibrasi dalam model ini.
2. Bias MLE titik ujung
Dari densitas \(T=M_n/\theta\), yaitu \(f_T(t)=nt^{n-1}\) pada \([0,1]\),
Jadi \(\widehat\theta=M_n\) memiliki bias \(-\theta/(n+1)\), yakni bias ke bawah sebesar \(\theta/(n+1)\). Penduga \((n+1)M_n/n\) tak bias, tetapi masih mempunyai limit nonnormal pada laju \(n\). Menghilangkan bias tidak menciptakan keteraturan.
3. Massa nol di bawah alternatif batas
Pada Alternatif lokal pada kerucut singgung, untuk \(\mu_n=a/\sqrt n\), LR bernilai nol bila \(Z_n\le0\). Karena \(Z_n\sim N(a,1)\), probabilitasnya \(\Phi(-a)\). Massa itu mengecil saat \(a\) membesar, tetapi tidak hilang untuk alternatif lokal tetap.
4. Interval untuk parameter kubik
Interval eksak \(1-\alpha\) untuk \(m=\theta^3\) adalah
Karena akar kubik naik, menerapkannya pada kedua titik ujung memberi interval eksak untuk \(\theta\). Di dekat nol panjang interval ini berorde \(n^{-1/6}\), selaras dengan Laju dan limit MLE pada titik singular, bukan \(n^{-1/2}\).
Kesimpulan
Tidak ada satu “koreksi nonreguler” universal. Titik ujung seragam mengubah himpunan dukungan dan memusatkan informasi pada ekstrem; batas mengganti ruang singgung dengan kerucut; informasi singular mengubah orde dan laju lokal; sedangkan nonidentifiabilitas membuat beberapa pertanyaan parameter mustahil dijawab oleh data. Pada setiap kasus, langkah yang sah adalah menyebut asumsi yang tidak terpenuhi, menurunkan eksperimen atau statistik yang benar, lalu mengalibrasi prosedur terhadap hukum itu. Nama Wald, skor, atau rasio fungsi kemungkinan saja tidak pernah cukup untuk mengimpor kesimpulan reguler dari Limit nol Wald sampai Ekuivalensi orde pertama dan alternatif lokal.