Fungsi kemungkinan nonreguler: empat mekanisme kegagalan

Teorema reguler bukan sekadar resep untuk menghitung matriks. Ia menyatakan bahwa, pada skala \(n^{-1/2}\), eksperimen statistik lokal menyerupai pergeseran Gaussian dengan kelengkungan tak singular. Jika himpunan dukungan bergerak, nilai parameter sebenarnya berada pada batas, kelengkungan menghilang, atau parameter tidak dapat diidentifikasi, eksperimen lokal mempunyai geometri lain. Memasukkan angka ke rumus reguler tidak memperbaiki geometri tersebut.

Bab ini menurunkan empat contoh tandingan. Pada setiap contoh dibedakan:

  1. asumsi teorema yang tidak terpenuhi pada daftar Syarat keteraturan yang dipakai;
  2. kesimpulan yang menjadi tidak sah;
  3. hukum eksak atau limit yang benar; dan
  4. perbaikan inferensial yang menggunakan struktur kasus itu sendiri.

Kata “nonreguler” tidak berarti “tidak dapat dianalisis”. Dalam beberapa contoh hukum yang benar justru lebih mudah daripada pendekatan reguler, tetapi laju, dukungan distribusi limit, atau objek yang teridentifikasi berbeda.

Peta syarat keteraturan yang akan diperiksa

Untuk memudahkan diagnosis, beri nama lima pilar dari Syarat keteraturan yang dipakai.

Pilar-pilar tersebut berhubungan, tetapi tidak identik. Contoh informasi singular pada Contoh tandingan 3: informasi singular tetapi model teridentifikasi tetap teridentifikasi. Contoh nonidentifiabilitas pada Contoh tandingan 4: nonidentifiabilitas walau informasi lokal positif bahkan mempunyai informasi lokal positif pada dua representasi parameter. Karena itu label “masalah informasi” tidak boleh dipakai untuk semua kegagalan.

Contoh tandingan 1: titik ujung seragam dan himpunan dukungan yang bergerak

Misalkan

\[X_1,\ldots,X_n\stackrel{\mathrm{i.i.d.}}\sim \operatorname{Unif}(0,\theta),\qquad \theta>0,\]

dan tulis \(M_n=\max_iX_i\). Fungsi kemungkinannya adalah

\[L_n(\theta)=\theta^{-n}\mathbf 1\{M_n\le\theta\}.\]

MLE adalah \(\widehat\theta_n=M_n\). Maksimum sampel, bukan rata-rata, membawa seluruh informasi relevan tentang titik ujung.

Hukum eksak dan laju MLE titik ujung

Untuk \(0\le t\le1\),

\[P_\theta\!\left(\frac{M_n}{\theta}\le t\right)=t^n.\]

Akibatnya,

\[\frac{n(\theta-M_n)}{\theta}\Rightarrow E, \qquad E\sim\operatorname{Exp}(1),\]

dan bahkan

\[-n\log(M_n/\theta)\sim\operatorname{Exp}(1)\]

secara eksak untuk setiap \(n\).

Bukti

Peristiwa \(M_n\le m\) sama dengan semua \(X_i\le m\). Independensi memberi

\[P_\theta(M_n\le m)=\prod_{i=1}^nP_\theta(X_i\le m) =\left(\frac m\theta\right)^n, \quad 0\le m\le\theta.\]

Untuk \(x\ge0\) tetap dan \(n>x\),

\[\begin{aligned} P_\theta\!\left\{\frac{n(\theta-M_n)}\theta>x\right\} &=P_\theta\!\left\{\frac{M_n}\theta<1-\frac xn\right\}\\ &=\left(1-\frac xn\right)^n\longrightarrow e^{-x}. \end{aligned}\]

Itulah fungsi kesintasan (survival) distribusi eksponensial dengan laju satu. Untuk pernyataan eksak, definisikan \(V=(M_n/\theta)^n\). Dari fungsi distribusi di atas, \(P(V\le v)=v\) pada \([0,1]\), jadi \(V\sim\operatorname{Unif}(0,1)\). Maka \(-\log V=-n\log(M_n/\theta)\sim\operatorname{Exp}(1)\). □

Laju galat MLE adalah \(n^{-1}\), lebih cepat daripada \(n^{-1/2}\), dan limit bersifat satu sisi serta bukan normal.

Rasio fungsi kemungkinan tidak mengikuti hukum Wilks berdimensi satu

Untuk menguji \(H_0:\theta=\theta_0\) terhadap \(H_1:\theta\in(0,\infty)\setminus\{\theta_0\}\), data yang dihasilkan di bawah \(H_0\) memenuhi \(M_n\le\theta_0\) hampir pasti. Statistik LR adalah

\[\begin{aligned} L_n^{\mathrm{LR}} &=2\{\ell_n(M_n)-\ell_n(\theta_0)\}\\ &=2n\log(\theta_0/M_n). \end{aligned}\]

Di bawah \(H_0\),

\[L_n^{\mathrm{LR}}\sim\chi_2^2\]

secara eksak, bukan \(\chi_1^2\). Sebab \(n\log(\theta_0/M_n)\sim\operatorname{Exp}(1)\), dan dua kali peubah eksponensial berlaju satu berdistribusi \(\chi_2^2\).

Asumsi yang tidak terpenuhi dan kesimpulan yang tidak sah

Interval kepercayaan eksak \(1-\alpha\) dapat diperoleh tanpa normalitas:

\[P_\theta\!\left(M_n\le\theta\le \frac{M_n}{\alpha^{1/n}}\right)=1-\alpha.\]

Memang \(M_n\le\theta\) selalu, dan \(P_\theta(M_n/\theta\ge\alpha^{1/n})=1-\alpha\).

Cek mandiri terjawab

Mengapa interval Wald simetris di sekitar \(M_n\) secara struktural buruk? Karena \(M_n\le\theta\) hampir pasti: galat \(M_n-\theta\) hanya dapat negatif. Setiap aproksimasi Normal tak singular memberi probabilitas positif pada kedua arah. Masalahnya bukan sekadar pendugaan galat baku, melainkan himpunan dukungan galat yang salah.

Contoh tandingan 2: rataan distribusi Normal pada batas

Misalkan

\[X_i\stackrel{\mathrm{i.i.d.}}\sim N(\mu,1), \qquad \mu\in[0,\infty),\]

dan uji \(H_0:\mu=0\) terhadap \(H_1:\mu>0\). Model Normal sebagai fungsi dari \(\mu\) halus, himpunan dukungannya tetap, dan informasi per pengamatan sama dengan satu. Satu-satunya perubahan adalah \(0\) merupakan batas ruang parameter.

MLE berkendala adalah

\[\widehat\mu=\max(0,\bar X).\]

Limit campuran LR pada batas

Definisikan \(Z_n=\sqrt n\,\bar X\). Di bawah \(H_0\), \(Z_n\sim N(0,1)\) secara eksak dan

\[L_n^{\mathrm{LR}}=n\{\max(0,\bar X)\}^2 =\{\max(0,Z_n)\}^2.\]

Jadi

\[L_n^{\mathrm{LR}}\sim \tfrac12\delta_0+\tfrac12\chi_1^2\]

secara eksak untuk setiap \(n\). Notasi \(\delta_0\) menyatakan massa titik di nol.

Bukti

Mengabaikan konstanta,

\[\ell_n(\mu)=-\tfrac12\sum_i(X_i-\mu)^2.\]

Jika \(\bar X\le0\), maksimum pada \([0,\infty)\) dicapai di \(\mu=0\); karena ini juga maksimum di bawah \(H_0\), LR bernilai nol. Jika \(\bar X>0\), maksimum dicapai di \(\widehat\mu=\bar X\), dan identitas jumlah kuadrat memberi

\[2\{\ell_n(\bar X)-\ell_n(0)\}=n\bar X^2=Z_n^2.\]

Normal baku simetris: \(P(Z_n\le0)=1/2\), sedangkan hukum \(Z_n^2\) bersyarat pada \(Z_n>0\) tetap \(\chi_1^2\), karena tanda dan nilai absolut peubah Normal baku saling independen. □

Jika kuantil \(\chi_{1,1-\alpha}^2\) reguler dipakai, probabilitas penolakan sebenarnya adalah \(\alpha/2\), bukan \(\alpha\). Untuk \(0<\alpha<1/2\), kuantil campuran yang benar adalah

\[c_\alpha=z_{1-\alpha}^2 =\chi_{1,1-2\alpha}^2.\]

Alternatif lokal pada kerucut singgung

Di bawah \(\mu_n=a/\sqrt n\) dengan \(a\ge0\),

\[Z_n\sim N(a,1), \qquad L_n^{\mathrm{LR}}=\{\max(0,Z_n)\}^2.\]

Distribusi mempunyai massa \(\Phi(-a)\) di nol. Untuk aturan tolak \(L_n^{\mathrm{LR}}>z_{1-\alpha}^2\), daya lokal eksaknya adalah

\[1-\Phi(z_{1-\alpha}-a).\]

Ini bukan khi-kuadrat nonsentral biasa: proyeksi ke kerucut \([0,\infty)\) tidak linear.

Asumsi yang tidak terpenuhi dan kesimpulan yang tidak sah

Fenomena yang sama muncul pada komponen varians yang diuji sama dengan nol, tetapi bobot campurannya dapat berubah ketika ada parameter pengganggu yang tidak teridentifikasi di bawah nol. Karena itu rumus campuran setengah-setengah tidak boleh digeneralisasi tanpa menghitung kerucut dan struktur parameter pengganggu.

Contoh tandingan 3: informasi singular tetapi model teridentifikasi

Misalkan

\[X_i\stackrel{\mathrm{i.i.d.}}\sim N(\theta^3,1), \qquad \theta\in\mathbb R.\]

Pemetaan \(\theta\mapsto\theta^3\) satu-ke-satu, sehingga model teridentifikasi secara global. Titik \(\theta_0=0\) juga interior dan himpunan dukungan tetap. Namun skor satu pengamatan adalah

\[\dot\ell_\theta(X)=3\theta^2(X-\theta^3),\]

sehingga

\[I(\theta)=9\theta^4, \qquad I(0)=0.\]

Laju dan limit MLE pada titik singular

MLE adalah akar pangkat tiga riil dari rata-rata,

\[\widehat\theta_n=\operatorname{cbrt}(\bar X).\]

Di bawah \(\theta_0=0\), jika \(Z\sim N(0,1)\), maka MLE memenuhi kesamaan dalam distribusi secara eksak

\[n^{1/6}\widehat\theta_n =\operatorname{cbrt}(\sqrt n\,\bar X) \overset d=\operatorname{cbrt}(Z).\]

Jadi laju MLE adalah \(n^{-1/6}\), bukan \(n^{-1/2}\), dan limitnya bukan normal.

Bukti

Fungsi kemungkinan sebagai fungsi \(m=\theta^3\) adalah fungsi kemungkinan untuk rataan distribusi Normal dengan varians satu. Maksimumnya terjadi di \(m=\bar X\). Karena pemetaan kubik bijektif, MLE parameter asli adalah \(\operatorname{cbrt}(\bar X)\). Di bawah nol, \(\sqrt n\bar X\sim N(0,1)\). Identitas

\[n^{1/6}\operatorname{cbrt}(\bar X) =\operatorname{cbrt}(\sqrt n\bar X)\]

memberi hasil. □

Fungsi distribusi kumulatif (CDF) dari peubah limit dapat dituliskan secara eksplisit:

\[P\{\operatorname{cbrt}(Z)\le t\}=\Phi(t^3),\]

dengan densitas \(3t^2\phi(t^3)\). Densitas tersebut nol di pusat dan memiliki perilaku ekor yang berbeda dari distribusi Normal.

LR dapat tetap khi-kuadrat karena parameterisasi reguler tersembunyi

Untuk \(H_0:\theta=0\),

\[L_n^{\mathrm{LR}} =2\{\ell_n(\widehat\theta_n)-\ell_n(0)\} =n\bar X^2\sim\chi_1^2\]

secara eksak di bawah nol.

Derivasi

Gunakan parameter teridentifikasi \(m=\theta^3\), yang menjangkau seluruh garis bilangan real. Dekomposisi jumlah kuadrat memberi

\[\sum_iX_i^2-\sum_i(X_i-\bar X)^2=n\bar X^2.\]

Dua kali kenaikan fungsi log-kemungkinan sama dengan sisi kanan, dan \(\sqrt n\,\bar X\sim N(0,1)\) di bawah nol. □

Hasil ini penting secara logis. Kegagalan syarat teorema berarti kesimpulan tidak dijamin, bukan berarti setiap kesimpulan selalu salah. LR kebetulan mempunyai distribusi reguler karena \(m\) adalah parameter distribusi yang reguler dan pemetaan \(\theta\mapsto m=\theta^3\) bijektif. Sebaliknya, inferensi Wald dalam koordinat \(\theta\) tidak dapat memakai \(I(0)^{-1}\), dan metode delta invers gagal karena turunan \(m\mapsto\operatorname{cbrt}(m)\) tidak berhingga di nol.

Asumsi yang tidak terpenuhi dan kesimpulan yang tidak sah

Cek mandiri terjawab

Apakah mengganti \(\theta\) dengan \(m=\theta^3\) “menyembuhkan” semua pertanyaan? Ia menyembuhkan inferensi tentang distribusi atau tentang \(m\). Untuk kerugian kuadrat dalam \(\theta\), interval atau risiko tetap harus ditransformasikan kembali; panjang interval \(\theta\) lalu mempunyai skala \(n^{-1/6}\) di dekat nol. Parameterisasi yang reguler untuk fungsi kemungkinan tidak menghapus fungsi kerugian yang dinyatakan dalam koordinat asli.

Contoh tandingan 4: nonidentifiabilitas walau informasi lokal positif

Misalkan

\[X_i\stackrel{\mathrm{i.i.d.}}\sim N(\cos\theta,1), \qquad \theta\in[0,2\pi).\]

Ambil

\[\theta_0=\frac\pi2, \qquad \theta_1=\frac{3\pi}2.\]

Keduanya menghasilkan rataan nol, jadi

\[P_{\theta_0}=P_{\theta_1}.\]

Namun skor dan informasi lokal adalah

\[\dot\ell_\theta(X)=-\sin\theta\,(X-\cos\theta), \qquad I(\theta)=\sin^2\theta,\]

sehingga \(I(\theta_0)=I(\theta_1)=1\). Informasi lokal positif tidak menjamin identifiabilitas global.

Tidak ada penduga yang konsisten pada kedua label

Tidak ada barisan penduga \(T_n\) yang sekaligus memenuhi

\[T_n\to_{P_{\theta_0}}\theta_0 \quad\text{dan}\quad T_n\to_{P_{\theta_1}}\theta_1.\]

Bukti

Pilih lingkungan terbuka \(A_0\) bagi \(\theta_0\) dan \(A_1\) bagi \(\theta_1\) yang saling lepas. Konsistensi di \(\theta_0\) menuntut

\[P_{\theta_0}(T_n\in A_0)\to1.\]

Karena hukum seluruh sampel sama di \(\theta_0\) dan \(\theta_1\), distribusi setiap fungsi data juga sama. Maka

\[P_{\theta_1}(T_n\in A_0) =P_{\theta_0}(T_n\in A_0)\to1.\]

Konsistensi di \(\theta_1\) sekaligus menuntut \(P_{\theta_1}(T_n\in A_1)\to1\). Dua peristiwa tersebut saling lepas, sehingga jumlah probabilitasnya tidak dapat menuju dua. Kontradiksi. □

Tidak ada uji yang membedakan label ekuivalen

Untuk setiap uji acak maupun nonacak \(\varphi_n(X_1,\ldots,X_n)\in[0,1]\),

\[E_{\theta_0}\varphi_n=E_{\theta_1}\varphi_n.\]

Jadi, terhadap alternatif \(\theta_1\), daya uji beraras \(\alpha\) untuk \(H_0:\theta=\theta_0\) tepat sama dengan probabilitas penolakannya di bawah \(H_0\). Penambahan data tidak mengubah fakta ini.

Bukti

Kesamaan ukuran probabilitas \(P_{\theta_0}=P_{\theta_1}\) berarti integral setiap fungsi data terukur dan terbatas sama di bawah keduanya. Terapkan pada \(\varphi_n\). □

Asumsi yang tidak terpenuhi dan kesimpulan yang tidak sah

Campuran berhingga dengan label komponen yang dapat dipertukarkan mempunyai masalah serupa. Mengurutkan rataan komponen dapat memilih representasi, tetapi titik tempat dua rataan bertemu masih singular dan memerlukan analisis tersendiri.

Perbandingan empat mekanisme

Tabel 1 — Perbandingan empat mekanisme
Mekanisme Pilar yang gagal Laju/limit khas dalam contoh Kesimpulan reguler yang tidak sah Perbaikan utama
Titik ujung seragam R1 dan R5 \(n(\theta-\widehat\theta)/\theta\Rightarrow\mathrm{Exp}(1)\); LR eksak \(\chi_2^2\) skor memiliki nilai harapan nol, normalitas \(\sqrt n\), Wilks \(\chi_1^2\) statistik maksimum dan pivot eksak
Rataan distribusi Normal \(\mu\ge0\) R2 LR \(\tfrac12\delta_0+\tfrac12\chi_1^2\) ruang singgung linear dan Wilks \(\chi_1^2\) kerucut singgung/khi-bar-kuadrat
Rataan distribusi Normal \(\theta^3\) R4 dan R5 dalam koordinat \(\theta\) \(n^{1/6}\widehat\theta\Rightarrow\operatorname{cbrt}(Z)\) invers informasi dan normalitas \(\sqrt n\) parameter teridentifikasi \(m=\theta^3\), lalu transformasi fungsi kerugian
Rataan distribusi Normal \(\cos\theta\) R3 dua label memberi hukum data yang identik konsistensi label dan daya terhadap label ekuivalen ruang hasil bagi, parameter teridentifikasi, atau cabang yang dibekukan

Baris-baris ini tidak dapat saling menggantikan. Menggunakan campuran khi-kuadrat untuk titik ujung seragam sama tidak sahnya dengan menggunakan Wilks biasa: mekanisme geometrinya berbeda.

Prosedur diagnosis dari fungsi kemungkinan yang diberikan

  1. Tulis densitas beserta indikator himpunan dukungan. Jangan membuang indikator sebelum mendiferensialkan. Jika batas himpunan dukungan memuat parameter, periksa statistik ekstrem dan pivot statistik urutan.
  2. Gambarkan ruang parameter dan ruang parameter di bawah \(H_0\). Tentukan apakah nilai parameter sebenarnya merupakan titik interior, berada pada batas halus, pada sudut, atau pada perpotongan. Untuk batas, hitung kerucut singgung.
  3. Uji identifiabilitas sebelum menghitung informasi. Cari \(\theta\ne\theta'\) dengan \(p_\theta=p_{\theta'}\) hampir di mana-mana. Informasi lokal positif tidak membantah pasangan global semacam itu.
  4. Hitung orde pertama yang tidak nol. Jika skor atau informasi bernilai nol, lakukan ekspansi terhadap rataan atau fungsi log-kemungkinan hingga suku pertama yang tidak nol. Orde suku tersebut menentukan kandidat laju lokal.
  5. Turunkan hukum statistik yang cukup atau MLE langsung bila mungkin. Hukum eksak pada Hukum eksak dan laju MLE titik ujung dan Limit campuran LR pada batas lebih informatif daripada simulasi tanpa derivasi.
  6. Nyatakan objek inferensi. Bedakan parameter distribusi yang teridentifikasi, label representasi, dan fungsi kerugian. Reparameterisasi dapat meregulerkan fungsi kemungkinan tetapi mengubah skala fungsi kerugian.
  7. Kalibrasikan terhadap limit yang benar. Jika limit berupa campuran, kerucut, atau transformasi Gaussian nonnormal, gunakan kuantilnya; jangan memilih \(\chi^2\) hanya karena statistik berasal dari LR.
  8. Validasi komputasi pada beberapa ukuran sampel. Simulasi harus memakai benih acak terkunci dan membandingkan CDF/cakupan dengan rumus yang diturunkan, bukan menentukan hukum limit dari grafik. Kaitan simulasi komponen ini adalah relasi metadata supports ke O006-C140-CMP-SIM003.

Latihan derivasi singkat dengan jawaban

1. Kuantil LR titik ujung seragam

Untuk uji titik ujung pada Rasio fungsi kemungkinan tidak mengikuti hukum Wilks berdimensi satu, tentukan nilai kritis eksak aras \(\alpha\). Karena LR eksak \(\chi_2^2\), dan fungsi kesintasan \(\chi_2^2\) adalah \(e^{-c/2}\), persamaan \(e^{-c/2}=\alpha\) memberi

\[c_\alpha=-2\log\alpha.\]

Walaupun selisih dimensi parameter adalah satu, argumen dimensi Wilks tidak berlaku karena syarat keteraturan gagal; kuantil \(\chi_1^2\) juga tidak terkalibrasi dalam model ini.

2. Bias MLE titik ujung

Dari densitas \(T=M_n/\theta\), yaitu \(f_T(t)=nt^{n-1}\) pada \([0,1]\),

\[E_\theta(M_n)=\theta\int_0^1t\,nt^{n-1}\,dt =\theta\frac n{n+1}.\]

Jadi \(\widehat\theta=M_n\) memiliki bias \(-\theta/(n+1)\), yakni bias ke bawah sebesar \(\theta/(n+1)\). Penduga \((n+1)M_n/n\) tak bias, tetapi masih mempunyai limit nonnormal pada laju \(n\). Menghilangkan bias tidak menciptakan keteraturan.

3. Massa nol di bawah alternatif batas

Pada Alternatif lokal pada kerucut singgung, untuk \(\mu_n=a/\sqrt n\), LR bernilai nol bila \(Z_n\le0\). Karena \(Z_n\sim N(a,1)\), probabilitasnya \(\Phi(-a)\). Massa itu mengecil saat \(a\) membesar, tetapi tidak hilang untuk alternatif lokal tetap.

4. Interval untuk parameter kubik

Interval eksak \(1-\alpha\) untuk \(m=\theta^3\) adalah

\[[\bar X-z_{1-\alpha/2}/\sqrt n, \bar X+z_{1-\alpha/2}/\sqrt n].\]

Karena akar kubik naik, menerapkannya pada kedua titik ujung memberi interval eksak untuk \(\theta\). Di dekat nol panjang interval ini berorde \(n^{-1/6}\), selaras dengan Laju dan limit MLE pada titik singular, bukan \(n^{-1/2}\).

Kesimpulan

Tidak ada satu “koreksi nonreguler” universal. Titik ujung seragam mengubah himpunan dukungan dan memusatkan informasi pada ekstrem; batas mengganti ruang singgung dengan kerucut; informasi singular mengubah orde dan laju lokal; sedangkan nonidentifiabilitas membuat beberapa pertanyaan parameter mustahil dijawab oleh data. Pada setiap kasus, langkah yang sah adalah menyebut asumsi yang tidak terpenuhi, menurunkan eksperimen atau statistik yang benar, lalu mengalibrasi prosedur terhadap hukum itu. Nama Wald, skor, atau rasio fungsi kemungkinan saja tidak pernah cukup untuk mengimpor kesimpulan reguler dari Limit nol Wald sampai Ekuivalensi orde pertama dan alternatif lokal.