O006-C140-CMP-D002 · id-ID · CC BY-SA 4.0 · OpenAI Codex gpt-5.6-sol, Ultra

Konsistensi MLE

Konsistensi menjawab pertanyaan global: ketika ukuran sampel bertambah, apakah penduga konvergen ke parameter sebenarnya yang menghasilkan data? Untuk MLE, pembuktiannya terdiri atas tiga lapisan yang harus dibedakan.

Kriteria populasi harus memiliki pemaksimum unik pada parameter sebenarnya.
Kriteria sampel harus mendekati kriteria populasi secara seragam, bukan hanya pada setiap parameter tetap.
Pemaksimum kriteria sampel kemudian harus berada dekat pemaksimum populasi.

Identifiabilitas baru cukup untuk menyelesaikan lapisan pertama setelah integrabilitas fungsi log-kemungkinan diperiksa. Hukum bilangan besar titik demi titik belum menyelesaikan lapisan kedua, karena MLE memilih nilai parameter yang bergantung pada sampel. Unit ini membuktikan ketiga lapisan tersebut secara konkret.

MLE sebagai penduga-M

Definisi: kriteria sampel dan populasi

Untuk model terdominasi Definisi: model parametrik terdominasi, definisikan

m_\theta(x)=\log f_\theta(x), \qquad M_n(\theta)=\frac1n\sum_{i=1}^n m_\theta(X_i), \qquad M(\theta)=E_{\theta_0}\{m_\theta(X)\}.

MLE memaksimumkan $$M_n$$ karena pembagian dengan $$n$$ tidak mengubah titik pemaksimumnya. Normalisasi ini penting: $$M_n$$ biasanya memiliki limit populasi yang bernilai berhingga, sedangkan fungsi log-kemungkinan total tumbuh sebanding dengan $$n$$ .

Penduga $\widehat\theta_n$ disebut pemaksimum hampiran bila

M_n(\widehat\theta_n) \ge \sup_{\theta\in\Theta}M_n(\theta)-r_n, \qquad r_n\xrightarrow{P}0.

Definisi ini mencakup galat optimisasi numerik yang menuju nol secara asimtotik. Konsistensi tidak mengharuskan algoritme menemukan maksimum eksak untuk setiap $$n$$ .

Definisi: divergensi Kullback–Leibler

Jika $$P$$ dan $$Q$$ mempunyai densitas $$p$$ dan $$q$$ terhadap ukuran pendominasi yang sama dan $P\ll Q$ , definisikan

D_{\mathrm{KL}}(P\|Q) =\int p(x)\log\frac{p(x)}{q(x)}\,d\mu(x),

dengan nilai dalam $[0,\infty]$ . Bila $$P$$ memberi massa positif pada daerah tempat $$q=0$$ , divergensi didefinisikan sebagai $+\infty$ . Divergensi ini bukan metrik: ia tidak simetris dan tidak memenuhi pertidaksamaan segitiga.

Teorema: pertidaksamaan Gibbs

Untuk setiap pasangan distribusi $$P,Q$$ ,

D_{\mathrm{KL}}(P\|Q)\ge0,

dan kesamaan berlaku jika dan hanya jika $$P=Q$$ (ekuivalen dengan $$p=q$$ hampir di mana-mana terhadap ukuran pendominasi).

Bukti

Kasus $P\not\ll Q$ langsung memberi $+\infty$ . Anggap $P\ll Q$ dan tulis $$Z=q(X)/p(X)$$ pada daerah $$p>0$$ , dengan $X\sim P$ . Pertidaksamaan $\log z\le z-1$ untuk $$z>0$$ memberi

-D_{\mathrm{KL}}(P\|Q)=E_P\log Z \le E_P(Z-1) =\int_{\{p>0\}}q\,d\mu-1\le0.

Jadi divergensi tidak negatif. Kesamaan pada $\log z\le z-1$ hanya terjadi bila $$z=1$$ . Agar seluruh rantai menjadi kesamaan, $$q/p=1$$ $$P$$ -hampir pasti dan $$Q$$ tidak boleh mempunyai massa tersisa di luar himpunan dukungan $$P$$ . Maka $$p=q$$ hampir di mana-mana. Kebalikannya jelas: densitas yang sama memberi divergensi nol. $\square$

Teorema: identifikasi kriteria populasi

Andaikan $E_{\theta_0}|\log f_{\theta_0}(X)|<\infty$ , dan untuk setiap $\theta$ yang dipertimbangkan, selisih fungsi log-kemungkinan mempunyai harapan yang terdefinisi. Maka

M(\theta)-M(\theta_0) =-D_{\mathrm{KL}}(P_{\theta_0}\|P_\theta)\le0.

Jika model teridentifikasi Definisi: identifiabilitas, $\theta_0$ adalah pemaksimum unik $$M$$ .

Bukti

Dengan definisi harapan dan divergensi,

M(\theta)-M(\theta_0) =E_{\theta_0}\log\frac{f_\theta(X)}{f_{\theta_0}(X)} =-D_{\mathrm{KL}}(P_{\theta_0}\|P_\theta).

Pertidaksamaan Gibbs Teorema: pertidaksamaan Gibbs menunjukkan bahwa selisih tersebut nonpositif. Kesamaan hanya terjadi jika $P_\theta=P_{\theta_0}$ ; identifiabilitas kemudian memaksa $\theta=\theta_0$ . $\square$

Teorema ini belum menunjukkan bahwa $$M_n$$ mendekati $$M$$ ; teorema ini hanya menunjukkan bahwa $\theta_0$ merupakan sasaran populasi. Konvergensi seragam dibuktikan selanjutnya.

Hukum bilangan besar seragam

Asumsi U1--U3

Untuk suatu ruang parameter $\Theta\subseteq\mathbb R^p$ , andaikan:

U1. $\Theta$ kompak.
U2. Ada peubah acak nonnegatif $$L(X)$$ dengan $E_{\theta_0}L(X)<\infty$ sedemikian sehingga, pada satu kejadian berpeluang satu, secara simultan untuk semua $\theta,\eta\in\Theta$ ,

|m_\theta(X)-m_\eta(X)|\le L(X)\|\theta-\eta\|

U3. Untuk satu (dan karenanya setiap) $\theta_\star\in\Theta$ , $E_{\theta_0}|m_{\theta_\star}(X)|<\infty$ .

U2 adalah syarat Lipschitz dengan konstanta acak. Bersama U3, syarat ini menyiratkan integrabilitas $m_\theta$ untuk setiap $\theta$ , sebab $\Theta$ berdiameter berhingga. Syarat yang lebih umum dapat menggunakan kontinuitas hampir pasti dan fungsi selubung yang integrabel; versi Lipschitz digunakan agar bukti dapat disajikan secara lengkap.

Teorema: ULLN Lipschitz pada himpunan kompak

Di bawah U1--U3, untuk sampel yang saling bebas dan berdistribusi identik (iid) dari $P_{\theta_0}$ ,

\sup_{\theta\in\Theta}|M_n(\theta)-M(\theta)| \xrightarrow{\text{a.s.}}0.

Bukti

Ambil $\delta>0$ . Kekompakan menjamin adanya jaring- $\delta$ berhingga $\theta_1,\ldots,\theta_K$ sehingga untuk setiap $\theta\in\Theta$ terdapat setidaknya satu $\theta_k$ dengan $\|\theta-\theta_k\|<\delta$ . Untuk pasangan tersebut,

|M_n(\theta)-M_n(\theta_k)| \le \delta\,\frac1n\sum_{i=1}^nL(X_i),

dan, dengan mengambil nilai harapan pada kedua ruas ketaksamaan U2,

|M(\theta)-M(\theta_k)|\le\delta E L(X).

Maka

\sup_{\theta\in\Theta}|M_n(\theta)-M(\theta)| \le \max_{1\le k\le K}|M_n(\theta_k)-M(\theta_k)| +\delta\left\{\frac1n\sum_{i=1}^nL(X_i)+EL(X)\right\}.

Jaring tersebut berhingga. Hukum bilangan besar kuat yang diterapkan pada setiap $m_{\theta_k}(X)$ membuat suku maksimum pertama menuju nol hampir pasti. Hukum yang sama membuat rata-rata $$L(X_i)$$ menuju $$EL(X)$$ hampir pasti. Oleh karena itu limit superior ruas kiri tidak melebihi $2\delta EL(X)$ hampir pasti. Ambil barisan rasional $\delta\downarrow0$ ; irisan kejadian berpeluang satu tetap berpeluang satu, sehingga limit superior sama dengan nol. $\square$

Perbedaan mendasar dengan hukum bilangan besar titik demi titik tampak ketika kriteria dievaluasi pada pemaksimum. Konvergensi $M_n(\theta)\to M(\theta)$ untuk setiap $\theta$ tetap tidak serta-merta menyiratkan $M_n(\widehat\theta_n)-M(\widehat\theta_n)\to0$ , karena $\widehat\theta_n$ dipilih berdasarkan keseluruhan kurva acak $$M_n$$ . Kontrol seragam melalui supremum mengatasi celah ini.

Teorema argmax

Asumsi pemisahan

Untuk setiap $\varepsilon>0$ dengan $A_\varepsilon=\{\theta\in\Theta:\|\theta-\theta_0\|\ge\varepsilon\}\ne\varnothing$ , andaikan

\Delta_\varepsilon =M(\theta_0)- \sup_{\theta\in A_\varepsilon}M(\theta)>0.

Jika $\Theta$ kompak, $$M$$ kontinu, dan $\theta_0$ merupakan pemaksimum unik, syarat ini otomatis terpenuhi. Himpunan $\{\theta\in\Theta:\|\theta-\theta_0\|\ge\varepsilon\}$ juga kompak, sehingga $$M$$ mencapai maksimum di sana; karena pemaksimum globalnya unik, nilai maksimum tersebut lebih kecil daripada $M(\theta_0)$ .

Teorema: konsistensi pemaksimum hampiran

Andaikan:

$\theta_0$ memenuhi pemisahan Asumsi pemisahan;
$\sup_{\theta\in\Theta}|M_n(\theta)-M(\theta)|\xrightarrow{P}0$ ; dan
$\widehat\theta_n$ memenuhi $M_n(\widehat\theta_n)\ge\sup_\Theta M_n-r_n$ dengan $r_n\xrightarrow{P}0$ .

Maka $\widehat\theta_n\xrightarrow{P}\theta_0$ .

Bukti

Tetapkan $\varepsilon>0$ dan tulis $A_\varepsilon=\{\theta\in\Theta:\|\theta-\theta_0\|\ge\varepsilon\}$ . Jika $A_\varepsilon=\varnothing$ , klaimnya langsung berlaku. Jika tidak, pada kejadian

2\sup_\Theta|M_n-M|+r_n<\Delta_\varepsilon,

untuk setiap $\theta\in A_\varepsilon$ berlaku

M_n(\theta) \le M(\theta)+\sup_\Theta|M_n-M| \le M(\theta_0)-\Delta_\varepsilon+\sup_\Theta|M_n-M|,

sedangkan

M_n(\theta_0) \ge M(\theta_0)-\sup_\Theta|M_n-M|.

Jadi $M_n(\theta)<M_n(\theta_0)-r_n$ untuk semua $\theta\in A_\varepsilon$ . Pemaksimum hampiran tidak mungkin berada di $A_\varepsilon$ . Peluang kejadian di atas menuju satu karena kedua suku acak menuju nol dalam peluang. Maka $P(\|\widehat\theta_n-\theta_0\|\ge\varepsilon)\to0$ . $\square$

Korolari: konsistensi MLE pada ruang parameter kompak

Andaikan model teridentifikasi, $$M$$ bernilai berhingga dan kontinu, $\Theta$ kompak, $\theta_0\in\Theta$ , serta U2--U3 Asumsi U1--U3. Setiap MLE eksak atau pemaksimum hampiran $$M_n$$ dengan galat $r_n\xrightarrow{P}0$ konsisten untuk $\theta_0$ .

Bukti

Identifikasi Kullback--Leibler Teorema: identifikasi kriteria populasi memberi pemaksimum populasi unik. Kontinuitas dan kekompakan memberi pemisahan. ULLN Teorema: ULLN Lipschitz pada himpunan kompak memberi konvergensi seragam hampir pasti, yang lebih kuat daripada konvergensi dalam peluang. Terapkan teorema argmax Teorema: konsistensi pemaksimum hampiran. $\square$

Contoh: MLE Bernoulli

Ambil $X_i\sim\operatorname{Bernoulli}(p_0)$ dan, mula-mula, ruang parameter $\Theta=[a,1-a]$ dengan $$0<a<p_0<1-a$$ . Kriteria per observasi ialah

m_p(x)=x\log p+(1-x)\log(1-p).

Turunannya terhadap $$p$$ dibatasi pada $$[a,1-a]$$ :

\left|\frac{\partial}{\partial p}m_p(x)\right| =\left|\frac{x}{p}-\frac{1-x}{1-p}\right| \le\frac1a.

Jadi U2 berlaku dengan $$L(X)=1/a$$ . Model teridentifikasi, sehingga korolari berlaku. MLE tanpa kendala adalah $\bar X_n$ ; pada ruang kompak, MLE adalah proyeksi $\bar X_n$ ke $$[a,1-a]$$ . Karena $$p_0$$ merupakan titik interior dan $\bar X_n\to p_0$ , peluang bahwa $\bar X_n\in[a,1-a]$ menuju satu; dengan demikian, proyeksi tidak lagi mengubah $\bar X_n$ dengan peluang yang menuju satu.

Contoh ini juga dapat dibuktikan langsung dengan hukum bilangan besar, tetapi kerangka argmax tetap berguna untuk model yang tidak memiliki rumus tertutup bagi MLE.

Contoh: model Normal dengan parameter lokasi pada ruang tak kompak

Untuk $X_i\sim N(\mu_0,\sigma^2)$ dengan $\sigma^2$ diketahui,

M_n(\mu)=C_n-\frac{1}{2\sigma^2} \left\{\mu^2-2\mu\bar X_n\right\},

sehingga $\widehat\mu_n=\bar X_n\to\mu_0$ hampir pasti. Ruang parameter $\mathbb R$ tidak kompak, jadi korolari kompak tidak berlaku secara literal. Namun, kriteria kuadratik tersebut bersifat koersif: nilainya menuju $-\infty$ ketika $|\mu|\to\infty$ . Dengan peluang yang menuju satu, pemaksimum terletak dalam suatu himpunan kompak tetap di sekitar $\mu_0$ ; argumen ULLN dan argmax kemudian dapat diterapkan pada himpunan tersebut.

Intinya, kekompakan mencegah pemaksimum “lari ke tak hingga”. Pada ruang tak kompak, syarat kekompakan dapat digantikan dengan syarat keketatan atau koersivitas yang memberikan jaminan serupa.

Mengapa konvergensi titik demi titik tidak cukup

Pertimbangkan fungsi deterministik pada $\Theta=[0,1]$ ,

M_n(\theta)=\mathbf 1\{0<\theta<1/n\}, \qquad M(\theta)=0.

Untuk setiap $\theta$ tetap, $M_n(\theta)\to0$ . Namun, $\sup_\theta|M_n(\theta)-M(\theta)|=1$ untuk semua $$n$$ . Pemaksimum $$M_n$$ selalu terletak pada interval $$(0,1/n)$$ , yang berubah bersama $$n$$ , sehingga konvergensi titik demi titik tidak mengendalikan perilakunya. Contoh ini tidak berasal dari fungsi kemungkinan model tertentu, tetapi menunjukkan celah logis yang harus ditutup oleh ULLN atau argumen yang khusus bagi model tersebut.

Kegagalan identifikasi: konsistensi hanya menuju himpunan

Pada model $N(\theta^2,1)$ dari Contoh tandingan: parameter kuadrat yang tidak teridentifikasi, kriteria populasi mempunyai dua pemaksimum, $\theta_0$ dan $-\theta_0$ , bila $\theta_0\ne0$ . Konvergensi seragam sekalipun tidak dapat membedakan kedua tanda karena $\theta_0$ dan $-\theta_0$ menghasilkan distribusi data yang sama. Teorema argmax dapat dimodifikasi untuk menyimpulkan bahwa jarak penduga ke himpunan $\{-|\theta_0|,|\theta_0|\}$ menuju nol, tetapi bukan bahwa penduga menuju salah satu anggotanya. Jadi, identifikasi dan konvergensi seragam menangani dua persoalan yang berbeda.

Keteraturan bukan syarat perlu bagi konsistensi

Pada model $\operatorname{Unif}(0,\theta_0)$ , MLE adalah $\widehat\theta_n=X_{(n)}$ , sedangkan model ini tidak memenuhi asumsi dukungan bersama Contoh tandingan nonreguler: himpunan dukungan bergerak. Namun, untuk setiap $0<\varepsilon<\theta_0$ ,

P_{\theta_0}(|X_{(n)}-\theta_0|>\varepsilon) =P_{\theta_0}(X_{(n)}<\theta_0-\varepsilon) =\left(1-\frac{\varepsilon}{\theta_0}\right)^n\to0.

MLE tetap konsisten. Yang tidak berlaku ialah kerangka pembuktian untuk model reguler yang berbasis skor, termasuk limit normal setelah penskalaan $\sqrt n$ ; konsistensinya sendiri tidak gagal. Selalu bedakan “teorema ini tidak berlaku” dari “kesimpulannya pasti salah”.

Konsistensi bukan konvergensi nilai harapan

Definisi: konsistensi dan bias asimtotik

Penduga $$T_n$$ konsisten untuk konstanta $$t$$ bila $T_n\xrightarrow{P}t$ . Pernyataan ini mengontrol peluang galat yang lebih besar dari setiap ambang tetap. Ia tidak dengan sendirinya menyatakan $E(T_n)\to t$ , $E|T_n-t|\to0$ , atau $\operatorname{Var}(T_n)\to0$ .

Mengatakan “konsistensi menyebabkan nilai harapan penduga menuju parameter” tanpa syarat tambahan adalah salah. Konvergensi nilai harapan adalah pernyataan integral dan peka terhadap kejadian sangat jarang dengan nilai sangat besar.

Contoh tandingan: konvergensi dalam peluang tanpa konvergensi harapan

Definisikan

T_n= \begin{cases} n,&\text{dengan peluang }1/n,\\ 0,&\text{dengan peluang }1-1/n. \end{cases}

Untuk setiap $\varepsilon>0$ dan $n>\varepsilon$ , $P(|T_n|>\varepsilon)=1/n\to0$ , sehingga $T_n\xrightarrow{P}0$ . Akan tetapi $$E(T_n)=1$$ untuk semua $$n$$ . Karena hasil kali peluang yang makin kecil dan nilai yang makin besar tetap sama dengan satu, nilai harapannya tidak berubah.

Definisi: integrabilitas seragam (uniform integrability)

Keluarga peubah acak $\{Y_n\}$ dikatakan memiliki integrabilitas seragam (UI) bila

\lim_{K\to\infty} \sup_n E\bigl(|Y_n|\mathbf 1\{|Y_n|>K\}\bigr)=0.

UI memastikan bahwa kontribusi ekor terhadap nilai harapan menjadi kecil secara seragam. Batas seragam $|Y_n|\le C$ membuat keluarga tersebut otomatis UI. Syarat momen yang sedikit lebih kuat juga cukup: jika untuk suatu $\delta>0$ , $\sup_n E|Y_n|^{1+\delta}<\infty$ , maka ketaksamaan $|Y_n|\mathbf 1\{|Y_n|>K\}\le |Y_n|^{1+\delta}/K^\delta$ memberi UI.

Teorema: UI memperkuat konvergensi dalam peluang menjadi konvergensi harapan

Jika $T_n\xrightarrow{P}t$ untuk konstanta berhingga $$t$$ dan keluarga $\{T_n\}$ UI, maka

E|T_n-t|\to0 \quad\text{dan karena itu}\quad E(T_n)\to t.

Bukti

Tetapkan $$A>2|t|$$ dan tulis

E|T_n-t| =E\{|T_n-t|\mathbf 1(|T_n|\le A)\} +E\{|T_n-t|\mathbf 1(|T_n|>A)\}.

Untuk suku pertama dan setiap $\varepsilon>0$ ,

E\{|T_n-t|\mathbf 1(|T_n|\le A)\} \le \varepsilon+(A+|t|)P(|T_n-t|>\varepsilon),

sehingga limit superiornya paling besar $\varepsilon$ . Untuk suku kedua, $$|T_n|>A>2|t|$$ menyiratkan $|T_n-t|\le |T_n|+|t|<\tfrac32|T_n|$ , jadi

E\{|T_n-t|\mathbf 1(|T_n|>A)\} \le\frac32E\{|T_n|\mathbf 1(|T_n|>A)\}.

UI membuat supremum ruas kanan sekecil yang diinginkan dengan memilih $$A$$ besar, seragam terhadap $$n$$ . Setelah itu ambil $n\to\infty$ , lalu $\varepsilon\downarrow0$ . Maka $E|T_n-t|\to0$ . Terakhir, $|ET_n-t|\le E|T_n-t|$ memberi konvergensi harapan. $\square$

Catatan: kapan UI tersedia untuk MLE

Jika ruang parameter $\Theta$ terbatas dan penduga selalu bernilai dalam $\Theta$ , keluarga penduga tersebut otomatis UI. Dengan demikian, $E\widehat\theta_n\to\theta_0$ untuk parameter skalar, atau komponen demi komponen untuk parameter vektor. Pada ruang tak terbatas, konsistensi saja belum cukup; diperlukan kontrol momen, pemotongan, batas ekor, atau argumen UI lain.

Karena itu urutan logis yang benar adalah:

buktikan konsistensi dengan identifikasi, ULLN, dan argmax;
bila klaim tentang bias atau risiko memerlukan harapan, buktikan UI atau syarat pengganti secara terpisah;
jangan menganggap klaim $E\widehat\theta_n\to\theta_0$ sebagai bagian dari definisi konsistensi.

Dari konsistensi ke normalitas asimtotik

Konsistensi menjamin bahwa $\widehat\theta_n$ berada dalam setiap lingkungan parameter sebenarnya dengan peluang yang menuju satu. Namun, konsistensi belum menentukan laju konvergensi atau bentuk distribusi galat. Untuk memperoleh aproksimasi Normal, diperlukan:

teorema limit pusat (CLT) untuk skor pada $\theta_0$ ;
hukum bilangan besar lokal untuk Hessian;
matriks informasi yang nonsingular;
ekspansi Taylor dengan suku sisa yang terkendali; dan
pemaksimum fungsi kemungkinan yang telah terbukti konsisten.

Semua unsur ini dipadukan dalam ekspansi kuadratik lokal dan teorema normalitas MLE Teorema: normalitas asimtotik akar skor konsisten, termasuk MLE interior.