O006-C140-CMP-D001 · id-ID · CC BY-SA 4.0 · OpenAI Codex gpt-5.6-sol, Ultra

Model parametrik reguler, skor, dan informasi Fisher

Teori fungsi kemungkinan yang sahih bertumpu pada beberapa syarat yang sering tersamarkan oleh notasi. Turunan dari fungsi log-kemungkinan belum tentu boleh dipindahkan melewati tanda integral; nilai parameter yang berbeda belum tentu menghasilkan distribusi yang berbeda; dan himpunan dukungan distribusi dapat bergerak bersama parameter. Jika salah satu persoalan ini diabaikan, rumus yang tampak familier dapat memberikan kesimpulan yang keliru.

Unit ini membangun fondasi tersebut secara eksplisit. Kita memakai sampel acak independen dan berdistribusi identik (iid) $X_1,\ldots,X_n$ dari distribusi $P_{\theta_0}$ , dengan nilai parameter sebenarnya $\theta_0$ . Parameter dapat berupa skalar atau vektor. Semua pernyataan asimtotik pada unit berikutnya bergantung pada pemeriksaan syarat keteraturan yang dilakukan di sini.

Model terdominasi dan fungsi kemungkinan

Definisi: model parametrik terdominasi

Misalkan $(\mathcal X,\mathcal A)$ adalah ruang terukur dan $\Theta\subseteq\mathbb R^p$ . Keluarga distribusi $\mathcal P=\{P_\theta:\theta\in\Theta\}$ disebut terdominasi apabila ada satu ukuran $\sigma$ -hingga $\mu$ sehingga $P_\theta\ll\mu$ untuk setiap $\theta$ . Menurut teorema Radon--Nikodym, terdapat densitas

f_\theta(x)=\frac{dP_\theta}{d\mu}(x), \qquad P_\theta(A)=\int_A f_\theta(x)\,d\mu(x).

Ukuran dominan harus sama untuk seluruh $\theta$ . Untuk peubah diskret kita dapat memakai ukuran pencacahan; untuk model kontinu biasa kita memakai ukuran Lebesgue. Pilihan $\mu$ tidak unik, tetapi rasio fungsi kemungkinan tidak berubah bila kita mengganti $\mu$ dengan ukuran dominan ekuivalen yang tidak bergantung pada $\theta$ .

Untuk pengamatan $x_1,\ldots,x_n$ iid, fungsi kemungkinan dan fungsi log-kemungkinan adalah

L_n(\theta)=\prod_{i=1}^n f_\theta(x_i), \qquad \ell_n(\theta)=\sum_{i=1}^n\log f_\theta(x_i),

dengan konvensi $\log 0=-\infty$ . Fungsi kemungkinan adalah fungsi parameter setelah data dianggap tetap; ia bukan densitas peluang bagi $\theta$ .

Definisi: himpunan dukungan esensial dan himpunan dukungan bersama

Himpunan dukungan esensial relatif terhadap $\mu$ dapat ditulis

S_\theta=\{x\in\mathcal X:f_\theta(x)>0\}

dan ditentukan hingga kesetaraan $\mu$ -hampir di mana-mana. Suatu lingkungan $$N$$ dari $\theta_0$ memiliki himpunan dukungan bersama apabila ada $$S$$ sehingga $S_\theta=S$ secara $\mu$ -hampir di mana-mana untuk semua $\theta\in N$ . Syarat lokal ini lebih penting daripada kesamaan himpunan dukungan di seluruh ruang parameter: teori lokal hanya memerlukan perilaku yang terkendali di sekitar $\theta_0$ .

Dominasi dan himpunan dukungan bersama adalah konsep berbeda. Keluarga $\operatorname{Unif}(0,\theta)$ terdominasi oleh ukuran Lebesgue, tetapi $S_\theta=(0,\theta)$ berubah bersama $\theta$ . Dominasi memungkinkan kita menuliskan fungsi kemungkinan pada satu skala; himpunan dukungan bersama mencegah turunan fungsi kemungkinan kehilangan massa pada batas yang bergerak.

Identifiabilitas

Definisi: identifiabilitas

Model disebut teridentifikasi apabila

P_\theta=P_\eta \quad\Longrightarrow\quad \theta=\eta.

Identifiabilitas adalah sifat distribusi, bukan sifat algoritme pendugaan. Data sebesar apa pun tidak dapat membedakan dua nilai parameter yang menghasilkan hukum observasi yang persis sama. Untuk analisis lokal, kita kadang hanya memerlukan identifiabilitas pada suatu lingkungan dari $\theta_0$ , tetapi konsistensi global memerlukan pemisahan global atau pembatasan ruang parameter.

Contoh tandingan: parameter kuadrat yang tidak teridentifikasi

Ambil $X\sim N(\theta^2,1)$ dengan $\Theta=\mathbb R$ . Karena $P_\theta=P_{-\theta}$ , tanda $\theta$ tidak teridentifikasi. Fungsi kemungkinan dapat memiliki dua maksimum simetris. Tidak ada penduga yang konsisten untuk $\theta$ di seluruh $\mathbb R$ : bila $T_n\to\theta$ dalam peluang di bawah $P_\theta$ , distribusi $$T_n$$ di bawah $P_{-\theta}$ sama persis dengan distribusinya di bawah $P_\theta$ , sehingga $$T_n$$ tidak mungkin sekaligus konvergen ke $-\theta$ ketika $\theta\ne0$ .

Masalah dapat diperbaiki dengan mengubah target menjadi $\psi=\theta^2$ atau membatasi $\Theta=[0,\infty)$ . Perbaikan itu mengubah parameter ilmiah yang diduga; ia bukan sekadar pilihan numerik. Identifiabilitas akan menjadi syarat pemisahan Kullback--Leibler pada konsistensi MLE Teorema: identifikasi kriteria populasi.

Paket keteraturan lokal

Asumsi R1--R6

Berikut satu paket syarat yang cukup untuk identitas skor dan informasi di $\theta_0$ . Paket ini bukan satu-satunya paket yang mungkin, tetapi setiap langkah bukti di bawah dapat ditelusuri ke syarat tertentu.

R1 (titik interior). $\theta_0$ berada di interior himpunan terbuka $N\subseteq\Theta\subseteq\mathbb R^p$ .
R2 (dominasi dan himpunan dukungan bersama). Semua $P_\theta$ , $\theta\in N$ , mempunyai densitas terhadap satu ukuran $\sigma$ -hingga $\mu$ , dan terdapat himpunan dukungan bersama $$S$$ .
R3 (diferensiabilitas). Untuk $\mu$ -hampir semua $x\in S$ , fungsi $\theta\mapsto f_\theta(x)$ dua kali terdiferensialkan secara kontinu pada $$N$$ dan $f_\theta(x)>0$ .
R4 (selubung turunan pertama). Untuk setiap komponen $$j$$ , ada fungsi terintegralkan $$G_j$$ sehingga $|\partial f_\theta(x)/\partial\theta_j|\le G_j(x)$ untuk semua $\theta\in N$ dan hampir semua $$x$$ .
R5 (selubung turunan kedua). Untuk setiap $$j,k$$ , ada fungsi terintegralkan $H_{jk}$ yang mendominasi $|\partial^2 f_\theta(x)/(\partial\theta_j\partial\theta_k)|$ pada $$N$$ .
R6 (momen skor). Skor pada $\theta_0$ memiliki momen kedua hingga, dan matriks informasinya hingga. Bila invers informasi hendak dipakai, matriks tersebut juga harus definit positif.

R4 dan R5 merupakan syarat yang mudah digunakan, tetapi bukan syarat minimal. Teori yang lebih umum dapat memakai diferensiabilitas dalam kuadrat rata-rata atau syarat integrabilitas seragam (uniform integrability). Namun, menulis hanya “cukup reguler” tidak menjelaskan operasi analitis apa yang sah.

Teorema: menurunkan di bawah tanda integral

Misalkan $g(\theta,x)$ terdiferensial terhadap komponen $\theta_j$ pada lingkungan $$N$$ dari $\theta_0$ . Andaikan $g(\theta,\cdot)$ terintegralkan dan ada $$G$$ terintegralkan dengan $|\partial_j g(\theta,x)|\le G(x)$ untuk semua $\theta\in N$ dan hampir semua $$x$$ . Maka

\partial_j\int g(\theta,x)\,d\mu(x) =\int\partial_j g(\theta,x)\,d\mu(x).

Bukti

Ambil barisan $h_m\to0$ dengan $\theta+h_me_j\in N$ . Untuk hampir semua $$x$$ , teorema nilai rata-rata satu dimensi memberi suatu $$t_m(x)$$ di antara $$0$$ dan $$h_m$$ sehingga

\frac{g(\theta+h_me_j,x)-g(\theta,x)}{h_m} =\partial_jg(\theta+t_m(x)e_j,x).

Nilai mutlak ruas kanan dibatasi oleh $$G(x)$$ , sedangkan diferensiabilitas memberi konvergensi titik demi titik ke $\partial_jg(\theta,x)$ . Teorema konvergensi terdominasi mengizinkan limit dipindahkan melewati integral. Integral hasil bagi selisih adalah hasil bagi selisih dari integral, sehingga limitnya merupakan turunan integral. Karena kesimpulan sama untuk setiap barisan $h_m\to0$ , hasil berlaku. $\square$

Skor dan identitas skor

Definisi: skor satu observasi

Skor untuk satu observasi adalah vektor kolom

s_\theta(x)=\nabla_\theta\log f_\theta(x).

Pada titik dengan $f_\theta(x)>0$ ,

s_\theta(x)f_\theta(x)=\nabla_\theta f_\theta(x).

Skor sampel iid adalah $U_n(\theta)=\nabla\ell_n(\theta)=\sum_{i=1}^n s_\theta(X_i)$ . Persamaan skor $U_n(\theta)=0$ sering menghasilkan kandidat MLE, tetapi titik maksimum pada batas atau titik nondiferensiabel tidak wajib memenuhi persamaan itu.

Teorema: nilai harapan skor adalah nol

Di bawah R1--R4 Asumsi R1--R6,

E_\theta\{s_\theta(X)\}=0, \qquad \theta\in N.

Bukti

Untuk komponen $$j$$ , himpunan dukungan bersama mengizinkan integral selalu dilakukan pada $$S$$ , tanpa suku batas yang bergantung pada $\theta$ . Identitas aljabar skor dan teorema pertukaran turunan Teorema: menurunkan di bawah tanda integral memberi

E_\theta\{s_{\theta,j}(X)\} =\int_S \frac{\partial_j f_\theta(x)}{f_\theta(x)}f_\theta(x)\,d\mu(x) =\partial_j\int_S f_\theta(x)\,d\mu(x) =\partial_j 1=0.

Karena ini berlaku untuk semua komponen, vektor harapannya nol. $\square$

Nilai harapan nol tidak berarti skor yang diamati nol. Skor adalah peubah acak; ia menyeimbangkan arah perubahan fungsi log-kemungkinan secara rata-rata bila data benar-benar berasal dari parameter yang sedang dievaluasi.

Informasi Fisher

Definisi: informasi Fisher yang diharapkan dan informasi teramati

Informasi Fisher per observasi pada $\theta$ adalah

I(\theta)=E_\theta\{s_\theta(X)s_\theta(X)^\mathsf T\}.

Untuk $\theta\in N$ di bawah R1--R4, jika skor mempunyai momen kedua hingga, $E_\theta\{s_\theta(X)\}=0$ , sehingga $I(\theta)$ juga merupakan kovarians skor dan bersifat simetris serta semidefinit positif. Untuk sampel iid di bawah syarat yang sama, informasi Fisher sampel yang diharapkan adalah $nI(\theta)$ . Informasi teramati (observed information) adalah

J_n(\theta)=-\nabla_\theta^2\ell_n(\theta).

$J_n(\theta)$ bergantung pada data dan tidak harus definit positif jauh dari titik maksimum. Hubungan asimtotik keduanya dibahas di Teorema: konsistensi penduga informasi berbasis substitusi.

Teorema: identitas informasi kedua

Di bawah R1--R5 Asumsi R1--R6, untuk setiap $\theta\in N$ yang membuat kedua nilai harapan pada rumus berikut berhingga,

I(\theta)=-E_\theta\{\nabla_\theta^2\log f_\theta(X)\}.

Bukti

Untuk komponen $$j,k$$ , turunkan identitas $\partial_j f_\theta=f_\theta s_{\theta,j}$ terhadap $\theta_k$ :

\partial_{kj}^2 f_\theta =f_\theta s_{\theta,k}s_{\theta,j} +f_\theta\,\partial_k s_{\theta,j}.

Bagi dengan $f_\theta$ , integralkan, dan gunakan pertukaran turunan kedua yang dijamin R5:

0=\partial_{kj}^2\int_S f_\theta\,d\mu =E_\theta(s_{\theta,j}s_{\theta,k}) +E_\theta(\partial_{kj}^2\log f_\theta).

Memindahkan suku kedua dan menyusun seluruh komponen menghasilkan identitas matriks yang dinyatakan. $\square$

Teorema: aditivitas informasi untuk sampel iid

Jika $X_1,\ldots,X_n$ iid, R1--R4 Asumsi R1--R6 berlaku, dan skor mempunyai momen kedua hingga, maka

\operatorname{Var}_\theta\{U_n(\theta)\}=nI(\theta).

Bukti

Skor sampel adalah jumlah skor individual. Setiap suku mempunyai nilai harapan nol menurut Teorema: nilai harapan skor adalah nol. Independensi membuat kovarians silang antarsuku nol. Karena itu kovarians jumlah sama dengan jumlah kovarians, yakni $nI(\theta)$ . $\square$

Teorema: transformasi informasi

Misalkan $\theta=h(\eta)$ adalah reparametrisasi terdiferensial dengan matriks Jacobian $H(\eta)=\partial\theta/\partial\eta^\mathsf T$ . Maka

s_\eta(x)=H(\eta)^\mathsf T s_\theta(x), \qquad I_\eta(\eta)=H(\eta)^\mathsf T I_\theta(h(\eta))H(\eta).

Bukti

Aturan rantai memberi identitas skor. Kalikan skor baru dengan transposenya, ambil harapan pada distribusi yang sama, lalu keluarkan matriks Jacobian yang tidak acak dari harapan. $\square$

Jika $$H$$ berperingkat kolom penuh dan $I_\theta$ definit positif, $I_\eta$ juga definit positif. Untuk reparametrisasi berdimensi sama, syarat ini berarti $$H$$ nonsingular. Bila $$H$$ tidak berperingkat kolom penuh, hilangnya informasi dapat mencerminkan parametrisasi yang tidak satu-satu, bukan kekurangan data.

Contoh lengkap: model Bernoulli

Ambil $X\sim\operatorname{Bernoulli}(p)$ dan batasi sementara $p\in(0,1)$ . Terhadap ukuran pencacahan pada $\{0,1\}$ ,

f_p(x)=p^x(1-p)^{1-x}, \qquad \log f_p(x)=x\log p+(1-x)\log(1-p).

Himpunan dukungan $\{0,1\}$ tidak bergantung pada $$p$$ , model teridentifikasi karena $$P_p(X=1)=p$$ , dan semua pertukaran integral hanyalah pertukaran dengan jumlah hingga. Skor dan turunan kedua log-densitas terhadap $$p$$ adalah

s_p(x)=\frac{x}{p}-\frac{1-x}{1-p} =\frac{x-p}{p(1-p)},

\frac{\partial^2}{\partial p^2}\log f_p(x) =-\frac{x}{p^2}-\frac{1-x}{(1-p)^2}.

Karena $$E_pX=p$$ dan $\operatorname{Var}_p(X)=p(1-p)$ ,

E_p s_p(X)=0, \qquad I(p)=\frac{1}{p(1-p)}.

Bentuk Hessian memberi jawaban sama:

-E_p\left\{\frac{\partial^2}{\partial p^2}\log f_p(X)\right\} =\frac{p}{p^2}+\frac{1-p}{(1-p)^2} =\frac{1}{p(1-p)}.

Pada himpunan kompak $[\varepsilon,1-\varepsilon]$ , semua turunannya terkendali secara seragam. Di batas $$p=0$$ atau $$p=1$$ , syarat titik interior dan keberhinggaan informasi tidak terpenuhi; normalitas asimtotik standar tidak boleh diterapkan secara mekanis.

Contoh lengkap: rataan dan varians pada model normal

Parametrisasikan $X\sim N(\mu,v)$ dengan $$v>0$$ dan $\theta=(\mu,v)^\mathsf T$ . Log-densitas per observasi adalah

\ell(\mu,v;x)=-\frac12\log(2\pi v)-\frac{(x-\mu)^2}{2v}.

Skornya

s_\mu=\frac{x-\mu}{v}, \qquad s_v=-\frac{1}{2v}+\frac{(x-\mu)^2}{2v^2}.

Gunakan $E(X-\mu)=0$ , $E(X-\mu)^2=v$ , momen ketiga terpusat nol, dan $E(X-\mu)^4=3v^2$ . Maka

I(\mu,v)= \begin{pmatrix} 1/v & 0\\ 0 & 1/(2v^2) \end{pmatrix}.

Elemen di luar diagonal utama bernilai nol bukan pernyataan bahwa parameter $\mu$ dan $$v$$ merupakan peubah acak independen; keduanya adalah besaran tetap. Nilai nol itu terjadi karena komponen skor keduanya tak berkorelasi pada model normal. Parameter seperti ini disebut ortogonal dalam arti informasi lokal.

Contoh tandingan nonreguler: himpunan dukungan bergerak

Ambil $X\sim\operatorname{Unif}(0,\theta)$ , $\theta>0$ . Densitasnya

f_\theta(x)=\theta^{-1}\mathbf 1\{0\le x\le\theta\}.

Untuk setiap $$x$$ dengan $0<x<\theta$ , indikator tersebut konstan secara lokal sebagai fungsi parameter; jadi skor titik demi titik adalah $s_\theta(x)=-1/\theta$ dan berlaku $P_\theta$ -hampir pasti. Karena itu $E_\theta\{s_\theta(X)\}=-1/\theta\ne0$ . Ini tidak membantah teorema skor: R2 gagal karena himpunan dukungan bergantung pada $\theta$ , sehingga pertukaran turunan dan integral tidak sah; menurunkan $\int_0^\theta \theta^{-1}\,dx$ juga menghasilkan suku batas.

MLE adalah $\widehat\theta_n=X_{(n)}$ , maksimum sampel. Galatnya berorde $n^{-1}$ , bukan $n^{-1/2}$ :

P_\theta\left\{n\left(1-\frac{X_{(n)}}{\theta}\right)>t\right\} =\left(1-\frac{t}{n}\right)^n, \qquad 0\le t\le n.

Untuk setiap $t\ge0$ tetap, syarat $t\le n$ akhirnya terpenuhi dan ruas kanan menuju $e^{-t}$ ketika $n\to\infty$ .

Jadi $n(1-X_{(n)}/\theta)$ konvergen dalam distribusi ke $\operatorname{Exp}(1)$ , bukan ke distribusi Normal. Kegagalan himpunan dukungan bersama merusak identitas skor, representasi informasi melalui Hessian, ekspansi kuadratik lokal fungsi log-kemungkinan, dan normalitas $\sqrt n$ sekaligus. Walaupun demikian, MLE tetap konsisten; syarat reguler adalah syarat cukup untuk teori tertentu, bukan syarat perlu bagi semua bentuk konsistensi.

Contoh tandingan nonreguler: informasi singular

Kembali ke $X\sim N(\theta^2,1)$ . Skor adalah

s_\theta(x)=2\theta(x-\theta^2), \qquad I(\theta)=4\theta^2.

Pada $\theta_0=0$ , informasi sama dengan nol. Selain kegagalan identifiabilitas global, perubahan kecil $\theta$ tidak mengubah distribusi hingga orde pertama pada titik tersebut. Matriks informasi tidak memiliki invers, dan skala $\sqrt n$ untuk menduga $\theta$ tidak didukung oleh aproksimasi linear. Membatasi $\theta\ge0$ memperbaiki identifiabilitas tetapi menempatkan $$0$$ pada batas dan tidak memperbaiki turunan pertama yang nol. Dengan demikian, R1 dan bagian ketaksingularan dari R6 tetap gagal.

Daftar periksa sebelum memakai rumus informasi

Sebelum menyatakan $E_\theta\{s_\theta(X)\}=0$ , $I(\theta)=-E_\theta\{\nabla_\theta^2\log f_\theta(X)\}$ , atau varians asimtotik $I(\theta)^{-1}$ , periksa hal berikut.

Apakah seluruh keluarga ditulis terhadap satu ukuran dominan?
Apakah himpunan dukungan tetap pada lingkungan nilai parameter sebenarnya?
Apakah parameter teridentifikasi, setidaknya pada target yang hendak diduga?
Apakah nilai parameter sebenarnya merupakan titik interior?
Apakah turunan densitas/log-densitas ada hampir di mana-mana?
Apa alasan matematis yang mengizinkan pertukaran turunan dan integral?
Apakah skor bermomen kedua hingga dan informasi tak singular?
Bila parameter diubah, apakah transformasinya satu-satu dan Jacobian berperingkat penuh?

Jawaban “tidak” tidak selalu membuat inferensi mustahil. Jawaban itu berarti teorema reguler tertentu belum berlaku dan kita harus mencari skala, limit, atau ruang parameter yang sesuai. Konsistensi MLE dibangun selanjutnya dari identifikasi dan prinsip argmax Konsistensi MLE, sedangkan normalitas asimtotik memerlukan struktur lokal yang lebih kuat Ekspansi kuadratik lokal fungsi log-kemungkinan dan normalitas asimtotik.