O006-C140-CMP-D012 · id-ID · CC BY-SA 4.0 · OpenAI Codex gpt-5.6-sol, Ultra

Satu model probabilitas, lalu satu masalah keputusan

Inferensi Bayesian bukan sekadar aturan mnemonik “prior dikali fungsi kemungkinan”. Ia dimulai dengan satu hukum peluang bersama bagi parameter, data yang belum diamati, dan—bila diperlukan—data masa depan. Posterior adalah distribusi bersyarat di dalam hukum bersama itu; prediktif posterior adalah distribusi bersyarat bagi data masa depan; dan tindakan Bayes meminimumkan kerugian posterior yang diharapkan. Dengan demikian, pembaruan dan keputusan memakai objek probabilitas yang sama, bukan kumpulan rumus yang dipilih secara terpisah.

Pelajaran Penn State memperkenalkan prior, posterior, penduga Bayes, dan selang kredibel Lesson11. Bab orisinal ini memperluas pengantar tersebut dengan menampilkan asumsi teori ukuran, prediktif, kerugian, risiko, prinsip fungsi kemungkinan, prior tidak proper, serta batas klaim admisibilitas. Bahasa risiko frekuentis yang dipakai di sini mengikuti Aturan keputusan, kerugian, dan risiko; perbedaan utamanya adalah bahwa risiko itu kemudian dapat dirata-ratakan terhadap prior yang benar-benar merupakan distribusi peluang.

Kerangka terdominasi dan syarat posterior

Misalkan parameter $\theta$ berada di ruang terukur $(\Theta,\mathcal T)$ dan data $$X$$ berada di $(\mathcal X,\mathcal A)$ . Untuk setiap $\theta$ , hukum pengambilan sampel $P_\theta$ mempunyai densitas $p_\theta(x)$ terhadap satu ukuran $\mu$ . Anggap $\theta\mapsto P_\theta$ adalah kernel Markov dan pilih versi densitas $(\theta,x)\mapsto p_\theta(x)$ yang terukur bersama terhadap $\mathcal T\otimes\mathcal A$ ; asumsi ini menjamin bahwa integral berulang dan hukum bersama di bawah ini terdefinisi dengan baik. Prior $\Pi$ adalah distribusi peluang pada $\Theta$ . Hukum bersama yang dimaksud ialah

Q(d\theta,dx)=P_\theta(dx)\,\Pi(d\theta) =p_\theta(x)\,\mu(dx)\,\Pi(d\theta).

Definisikan densitas prediktif prior, atau bukti marginal,

m(x)=\int_\Theta p_\vartheta(x)\,\Pi(d\vartheta).

Karena integran nonnegatif, teorema Tonelli memberi

\int_{\mathcal X}m(x)\,\mu(dx) =\int_\Theta\int_{\mathcal X}p_\theta(x)\,\mu(dx)\,\Pi(d\theta)=1.

Jadi $M(dx)=m(x)\mu(dx)$ benar-benar distribusi data sebelum observasi. Pada setiap $$x$$ dengan $0<m(x)<\infty$ , posterior dapat dipilih sebagai

\Pi(d\theta\mid x) =\frac{p_\theta(x)\,\Pi(d\theta)}{m(x)}.

Syarat $0<m(x)<\infty$ bukan formalitas. Jika $$m(x)=0$$ , data itu berada di luar dukungan prediktif prior; jika $m(x)=\infty$ , ekspresi di atas tidak dapat dinormalisasi. Untuk prior proper, kedua kegagalan itu hanya dapat terjadi pada himpunan bernilai nol menurut $$M$$ dalam formulasi reguler, tetapi data yang dipilih atau kesalahan spesifikasi model tetap harus diperiksa secara eksplisit.

Prior, fungsi kemungkinan, posterior, dan bukti marginal

Jika $\Pi$ mempunyai densitas $\pi(\theta)$ terhadap ukuran $\nu$ , maka

\pi(\theta\mid x) =\frac{p_\theta(x)\pi(\theta)} {\int_\Theta p_\vartheta(x)\pi(\vartheta)\,\nu(d\vartheta)}.

Empat objek dalam persamaan itu mempunyai peran berbeda.

$\pi(\theta)$ adalah densitas prior, sebelum $$X$$ diamati.
Untuk $$x$$ tetap, $L_x(\theta)=p_\theta(x)$ adalah fungsi kemungkinan (likelihood). Ia merupakan fungsi parameter, bukan densitas peluang parameter dan tidak perlu berintegral satu terhadap $\theta$ .
$$m(x)$$ adalah bukti marginal atau densitas prediktif prior. Ia menormalkan posterior dan juga menilai kemungkinan data di bawah keseluruhan model.
$\pi(\theta\mid x)$ adalah densitas posterior, yakni hukum bersyarat parameter setelah $$x$$ diamati.

Fungsi kemungkinan boleh dikalikan faktor positif yang hanya bergantung pada $$x$$ tanpa mengubah posterior. Faktor yang bergantung pada $\theta$ tidak boleh dibuang. Pernyataan “proporsional terhadap” selalu harus menyebut variabel yang dianggap tetap.

Prediktif prior dan prediktif posterior

Misalkan $\widetilde X$ adalah data masa depan dengan kernel bersyarat $K_\theta(d\widetilde x)$ , serta $\widetilde X$ dan $$X$$ saling independen bersyarat pada $\theta$ . Prediktif prior ialah campuran

P(\widetilde X\in B) =\int_\Theta K_\theta(B)\,\Pi(d\theta).

Setelah $$X=x$$ diamati, prediktif posterior ialah

P(\widetilde X\in B\mid X=x) =\int_\Theta K_\theta(B)\,\Pi(d\theta\mid x).

Yang diprediksi adalah observasi baru, bukan sekadar parameter. Varians prediktif karena itu memuat variasi pengambilan sampel bersyarat dan ketidakpastian posterior tentang parameter. Menggunakan hanya $K_{\widehat\theta}$ adalah prediksi substitusi langsung (plug-in) dan umumnya mengabaikan komponen kedua.

Posterior dan prediktif berasal dari hukum bersama yang sama

Dalam kerangka Kerangka terdominasi dan syarat posterior, untuk fungsi terukur terbatas $$h$$ dan data dengan $0<m(x)<\infty$ ,

E\{h(\theta)\mid X=x\} =\frac{\int h(\theta)p_\theta(x)\,\Pi(d\theta)}{m(x)}.

Jika $\widetilde X$ dan $$X$$ saling independen bersyarat pada $\theta$ , maka untuk fungsi terukur terbatas $$g$$ ,

E\{g(\widetilde X)\mid X=x\} =\int_\Theta \left[\int g(\widetilde x)K_\theta(d\widetilde x)\right] \Pi(d\theta\mid x).

Bukti

Untuk himpunan terukur $A\subseteq\Theta$ dan $B\subseteq\mathcal X$ ,

Q(\theta\in A,X\in B) =\int_B\int_A p_\theta(x)\,\Pi(d\theta)\,\mu(dx).

Mengganti integral dalam dengan $m(x)\int_A\Pi(d\theta\mid x)$ memberi identitas disintegrasi

Q(\theta\in A,X\in B) =\int_B\Pi(A\mid x)M(dx).

Perluasan dari indikator ke fungsi terbatas menghasilkan rumus ekspektasi posterior. Untuk prediktif, hukum ekspektasi iteratif dan independensi bersyarat memberi

E\{g(\widetilde X)\mid X\} =E[E\{g(\widetilde X)\mid\theta,X\}\mid X] =E[E\{g(\widetilde X)\mid\theta\}\mid X],

dan ekspektasi terluar adalah integral terhadap posterior. ∎

Pembaruan berurutan tidak bergantung pada pengelompokan data

Andaikan $$X_1$$ dan $$X_2$$ saling independen bersyarat pada $\theta$ , dengan fungsi kemungkinan $p_{1,\theta}(x_1)$ dan $p_{2,\theta}(x_2)$ . Jika semua konstanta normalisasi yang diperlukan positif dan hingga, memperbarui $\Pi$ lebih dulu dengan $$x_1$$ lalu dengan $$x_2$$ menghasilkan posterior yang sama dengan memperbarui sekali menggunakan pasangan $$(x_1,x_2)$$ .

Bukti

Posterior tahap pertama berbanding lurus dengan

p_{1,\theta}(x_1)\,\Pi(d\theta).

Memakai posterior itu sebagai prior tahap kedua memberi ukuran tak ternormalisasi

p_{2,\theta}(x_2)p_{1,\theta}(x_1)\,\Pi(d\theta).

Independensi bersyarat menyatakan bahwa hasil kali tersebut adalah fungsi kemungkinan bersama. Normalisasi ukuran tak ternormalisasi yang sama menghasilkan posterior yang sama. Argumen juga menunjukkan batasnya: jika model pengambilan sampel tidak memberi faktorisasi bersyarat tersebut, fungsi kemungkinan bersama yang benar harus dipakai. ∎

Konjugasi beta–binomial dan prediktif beta–binomial

Ambil

X\mid p\sim\operatorname{Binomial}(n,p), \qquad p\sim\operatorname{Beta}(a,b), \qquad a>0,\ b>0.

Dengan fungsi beta

B(u,v)=\int_0^1t^{u-1}(1-t)^{v-1}\,dt,

densitas prior dan fungsi kemungkinan ialah

\pi(p)=\frac{p^{a-1}(1-p)^{b-1}}{B(a,b)}, \qquad P_p(X=x)={n\choose x}p^x(1-p)^{n-x}.

Hasil kalinya adalah

{n\choose x}\frac{1}{B(a,b)} p^{a+x-1}(1-p)^{b+n-x-1}.

Mengintegralkan $$p$$ dari nol sampai satu memberi bukti marginal

P(X=x) ={n\choose x}\frac{B(a+x,b+n-x)}{B(a,b)}.

Karena $$a+x>0$$ dan $$b+n-x>0$$ , bukti marginal positif dan hingga untuk $x=0,\ldots,n$ . Pembagian dengan bukti marginal menghasilkan

p\mid X=x\sim\operatorname{Beta}(a+x,b+n-x).

Inilah arti konjugasi: posterior berada dalam keluarga parametrik yang sama, bukan bahwa prior dan data mendapat bobot sama. Rataan posterior ialah

E(p\mid x)=\frac{a+x}{a+b+n} =\frac{a+b}{a+b+n}\frac{a}{a+b} +\frac{n}{a+b+n}\frac{x}{n}.

Jadi $$a+b$$ berperan sebagai ukuran informasi prior dalam identitas rataan ini, tetapi interpretasi “ukuran sampel prior” tidak otomatis berlaku bagi semua fungsi posterior atau semua model.

Sekarang ambil hitungan masa depan $\widetilde X\mid p\sim\operatorname{Binomial}(k,p)$ , dengan $\widetilde X$ dan $$X$$ saling independen bersyarat pada $$p$$ . Dengan mengintegralkan fungsi kemungkinan masa depan terhadap posterior,

P(\widetilde X=y\mid X=x) ={k\choose y} \frac{B(a+x+y,b+n-x+k-y)}{B(a+x,b+n-x)},

untuk $y=0,\ldots,k$ . Ini adalah distribusi beta–binomial. Khusus satu percobaan masa depan,

P(\widetilde X=1\mid X=x)=E(p\mid x)=\frac{a+x}{a+b+n}.

Kesamaan terakhir terjadi karena probabilitas sukses bersyarat adalah $$p$$ ; ia bukan alasan untuk mengganti seluruh prediktif oleh satu distribusi Bernoulli substitusi langsung (plug-in) ketika $$k>1$$ . Untuk beberapa percobaan masa depan, campuran terhadap $$p$$ menimbulkan ketergantungan prediktif dan dispersi berlebih (overdispersion) relatif terhadap binomial dengan $$p$$ tetap.

Konjugasi normal–normal dan dua sumber varians prediktif

Misalkan

X_1,\ldots,X_n\mid\mu\overset{\mathrm{iid}}\sim N(\mu,\sigma^2), \qquad \mu\sim N(m_0,\tau_0^2),

dengan $\sigma^2>0$ diketahui dan $0<\tau_0^2<\infty$ . Bagian fungsi kemungkinan yang bergantung pada $\mu$ ialah

L_x(\mu)\propto \exp\left\{-\frac{n}{2\sigma^2}(\mu-\bar x)^2\right\}.

Kalikan dengan prior dan kumpulkan suku kuadratik:

\begin{aligned} &\frac{1}{\tau_0^2}(\mu-m_0)^2 +\frac{n}{\sigma^2}(\mu-\bar x)^2\\ &\quad= \left(\frac1{\tau_0^2}+\frac n{\sigma^2}\right) (\mu-m_n)^2+C(x), \end{aligned}

dengan $$C(x)$$ tidak bergantung pada $\mu$ dan

\tau_n^2=\left(\frac1{\tau_0^2}+\frac n{\sigma^2}\right)^{-1}, \qquad m_n=\tau_n^2\left(\frac{m_0}{\tau_0^2} +\frac{n\bar x}{\sigma^2}\right).

Koefisien kuadrat positif, sehingga normalisasi hingga dan

\mu\mid x\sim N(m_n,\tau_n^2).

Presisi posterior sama dengan jumlah presisi prior dan presisi data. Jika $\widetilde X\mid\mu\sim N(\mu,\sigma^2)$ serta $\widetilde X$ dan data lama saling independen bersyarat pada $\mu$ , tulis

\widetilde X=m_n+(\mu-m_n)+\varepsilon_{\mathrm{baru}},

Bersyarat pada data, kedua suku acak terakhir saling independen dan berdistribusi $N(0,\tau_n^2)$ serta $N(0,\sigma^2)$ . Karena itu

\widetilde X\mid x\sim N(m_n,\sigma^2+\tau_n^2).

Varians $\sigma^2$ adalah variasi observasi baru; $\tau_n^2$ adalah ketidakpastian posterior tentang rataan. Prediksi substitusi langsung $N(m_n,\sigma^2)$ kehilangan suku kedua dan terlalu sempit. Untuk rataan dari $$k$$ observasi baru, varians prediktif menjadi $\sigma^2/k+\tau_n^2$ .

Dari posterior ke tindakan

Distribusi posterior merangkum ketidakpastian bersyarat, tetapi tidak dengan sendirinya menentukan tindakan. Pemilihan tindakan memerlukan ruang tindakan dengan kerugian. Dua analis dengan posterior sama dapat secara rasional memilih tindakan berbeda bila biaya kesalahannya berbeda; sebaliknya, menyebut satu penduga “Bayes” tanpa menyebut kerugian menyembunyikan bagian masalah keputusan.

Tindakan, kerugian posterior, risiko, dan risiko Bayes

Misalkan $\mathcal C$ adalah ruang tindakan, $a\in\mathcal C$ , dan $L(\theta,a)\geq0$ adalah kerugian terukur. Aturan keputusan $\delta:\mathcal X\to\mathcal C$ memilih $a=\delta(X)$ . Empat objek berikut harus dibedakan.

Kerugian posterior yang diharapkan, setelah $$X=x$$ , ialah

\rho_x(a)=E\{L(\theta,a)\mid X=x\} =\int_\Theta L(\theta,a)\,\Pi(d\theta\mid x).

Risiko frekuentis tetap merupakan fungsi parameter,

R(\theta,\delta)=E_\theta L\{\theta,\delta(X)\}.

Risiko prediktif prior atau risiko terintegrasi dari aturan ialah

r(\Pi,\delta) =\int_\Theta R(\theta,\delta)\,\Pi(d\theta).

Karena prior proper, besaran itu juga dapat ditulis sebagai ekspektasi terhadap distribusi prediktif prior:

r(\Pi,\delta) =\int_{\mathcal X}\rho_x\{\delta(x)\}\,M(dx).

Sebuah aturan Bayes $\delta_\Pi$ meminimumkan $r(\Pi,\delta)$ atas kelas aturan yang dinyatakan. Nilai

r^*(\Pi)=\inf_\delta r(\Pi,\delta)

ditulis risiko Bayes minimum atau nilai Bayes. Sebagian literatur juga menyebut $r(\Pi,\delta)$ “risiko Bayes dari $\delta$ ”; menyebut aturan dan prior menghindari ambiguitas.

Minimalisasi posterior menghasilkan aturan Bayes

Andaikan kerugian nonnegatif, posterior pada Kerangka terdominasi dan syarat posterior terdefinisi $$M$$ -hampir pasti, dan terdapat pemilih terukur $\delta^*$ yang memenuhi

\rho_x\{\delta^*(x)\}=\inf_{a\in\mathcal C}\rho_x(a)

untuk $$M$$ -hampir setiap $$x$$ . Maka

r(\Pi,\delta^*)\leq r(\Pi,\delta)

untuk setiap aturan terukur $\delta$ yang risikonya terdefinisi. Jadi $\delta^*$ adalah aturan Bayes.

Bukti

Tonelli boleh dipakai karena kerugian nonnegatif:

\begin{aligned} r(\Pi,\delta) &=\int_\Theta\int_{\mathcal X} L\{\theta,\delta(x)\}P_\theta(dx)\,\Pi(d\theta)\\ &=\int_{\mathcal X}\int_\Theta L\{\theta,\delta(x)\}\Pi(d\theta\mid x)\,M(dx)\\ &=\int_{\mathcal X}\rho_x\{\delta(x)\}\,M(dx). \end{aligned}

Minimalitas titik demi titik memberi $\rho_x\{\delta^*(x)\}\leq\rho_x\{\delta(x)\}$ hampir pasti. Integrasikan terhadap $$M$$ . Asumsi pemilih terukur penting: peminimum abstrak yang tidak dapat dipilih sebagai fungsi terukur data belum merupakan aturan keputusan. ∎

Kerugian kuadratik: rataan posterior

Jika $E(\theta^2\mid x)<\infty$ dan tindakan bernilai real, maka di bawah

L(\theta,a)=(\theta-a)^2

peminimumnya unik dan sama dengan $a^*(x)=E(\theta\mid x)$ .

Bukti

Letakkan $m_x=E(\theta\mid x)$ . Identitas kuadrat memberi

\begin{aligned} E\{(\theta-a)^2\mid x\} &=E\{(\theta-m_x)^2\mid x\}+(a-m_x)^2\\ &=\operatorname{Var}(\theta\mid x)+(a-m_x)^2. \end{aligned}

Suku pertama tidak bergantung pada $$a$$ dan suku kedua nonnegatif, dengan kesamaan hanya pada $$a=m_x$$ . Jika momen kedua posterior tak hingga, ekspansi ini tidak membuktikan optimalitas dan risiko kuadratik dapat tak hingga untuk semua tindakan. ∎

Kerugian absolut: himpunan median posterior

Jika $E(|\theta|\mid x)<\infty$ , maka setiap median posterior $$m$$ yang memenuhi

P(\theta\leq m\mid x)\geq\frac12, \qquad P(\theta\geq m\mid x)\geq\frac12

meminimumkan $E(|\theta-a|\mid x)$ . Peminimum tidak harus tunggal.

Bukti

Untuk fungsi distribusi kumulatif (CDF) posterior $$F_x$$ , fungsi

g(a)=\int|\theta-a|\,\Pi(d\theta\mid x)

konveks. Turunan satu sisinya adalah

g'_-(a)=2F_x(a-)-1, \qquad g'_+(a)=2F_x(a)-1.

Syarat minimum fungsi konveks ialah $g'_-(a)\leq0\leq g'_+(a)$ , atau ekuivalen $F_x(a-)\leq1/2\leq F_x(a)$ . Ini sama dengan kedua ketaksamaan median di atas. Jika CDF posterior bernilai tetap $$1/2$$ pada suatu interval, seluruh interval itu dapat meminimumkan kerugian. ∎

Kerugian tipe nol-satu: modus hanya sah pada ruang diskret

Jika $\Theta$ diskret, ruang tindakan sama dengan $\Theta$ , dan

L(\theta,a)=\mathbf1\{\theta\neq a\},

maka kerugian posterior yang diharapkan adalah

\rho_x(a)=1-\Pi(\{a\}\mid x).

Karena itu setiap titik dengan massa posterior terbesar adalah tindakan Bayes; inilah penduga maksimum posteriori (MAP) diskret.

Bukti dan kegagalan kontinu

Karena kerugian bernilai satu tepat di luar kejadian $\theta=a$ ,

E[\mathbf1\{\theta\neq a\}\mid x] =P(\theta\neq a\mid x)=1-P(\theta=a\mid x).

Meminimumkannya sama dengan memaksimumkan massa titik. Namun, jika posterior kontinu dan tidak mempunyai atom, $P(\theta=a\mid x)=0$ bagi setiap $$a$$ . Semua tindakan lalu mempunyai kerugian posterior satu; modus densitas tidak diturunkan dari kerugian nol-satu eksak tersebut.

Salah satu kerugian kontinu yang benar-benar membedakan tindakan adalah

L_\varepsilon(\theta,a)= \mathbf1\{|\theta-a|>\varepsilon\}, \qquad\varepsilon>0.

Tindakan Bayes memaksimumkan massa posterior pada interval $[a-\varepsilon,a+\varepsilon]$ . Jika densitas posterior kontinu, maka untuk $\varepsilon$ kecil massa itu adalah $2\varepsilon\pi(a\mid x)+o(\varepsilon)$ secara lokal, sehingga modus dapat muncul sebagai limit dari pendekatan—bukan sebagai konsekuensi kerugian nol-satu kontinu. Selain itu, tinggi densitas berubah di bawah reparameterisasi; MAP tidak invarian tanpa menetapkan ukuran acuan dan skala tindakan. ∎

Satu penduga dapat dinilai dari dua arah

Pada model beta–binomial Konjugasi beta–binomial dan prediktif beta–binomial, rataan posterior

\delta_\Pi(X)=\frac{a+X}{a+b+n}

adalah aturan Bayes di bawah kerugian kuadratik. Namun ia tetap mempunyai risiko frekuentis pada setiap $$p$$ . Dengan $$s=a+b$$ ,

\begin{aligned} E_p\delta_\Pi&=\frac{a+np}{s+n},\\ \operatorname{Bias}_p(\delta_\Pi)&=\frac{a-sp}{s+n},\\ \operatorname{Var}_p(\delta_\Pi)&=\frac{np(1-p)}{(s+n)^2},\\ R(p,\delta_\Pi)&= \frac{np(1-p)+(a-sp)^2}{(s+n)^2}. \end{aligned}

Jadi label Bayes tidak menghapus fungsi risiko frekuentis dan tidak menjamin bahwa risiko itu lebih kecil pada setiap $$p$$ . Rata-rata fungsi risiko tersebut terhadap prior beta adalah risiko Bayes bagi aturan itu. Identitas varians total memberi bentuk ringkas

r(\Pi,\delta_\Pi) =E\{\operatorname{Var}(p\mid X)\} =\frac{ab}{s(s+1)(s+n)}.

Kesamaan pertama berlaku karena kerugian posterior minimum di bawah kerugian kuadratik adalah varians posterior. Bentuk terakhir mengikuti dari $\operatorname{Var}(p)=ab/[s^2(s+1)]$ dan varians beta–binomial $\operatorname{Var}(X)=nab(s+n)/[s^2(s+1)]$ . Ini adalah pembandingan rata-rata prior, bukan dominasi titik demi titik.

Prinsip fungsi kemungkinan dan pertanyaan frekuentis yang berbeda

Posterior dikondisikan pada data yang benar-benar diamati. Prosedur frekuentis sering dinilai melalui distribusi hasil yang mungkin muncul di bawah pengulangan rencana pengambilan sampel. Dua operasi itu menjawab pertanyaan berbeda. Perbedaan tersebut harus dinyatakan, bukan diselesaikan dengan slogan bahwa salah satu kerangka “memperlakukan parameter dengan benar”.

Invariansi posterior terhadap fungsi kemungkinan proporsional

Pertimbangkan dua eksperimen yang setelah observasi $$x$$ dan $$z$$ menghasilkan fungsi kemungkinan $L_x(\theta)$ dan $L'_z(\theta)$ . Andaikan

L_x(\theta)=c(x,z)L'_z(\theta)

untuk setiap $\theta$ , dengan $0<c(x,z)<\infty$ tidak bergantung pada $\theta$ . Jika prior yang sama dipakai dan kedua posterior proper, maka kedua posterior identik. Akibatnya, untuk kernel masa depan yang sama, prediktif posterior identik; semua tindakan Bayes untuk kerugian yang sama juga identik.

Bukti

Untuk eksperimen pertama,

\Pi(d\theta\mid x) =\frac{L_x(\theta)\Pi(d\theta)} {\int L_x(\vartheta)\Pi(d\vartheta)}.

Substitusi $$L_x=cL'_z$$ mengalikan pembilang dan penyebut dengan konstanta yang sama; konstanta itu saling membatalkan. Karena posterior sama, mengintegralkan kernel masa depan yang sama atau kerugian yang sama terhadap posterior tersebut memberi prediktif dan tindakan yang sama. ∎

Apa yang dikatakan—dan tidak dikatakan—prinsip fungsi kemungkinan

Invariansi posterior terhadap fungsi kemungkinan proporsional adalah bentuk operasional prinsip fungsi kemungkinan kuat bagi analisis Bayesian dengan prior tetap: dua hasil dengan fungsi kemungkinan yang proporsional memberikan bukti yang sama tentang parameter. Ia tidak menyatakan bahwa fungsi kemungkinan adalah distribusi parameter, tidak menghapus kebutuhan memeriksa model pengamatan, dan tidak membuktikan bahwa dua prior berbeda harus memberi posterior sama.

Ukuran frekuentis seperti taraf uji, daya uji, nilai- $$p$$ , dan cakupan menilai aturan di seluruh hasil yang mungkin di bawah rencana pengambilan sampel. Karena himpunan hasil yang mungkin dapat berbeda walaupun fungsi kemungkinan observasi proporsional, ukuran tersebut boleh berbeda tanpa kesalahan aljabar. Sebaliknya, menyisipkan hasil yang tidak teramati ke dalam posterior setelah fungsi kemungkinan dan prior ditetapkan akan melanggar pembaruan pada Posterior dan prediktif berasal dari hukum bersama yang sama. Kedua kerangka harus diaudit terhadap besaran sasaran (estimand) dan jaminan yang memang diklaim.

Aturan penghentian dapat diabaikan dalam pembentukan posterior hanya jika kontribusinya terhadap probabilitas data yang diamati tidak bergantung pada $\theta$ setelah pengondisian mencakup seluruh informasi yang memicu penghentian. Penghentian, seleksi, nonrespons, atau mekanisme pencatatan yang bergantung pada nilai tak teramati dapat menambah faktor yang bergantung pada $\theta$ dan harus dimodelkan. Bahkan ketika posterior akhir tidak berubah, biaya pengumpulan data dan risiko sebelum observasi dapat bergantung pada desain.

Kredibilitas posterior bukan otomatis cakupan

Jika $$C(X)$$ memenuhi

\Pi\{\theta\in C(x)\mid x\}=1-\alpha,

maka pernyataannya bersyarat pada data dan prior. Cakupan frekuentis adalah

P_\theta\{\theta\in C(X)\},

sebuah fungsi dari parameter tetap di bawah pengulangan pengambilan sampel. Rata-rata cakupan terhadap prior memang memenuhi

\int P_\theta\{\theta\in C(X)\}\Pi(d\theta) =E_M[\Pi\{\theta\in C(X)\mid X\}]=1-\alpha

jika setiap himpunan mempunyai massa posterior tepat $1-\alpha$ . Namun identitas rata-rata itu tidak memaksa cakupan sama dengan $1-\alpha$ untuk setiap $\theta$ . Kalibrasi titik demi titik adalah syarat tambahan, bukan sinonim kredibilitas posterior.

Prior tidak proper: alat formal dengan kewajiban pembuktian tambahan

Prior proper memberi hukum bersama, prediktif prior, dan risiko Bayes secara langsung. Kadang-kadang digunakan ukuran prior dengan massa tak hingga untuk mewakili bentuk “datar”. Hasilnya dapat menghasilkan posterior proper, tetapi status matematisnya lebih sempit dan tidak boleh diam-diam diperlakukan sebagai distribusi peluang lengkap.

Syarat minimal posterior dari ukuran prior tidak proper

Misalkan $\widetilde\Pi$ adalah ukuran sigma-hingga pada $\Theta$ dengan $\widetilde\Pi(\Theta)=\infty$ . Ia bukan prior probabilitas. Untuk data $$x$$ , definisikan

\widetilde m(x)=\int_\Theta p_\theta(x)\,\widetilde\Pi(d\theta).

Posterior formal

\widetilde\Pi(d\theta\mid x) =\frac{p_\theta(x)\widetilde\Pi(d\theta)}{\widetilde m(x)}

merupakan distribusi peluang hanya jika $0<\widetilde m(x)<\infty$ . Kondisi itu harus dibuktikan di seluruh dukungan data yang hendak dianalisis, bukan hanya pada satu kumpulan data yang nyaman.

Mengalikan $\widetilde\Pi$ dengan konstanta positif arbitrer tidak mengubah posterior dalam satu model karena konstanta itu saling menghapus. Namun tidak ada distribusi prediktif prior yang ternormalisasi dan tidak ada integral risiko terhadap prior probabilitas. Karena itu istilah “Bayes tergeneralisasi” atau “Bayes formal” lebih jujur daripada mengklaim seluruh konstruksi Kerangka terdominasi dan syarat posterior.

Prior datar untuk rataan normal: posterior proper, risiko Bayes tidak ada

Untuk

X_1,\ldots,X_n\mid\mu\overset{\mathrm{iid}}\sim N(\mu,\sigma^2), \qquad \sigma^2>0\ \text{diketahui},

ambil ukuran Lebesgue $\widetilde\pi(\mu)\propto1$ pada $\mathbb R$ . Dari dekomposisi jumlah kuadrat,

\sum_{i=1}^n(x_i-\mu)^2 =\sum_{i=1}^n(x_i-\bar x)^2+n(\mu-\bar x)^2.

Untuk $n\geq1$ , integral fungsi kemungkinan terhadap $\mu$ mengandung

\int_{-\infty}^{\infty} \exp\left\{-\frac{n}{2\sigma^2}(\mu-\bar x)^2\right\}d\mu =\sqrt{\frac{2\pi\sigma^2}{n}}<\infty.

Karena itu posterior formal proper dan

\mu\mid x\sim N\left(\bar x,\frac{\sigma^2}{n}\right).

Di bawah kerugian kuadratik, $\bar X$ adalah aturan Bayes tergeneralisasi. Akan tetapi ukuran datar tidak dapat dinormalisasi pada $\mathbb R$ , sehingga tidak ada distribusi prediktif prior yang terlebih dahulu memilih $\mu$ dari distribusi “seragam di seluruh garis real”, dan tidak ada risiko Bayes proper yang dapat dihitung dari prior itu. Admisibilitas $\bar X$ —bila hendak diklaim—memerlukan teorema tersendiri, bukan sekadar label Bayes tergeneralisasi.

Prior Haldane: kegagalan pada data batas

Untuk $X\mid p\sim\operatorname{Binomial}(n,p)$ , pertimbangkan ukuran prior

\widetilde\pi(p)\propto p^{-1}(1-p)^{-1}, \qquad 0<p<1.

Ukuran ini tidak proper pada kedua ujung. Setelah $$X=x$$ , kernel posterior ialah

p^{x-1}(1-p)^{n-x-1},

yang akan menjadi densitas $\operatorname{Beta}(x,n-x)$ hanya jika

x>0\quad\text{dan}\quad n-x>0.

Jika $$x=0$$ , integral divergen di $$p=0$$ ; jika $$x=n$$ , integral divergen di $$p=1$$ . Jadi satu prior dapat menghasilkan posterior proper ketika $$0<x<n$$ , tetapi gagal tepat pada data tanpa sukses atau data dengan semua sukses. Kedua hasil batas itu mempunyai probabilitas positif di bawah banyak nilai $$p$$ . Pemeriksaan hanya pada $$0<x<n$$ tidak membuat prosedur terdefinisi pada seluruh ruang sampel.

Sebagai pembanding, prior Jeffreys $\operatorname{Beta}(1/2,1/2)$ proper karena $B(1/2,1/2)<\infty$ , dan posterior $\operatorname{Beta}(x+1/2,n-x+1/2)$ proper untuk setiap $x=0,\ldots,n$ . Pemilihan Jeffreys mempunyai justifikasi invariansi tertentu, tetapi “proper” tidak berarti netral, objektif universal, atau menjamin kalibrasi frekuentis titik demi titik.

Konstanta prior tidak proper tidak aman untuk pembandingan model

Dalam satu model, konstanta pengali prior tidak proper saling menghapus dalam posterior parameter. Untuk dua model $$M_1$$ dan $$M_2$$ , bukti marginal formal berbentuk

\widetilde m_j(x) =c_j\int p_j(x\mid\theta_j)\widetilde\pi_j(\theta_j)\,d\theta_j,

dengan konstanta arbitrer $$c_j$$ . Faktor Bayes $\widetilde m_1(x)/\widetilde m_2(x)$ lalu berubah menurut faktor $$c_1/c_2$$ dan tidak terdefinisi secara intrinsik. Prior tidak proper terpisah tidak boleh dipakai untuk memilih model melalui bukti marginal kecuali metode tambahan benar-benar menghilangkan konstanta dengan konstruksi yang dibuktikan. Posterior parameter yang proper di dalam setiap model tidak menyelesaikan masalah ini.

Aturan Bayes dan admisibilitas: hubungan yang terbatas

Admisibilitas membandingkan seluruh fungsi risiko pada setiap parameter seperti didefinisikan di Dominasi dan admisibilitas. Optimalitas Bayes meminimumkan rata-rata fungsi risiko terhadap satu prior. Keduanya berhubungan, tetapi tidak identik.

Aturan Bayes menolak dominasi pada himpunan bermassa prior positif

Misalkan $\Pi$ proper, $\delta_\Pi$ adalah aturan Bayes dengan risiko Bayes hingga, dan $\delta'$ adalah pesaing dengan

R(\theta,\delta')\leq R(\theta,\delta_\Pi) \quad\text{untuk setiap }\theta.

Jika pertidaksamaan ketat pada himpunan terukur $$A$$ dengan $\Pi(A)>0$ dan selisih risiko terintegralkan, maka terjadi kontradiksi. Jadi aturan Bayes tidak dapat didominasi melalui perbaikan ketat pada himpunan parameter bermassa prior positif.

Bukti

Definisikan

d(\theta)=R(\theta,\delta_\Pi)-R(\theta,\delta')\geq0.

Jika $$d>0$$ pada himpunan bermassa prior positif, maka $\int d(\theta)\Pi(d\theta)>0$ . Akibatnya

r(\Pi,\delta') =r(\Pi,\delta_\Pi)-\int d(\theta)\Pi(d\theta) <r(\Pi,\delta_\Pi),

bertentangan dengan sifat Bayes $\delta_\Pi$ . ∎

Syarat cukup sederhana untuk admisibilitas

Andaikan $\Theta$ adalah ruang topologis, prior proper $\Pi$ memberi massa positif pada setiap himpunan terbuka tak kosong, $\delta_\Pi$ adalah aturan Bayes dengan risiko Bayes hingga, dan untuk setiap pesaing $\delta'$ selisih

\theta\longmapsto R(\theta,\delta_\Pi)-R(\theta,\delta')

kontinu. Maka $\delta_\Pi$ bersifat admisibel.

Bukti

Andaikan sebaliknya $\delta'$ mendominasi $\delta_\Pi$ . Selisih $$d$$ di atas nonnegatif di seluruh $\Theta$ dan positif pada sedikitnya satu $\theta_0$ . Kontinuitas memberi lingkungan terbuka $$U$$ dari $\theta_0$ dan konstanta $\varepsilon>0$ sehingga $d(\theta)>\varepsilon$ pada $$U$$ setelah lingkungan diperkecil. Dukungan penuh prior memberi $\Pi(U)>0$ . Ini melanggar Aturan Bayes menolak dominasi pada himpunan bermassa prior positif. ∎

Mengapa label Bayes saja belum cukup

Ambil $\Theta=\{0,1\}$ tanpa data dan dua tindakan $$a,b$$ . Tetapkan kerugian

Tabel 1 — Mengapa label Bayes saja belum cukup
parameter	$L(\theta,a)$	$L(\theta,b)$
$$0$$	$$0$$	$$0$$
$$1$$	$$1$$	$$0$$

Jika prior menaruh seluruh massa pada $\theta=0$ , kedua tindakan mempunyai risiko Bayes nol, sehingga $$a$$ adalah aturan Bayes. Namun $$b$$ mempunyai kerugian yang sama pada $$0$$ dan lebih kecil pada $$1$$ ; jadi $$b$$ mendominasi $$a$$ dan $$a$$ tidak admisibel. Kegagalan terjadi karena prior mengabaikan titik tempat perbaikan ketat berlangsung dan peminimum Bayes tidak tunggal.

Contoh ini tidak mengatakan bahwa semua aturan Bayes tak admisibel. Ia menunjukkan mengapa perlu syarat seperti dukungan penuh dan kontinuitas pada Syarat cukup sederhana untuk admisibilitas, atau teorema lain yang sesuai dengan masalah. Aturan Bayes tergeneralisasi dari prior tidak proper menghadapi kesenjangan tambahan: bahkan risiko terintegrasi terhadap distribusi prior proper tidak tersedia.

Kehati-hatian terhadap klaim admisibilitas

Bayes pada satu prior bukan dominasi titik demi titik. Contoh Satu penduga dapat dinilai dari dua arah menampilkan risiko frekuentis yang tetap bergantung pada parameter.
Proper saja belum selalu cukup. Prior dapat tidak mempunyai dukungan penuh, risiko dapat diskontinu, atau aturan Bayes dapat tidak unik.
Peminimum posterior harus menjadi aturan terukur. Minimalisasi formal pada setiap $$x$$ tidak cukup jika tidak ada pemilih terukur.
Bayes tergeneralisasi bukan sertifikat admisibilitas. Posterior proper dari prior tidak proper hanya menyelesaikan masalah normalisasi posterior.
Admisibilitas tidak menentukan satu aturan yang optimal secara praktis. Ia hanya meniadakan dominasi seragam; dua aturan admisibel masih dapat mempunyai risiko yang sangat berbeda di wilayah parameter yang relevan.

Audit sebuah analisis Bayesian

Nyatakan ruang parameter, model pengambilan sampel, ukuran pendominasi, dan dukungan. Jangan menyebut fungsi kemungkinan sebagai distribusi parameter.
Nyatakan prior beserta apakah ia proper. Jika tidak proper, tulis ukuran acuan dan buktikan $0<\widetilde m(x)<\infty$ pada seluruh kasus batas data yang dianalisis.
Turunkan bukti marginal dan posterior dari hasil kali yang benar; jangan membuang faktor yang bergantung pada parameter.
Untuk data berurutan, buktikan faktorisasi fungsi kemungkinan bersyarat sebelum memakai pembaruan satu per satu.
Untuk prediksi, integralkan hukum observasi masa depan terhadap posterior; jangan menghilangkan ketidakpastian parameter dengan substitusi langsung tanpa label.
Nyatakan ruang tindakan dan kerugian. Periksa eksistensi momen dan pemilih terukur sebelum menyebut rataan, median, atau modus sebagai tindakan Bayes.
Hitung risiko frekuentis sebagai fungsi parameter dan risiko Bayes sebagai rata-rata prior. Jangan mengubah rata-rata menjadi klaim dominasi seragam.
Jika memakai prinsip fungsi kemungkinan, pastikan faktor proporsional tidak bergantung pada parameter dan mekanisme penghentian/seleksi telah dimodelkan.
Jika mengklaim admisibilitas, periksa dukungan prior, kontinuitas risiko, ketunggalan yang relevan, dan kelas pesaing; label Bayes saja tidak cukup.
Untuk pembandingan model, jangan memakai konstanta arbitrer dari prior tidak proper sebagai bukti marginal.

Ringkasan

Prior proper dan model pengambilan sampel membentuk satu hukum bersama. Posterior, prediktif prior, dan prediktif posterior merupakan distribusi marginal atau bersyarat dari hukum yang sama.
Beta–binomial dan normal–normal memperlihatkan konjugasi melalui normalisasi eksplisit; distribusi prediktif tetap memuat ketidakpastian parameter.
Tindakan Bayes meminimumkan kerugian posterior yang diharapkan. Rataan, median, dan modus muncul dari kerugian yang berbeda serta memerlukan syarat berbeda.
Risiko frekuentis adalah fungsi parameter; risiko Bayes adalah rata-ratanya terhadap prior. Optimalitas rata-rata tidak otomatis menjadi dominasi pada setiap parameter.
Posterior dengan prior tetap mematuhi invariansi fungsi kemungkinan proporsional, sedangkan jaminan frekuentis dapat bergantung pada rencana pengambilan sampel karena menjawab pertanyaan pengulangan yang berbeda.
Prior tidak proper boleh menghasilkan posterior proper hanya setelah konstanta normalisasi dibuktikan hingga dan positif. Ia tidak memberi prediktif prior, risiko Bayes proper, atau bukti marginal lintas model secara otomatis.
Aturan Bayes menolak dominasi pada himpunan bermassa prior positif. Admisibilitas penuh memerlukan syarat tambahan yang meniadakan kemungkinan perbaikan pada himpunan bermassa prior nol.

Materi ini adalah prosa orisinal CC BY-SA 4.0. Ia memperluas, tetapi tidak menyalin atau menyamarkan, pengantar Bayesian Penn State. Provenans produksi: OpenAI Codex gpt-5.6-sol, Ultra.

parameter	$L(\theta,a)$	$L(\theta,b)$
$\(0\)$	$\(0\)$	$\(0\)$
$\(1\)$	$\(1\)$	$\(0\)$