Seperti biasa, titik awal kita adalah suatu eksperimen acak dengan ruang sampel dan ukuran probabilitas \(\P\) yang mendasarinya. Dalam model statistika dasar, kita mempunyai variabel acak teramati \(\bs{X}\) yang nilainya berada dalam suatu himpunan \(S\). Secara umum, struktur \(\bs{X}\) dapat cukup rumit. Misalnya, jika eksperimennya mengambil sampel \(n\) objek dari suatu populasi dan mencatat berbagai pengukuran yang diminati, maka \[ \bs{X} = (X_1, X_2, \ldots, X_n) \] dengan \(X_i\) sebagai vektor pengukuran bagi objek ke-\(i\).
Andaikan pula bahwa distribusi \(\bs{X}\) bergantung pada parameter \(\theta\) yang nilainya berada dalam himpunan \(T\). Parameter itu juga dapat bernilai vektor; dalam hal ini \(T \subseteq \R^k\) untuk suatu \(k \in \N_+\), dan parameternya berbentuk \(\bs{\theta} = (\theta_1, \theta_2, \ldots, \theta_k)\).
Ingat bahwa dalam analisis Bayes, yang dinamai menurut Thomas Bayes, parameter tak diketahui \(\theta\) dimodelkan dengan variabel acak \(\Theta\) yang nilainya berada dalam \(T\). Berikut tinjauan ringkasnya:
Formulasi Bayes
Distribusi prior sering bersifat subjektif dan dipilih untuk menyatakan pengetahuan yang kita miliki mengenai parameter. Dalam beberapa kasus, distribusi posterior dapat dikenali dari bentuk fungsional \(\theta \mapsto h(\theta) f(\bs{x} \mid \theta)\) tanpa perlu benar-benar menghitung konstanta normalisasi \(f(\bs{x})\), sehingga beban komputasi berkurang secara berarti. Hal ini khususnya sering terjadi ketika kita mempunyai keluarga parametrik konjugat bagi distribusi \(\Theta\). Artinya, jika distribusi prior \(\Theta\) termasuk dalam keluarga tersebut, distribusi posterior \(\Theta\) dengan syarat \(\bs{X} = \bs{x} \in S\) juga termasuk dalam keluarga yang sama.
Kasus khusus terpenting terjadi ketika kita mempunyai variabel dasar \(X\) yang nilainya berada dalam himpunan \(R\), dan, dengan syarat \(\Theta = \theta \in T\), vektor data \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari \(X\). Artinya, dengan syarat \(\Theta = \theta \in T\), \(\bs{X}\) merupakan barisan variabel yang saling bebas dan berdistribusi identik, masing-masing dengan distribusi yang sama seperti \(X\) dengan syarat \(\Theta = \theta\). Jadi, \(S = R^n\), dan jika \(X\) mempunyai fungsi kepadatan probabilitas bersyarat \(g(x \mid \theta)\), maka \[f(\bs{x} \mid \theta) = g(x_1 \mid \theta) g(x_2 \mid \theta) \cdots g(x_n \mid \theta), \quad \bs{x} = (x_1, x_2, \ldots, x_n) \in S\]
Misalkan kini \(C(\bs{X})\) merupakan himpunan bagian ruang parameter \(T\) yang bergantung pada variabel data \(\bs{X}\), tetapi tidak pada parameter tak diketahui mana pun.
Salah satu definisi bagi himpunan kredibel Bayes bertingkat sekurang-kurangnya \(1 - \alpha\) mensyaratkan bahwa \[ \P\left[\Theta \in C(\bs{x}) \mid \bs{X} = \bs{x}\right] \ge 1 - \alpha \]
Dalam definisi , hanya \(\Theta\) yang acak, sehingga peluang di atas dihitung menggunakan fungsi kepadatan probabilitas posterior \(\theta \mapsto h(\theta \mid \bs{x})\). Jika distribusi posterior nonatomik dan batas himpunan dipilih secara tepat, ketaksamaan tersebut dapat menjadi kesamaan.
Definisi alternatif mensyaratkan bahwa \[ \P\left[\Theta \in C(\bs{X})\right] \ge 1 - \alpha \]
Dalam definisi , \(\bs{X}\) dan \(\Theta\) keduanya acak, sehingga peluang di atas dihitung menggunakan fungsi kepadatan probabilitas gabungan \((\bs{x}, \theta) \mapsto h(\theta) f(\bs{x} \mid \theta)\). Terlepas dari perdebatan filosofisnya, definisi jelas lebih mudah dari sudut pandang komputasi dan karena itu paling lazim digunakan. Bentuk “sekurang-kurangnya” juga mencakup distribusi atomik, yang mungkin tidak memiliki himpunan dengan massa tepat sebesar tingkat nominal.
Mari kita bandingkan pendekatan klasik dan Bayes. Dalam pendekatan klasik, parameter \(\theta\) bersifat deterministik tetapi tak diketahui. Sebelum data dikumpulkan, himpunan kepercayaan \(C(\bs{X})\), yang acak karena \(\bs{X}\), memuat parameter dengan peluang sekurang-kurangnya \(1 - \alpha\) pada setiap nilai parameter; kesamaan berlaku bagi prosedur dengan cakupan eksak. Setelah data dikumpulkan, himpunan kepercayaan terhitung \(C(\bs{x})\) memuat atau tidak memuat \(\theta\), dan biasanya kita tidak akan pernah mengetahui yang mana. Sebaliknya, dalam himpunan kredibel Bayes, parameter acak \(\Theta\) berada dalam himpunan terhitung yang deterministik \(C(\bs{x})\) dengan peluang posterior sekurang-kurangnya \(1 - \alpha\).
Andaikan \(\Theta\) bernilai riil, sehingga \(T \subseteq \R\). Untuk \(r \in (0, 1)\), suatu interval kredibel Bayes bertingkat sekurang-kurangnya \(1 - \alpha\) adalah \(\left[U_{(1 - r) \alpha}(\bs{x}), U_{1 - r \alpha}(\bs{x})\right]\), dengan \(U_p(\bs{x})\) sebagai kuantil berorde \(p\) dari distribusi posterior \(\Theta\) dengan syarat \(\bs{X} = \bs{x}\). Bagi posterior kontinu, interval ini mempunyai massa posterior tepat sebesar tingkat nominal; bagi posterior atomik, peluangnya dapat lebih besar.
Seperti pada bagian-bagian sebelumnya, \(r\) adalah bagian dari \(\alpha\) pada ekor kanan distribusi posterior, sedangkan \(1 - r\) adalah bagian dari \(\alpha\) pada ekor kiri. Kasus \(r = \frac{1}{2}\) memberikan interval kredibel dua sisi yang berekor sama; interval itu simetris hanya jika distribusi posteriornya simetris. Membiarkan \(r \to 0\) memberikan batas bawah kredibel, sedangkan membiarkan \(r \to 1\) memberikan batas atas kredibel.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi Bernoulli dengan parameter keberhasilan tak diketahui \(p \in (0, 1)\). Dalam istilah keandalan yang lazim, \(X_i = 1\) berarti berhasil pada percobaan ke-\(i\), sedangkan \(X_i = 0\) berarti gagal pada percobaan ke-\(i\). Distribusi ini dinamai menurut Jacob Bernoulli. Ingat bahwa distribusi Bernoulli mempunyai fungsi kepadatan probabilitas berikut, dengan syarat \(p\): \[ g(x \mid p) = p^x (1 - p)^{1-x}, \quad x \in \{0, 1\} \] Perhatikan bahwa banyaknya keberhasilan dalam \(n\) percobaan adalah \(Y = \sum_{i=1}^n X_i\). Dengan syarat \(p\), variabel acak \(Y\) mempunyai distribusi binomial dengan parameter \(n\) dan \(p\).
Dalam pembahasan sebelumnya mengenai pendugaan Bayes, kita memodelkan parameter \(p\) dengan variabel acak \(P\) yang mempunyai distribusi beta. Keluarga distribusi ini konjugat bagi \(P\). Secara khusus, jika distribusi prior \(P\) adalah beta dengan parameter bentuk kiri \(a \gt 0\) dan parameter bentuk kanan \(b \gt 0\), maka distribusi posterior \(P\) dengan syarat \(\bs{X}\) adalah beta dengan parameter bentuk kiri \(a + Y\) dan parameter bentuk kanan \(b + (n - Y)\); parameter kiri bertambah sebesar banyaknya keberhasilan, sedangkan parameter kanan bertambah sebesar banyaknya kegagalan. Jadi, interval kredibel Bayes bertingkat \(1 - \alpha\) bagi \(p\) adalah \(\left[U_{\alpha/2}(y), U_{1-\alpha/2}(y)\right]\), dengan \(U_r(y)\) sebagai kuantil berorde \(r\) dari distribusi beta posterior. Dalam kasus khusus \(a = b = 1\), distribusi prior seragam pada \((0, 1)\). Prior datar ini merupakan pilihan sederhana dalam parameterisasi tersebut, tetapi tidak secara harfiah menyatakan ketiadaan pengetahuan tentang \(p\) dan tidak invarian terhadap perubahan parameter.
Andaikan kita mempunyai sebuah koin dengan probabilitas tak diketahui \(p\) untuk menghasilkan gambar kepala, dan kita memberi \(p\) prior seragam sebagai pilihan datar sederhana bagi \(p\). Koin itu kemudian dilempar 50 kali dan menghasilkan 30 gambar kepala.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi Poisson dengan parameter \(\lambda \in (0, \infty)\). Ingat bahwa distribusi Poisson sering digunakan untuk memodelkan banyaknya titik acak
dalam suatu daerah waktu atau ruang, khususnya dalam konteks proses Poisson. Distribusi ini dinamai menurut Simeon Poisson dan, dengan syarat \(\lambda\), mempunyai fungsi kepadatan probabilitas
\[ g(x \mid \lambda) = e^{-\lambda} \frac{\lambda^x}{x!}, \quad x \in \N \]
Seperti biasa, jumlah nilai sampel dinyatakan dengan \(Y = \sum_{i=1}^n X_i\). Dengan syarat \(\lambda\), variabel acak \(Y\) juga mempunyai distribusi Poisson, tetapi dengan parameter \(n \lambda\).
Dalam pembahasan sebelumnya mengenai pendugaan Bayes, kita memodelkan \(\lambda\) dengan variabel acak \(\Lambda\) yang mempunyai distribusi gamma. Keluarga distribusi ini konjugat bagi \(\Lambda\). Secara khusus, jika distribusi prior \(\Lambda\) adalah gamma dengan parameter bentuk \(k \gt 0\) dan parameter laju \(r \gt 0\), sehingga parameter skalanya \(1 / r\), maka distribusi posterior \(\Lambda\) dengan syarat \(\bs{X}\) adalah gamma dengan parameter bentuk \(k + Y\) dan parameter laju \(r + n\). Jadi, interval kredibel Bayes bertingkat \(1 - \alpha\) bagi \(\lambda\) adalah \(\left[U_{\alpha/2}(y), U_{1-\alpha/2}(y)\right]\), dengan \(U_p(y)\) sebagai kuantil berorde \(p\) dari distribusi gamma posterior.
Tinjau data emisi partikel alfa, yang kita yakini berasal dari distribusi Poisson dengan parameter tak diketahui \(\lambda\). Andaikan bahwa, sebelum data diamati, kita memperkirakan \(\lambda\) sekitar 5 sehingga kita memberi \(\lambda\) distribusi prior gamma dengan parameter bentuk \(5\) dan parameter laju 1. Jadi, rata-ratanya 5 dan simpangan bakunya \(\sqrt{5} = 2.236\).
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi normal dengan rata-rata tak diketahui \(\mu \in \R\) dan varians diketahui \(\sigma^2 \in (0, \infty)\). Distribusi normal memegang peran yang sangat penting dalam statistika, antara lain karena teorema limit pusat. Distribusi ini banyak digunakan untuk memodelkan besaran fisik yang dipengaruhi banyak galat acak kecil. Ingat bahwa fungsi kepadatan probabilitas normal, dengan syarat \(\mu\), adalah \[ g(x \mid \mu) = \frac{1}{\sqrt{2 \pi} \sigma} \exp\left[-\frac{1}{2}\left(\frac{x - \mu}{\sigma}\right)^2 \right], \quad x \in \R \] Jumlah nilai sampel dinyatakan dengan \(Y = \sum_{i=1}^n X_i\). Ingat bahwa, dengan syarat \(\mu\), \(Y\) juga mempunyai distribusi normal, tetapi dengan rata-rata \(n \mu\) dan varians \(n \sigma^2\).
Dalam pembahasan sebelumnya mengenai pendugaan Bayes, kita memodelkan \(\mu\) dengan variabel acak \(\Psi\) yang juga mempunyai distribusi normal. Keluarga ini konjugat bagi \(\Psi\) ketika \(\sigma\) diketahui. Secara khusus, jika distribusi prior \(\Psi\) adalah normal dengan rata-rata \(a \in \R\) dan simpangan baku \(b \in (0, \infty)\), maka distribusi posterior \(\Psi\) dengan syarat \(\bs{X}\) juga normal, dengan \[\E(\Psi \mid \bs{X}) = \frac{Y b^2 + a \sigma^2}{\sigma^2 + n b^2}, \quad \var(\Psi \mid \bs{X}) = \frac{\sigma^2 b^2}{\sigma^2 + n b^2}\] Jadi, interval kredibel Bayes bertingkat \(1 - \alpha\) bagi \(\mu\) adalah \(\left[U_{\alpha/2}(y), U_{1-\alpha/2}(y)\right]\), dengan \(U_p(y)\) sebagai kuantil berorde \(p\) dari distribusi normal posterior. Kasus khusus yang menarik terjadi ketika \(b = \sigma\), sehingga simpangan baku distribusi prior \(\mu\) sama dengan simpangan baku distribusi asal sampel. Dalam kasus ini, rata-rata posterior adalah \((Y + a) \big/ (n + 1)\), sedangkan varians posterior adalah \(\sigma^2 \big/ (n + 1)\).
Panjang suatu komponen hasil pemesinan seharusnya 10 sentimeter, tetapi akibat ketidaksempurnaan proses produksi, panjang sebenarnya merupakan variabel acak berdistribusi normal dengan rata-rata \(\mu\) dan varians \(\sigma^2\). Varians tersebut disebabkan faktor bawaan proses yang cukup stabil sepanjang waktu. Dari data historis diketahui bahwa \(\sigma = 0.3\). Sebaliknya, \(\mu\) dapat diatur dengan menyesuaikan berbagai parameter proses sehingga cukup sering berubah menjadi nilai tak diketahui. Karena itu, berikan \(\mu\) distribusi prior normal dengan rata-rata 10 dan simpangan baku 0.3. Sampel 100 komponen mempunyai rata-rata 10.2.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi beta dengan parameter bentuk kiri tak diketahui \(a \in (0, \infty)\) dan parameter bentuk kanan \(b = 1\). Distribusi beta banyak digunakan untuk memodelkan proporsi dan probabilitas acak serta variabel lain yang nilainya berada dalam interval terbatas. Ingat bahwa fungsi kepadatan probabilitasnya, dengan syarat \(a\), adalah \[ g(x \mid a) = a x^{a-1}, \quad x \in (0, 1) \] Hasil kali nilai sampel dinyatakan dengan \(W = X_1 X_2 \cdots X_n\).
Dalam pembahasan sebelumnya mengenai pendugaan Bayes, kita memodelkan \(a\) dengan variabel acak \(A\) yang mempunyai distribusi gamma. Keluarga distribusi ini konjugat bagi \(a\). Secara khusus, jika distribusi prior \(A\) adalah gamma dengan parameter bentuk \(k \gt 0\) dan parameter laju \(r \gt 0\), maka distribusi posterior \(A\) dengan syarat \(\bs{X}\) juga gamma, dengan parameter bentuk \(k + n\) dan parameter laju \(r - \ln(W)\). Jadi, interval kredibel Bayes bertingkat \(1 - \alpha\) bagi \(A\) adalah \(\left[U_{\alpha/2}(w), U_{1-\alpha/2}(w)\right]\), dengan \(U_p(w)\) sebagai kuantil berorde \(p\) dari distribusi gamma posterior. Dalam kasus khusus \(k = 1\), distribusi prior \(a\) adalah eksponensial dengan parameter laju \(r\).
Andaikan hambatan suatu komponen listrik, dalam ohm, mempunyai distribusi beta dengan parameter bentuk kiri tak diketahui \(a\) dan parameter bentuk kanan \(b = 1\). Kita memperkirakan \(a\) sekitar 10 sehingga kita memberi \(a\) distribusi prior gamma dengan parameter bentuk 10 dan parameter laju 1. Kita mengambil sampel 20 komponen dan memperoleh data berikut. Nilai dicatat hingga dua tempat desimal; karena itu, 1.00 menyatakan pengukuran yang dibulatkan, bukan pengamatan tepat pada titik ujung model kontinu. \[0.98, 0.93, 0.99, 0.89, 0.79, 0.99, 0.92, 0.97, 0.88, 0.97, 0.86, 0.84, 0.96, 0.97, 0.92, 0.90, 0.98, 0.96, 0.96, 1.00\]
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi Pareto dengan parameter bentuk \(a \in (0, \infty)\) dan parameter skala \(b = 1\). Distribusi Pareto digunakan untuk memodelkan variabel finansial tertentu dan variabel lain yang berdistribusi berekor berat, serta dinamai menurut Vilfredo Pareto. Ingat bahwa fungsi kepadatan probabilitasnya, dengan syarat \(a\), adalah \[ g(x \mid a) = \frac{a}{x^{a+1}}, \quad x \in [1, \infty) \] Hasil kali nilai sampel dinyatakan dengan \(W = X_1 X_2 \cdots X_n\).
Dalam pembahasan sebelumnya mengenai pendugaan Bayes, kita memodelkan \(a\) dengan variabel acak \(A\) yang mempunyai distribusi gamma. Keluarga distribusi ini konjugat bagi \(A\). Secara khusus, jika distribusi prior \(A\) adalah gamma dengan parameter bentuk \(k \gt 0\) dan parameter laju \(r \gt 0\), maka distribusi posterior \(A\) dengan syarat \(\bs{X}\) juga gamma, dengan parameter bentuk \(k + n\) dan parameter laju \(r + \ln(W)\). Jadi, interval kredibel Bayes bertingkat \(1 - \alpha\) bagi \(a\) adalah \(\left[U_{\alpha/2}(w), U_{1-\alpha/2}(w)\right]\), dengan \(U_p(w)\) sebagai kuantil berorde \(p\) dari distribusi gamma posterior. Dalam kasus khusus \(k = 1\), distribusi prior \(a\) adalah eksponensial dengan parameter laju \(r\).
Andaikan suatu variabel finansial mempunyai distribusi Pareto dengan parameter bentuk tak diketahui \(a\) dan parameter skala \(b = 1\). Kita memperkirakan \(a\) sekitar 4 sehingga kita memberi \(a\) distribusi prior gamma dengan parameter bentuk 4 dan parameter laju 1. Sampel acak berukuran 20 dari variabel tersebut menghasilkan data \[1.09, 1.13, 2.00, 1.43, 1.26, 1.00, 1.36, 1.03, 1.46, 1.18, 2.16, 1.16, 1.22, 1.06, 1.28, 1.23, 1.11, 1.03, 1.04, 1.05\]