11 Metode Bayesian
Ikhtisar
Hak komponen: gambar resmi ini dibekukan byte demi byte dari laman sumber dan dipertahankan di bawah pemberitahuan CC BY-NC 4.0 tingkat laman; tidak ditemukan pengecualian khusus aset.
Semua metode yang sejauh ini telah kita kembangkan dan gunakan dalam mata kuliah ini dikembangkan dengan pendekatan yang oleh para statistisi disebut “frekuentis”. Pada bagian ini, kita meninjau kembali sebagian metode tersebut menggunakan pendekatan yang oleh para statistisi disebut “Bayesian”. Secara khusus, kita akan:
- mempelajari bagaimana seorang Bayesian menetapkan peluang bagi kejadian tertentu
- mempelajari bagaimana seorang Bayesian menangani pendugaan suatu parameter
- mempelajari bagaimana seorang Bayesian memperbarui informasi prior yang dimilikinya tentang nilai suatu parameter
Jika Anda penasaran, gambar di sebelah kanan menampilkan Pendeta Thomas Bayes, yang namanya diabadikan dengan tepat pada bidang statistika Bayesian.
Kita memerlukan setidaknya satu semester penuh, mungkin bahkan lebih, untuk membahas statistika Bayesian secara layak. Dalam mata kuliah ini, kita paling jauh hanya dapat mencicipinya dan melihat sepintas dunia dari sudut pandang seorang Bayesian. Pertama, kita akan mengkaji contoh yang memperlihatkan cara seorang Bayesian menetapkan peluang (subjektif) pada suatu kejadian berdasarkan informasi yang tersedia. Selanjutnya, kita akan menyelidiki cara seorang Bayesian menduga suatu parameter. Terakhir, kita akan membahas cara seorang Bayesian memperbarui informasi prior yang dimilikinya tentang nilai suatu parameter.
Tujuan
Setelah menyelesaikan pelajaran ini, Anda diharapkan mampu:
- Menentukan secara analitis distribusi posterior Bayesian bagi model berparameter tunggal dengan distribusi prior yang diberikan, baik ketika nilai data diketahui maupun ketika data dipandang sebagai peubah acak yang tidak teramati; dan
- Menghitung selang kredibel untuk parameter tak diketahui, θ.
11.1 Peluang Subjektif
Mari kita telaah sebuah contoh yang memperlihatkan cara seorang Bayesian menggunakan data yang tersedia untuk menetapkan peluang bagi kejadian-kejadian tertentu.
Contoh 11.1 Besaran taruhan, dalam dolar, yang dipasang pada kuda A, B, C, dan D untuk memenangi sebuah pacuan lokal adalah sebagai berikut:
| Kuda | Jumlah taruhan |
|---|---|
| A | 10,000 |
| B | 30,000 |
| C | 22,000 |
| D | 38,000 |
| Total | 100,000 |
Tentukan pembayaran kemenangan untuk taruhan $2 pada masing-masing dari keempat kuda jika pengelola arena pacuan ingin mengambil 17%, atau $17,000, dari jumlah yang terkumpul.
Penyelesaian
Hal pertama yang perlu kita lakukan adalah menetapkan peluang subjektif, setiap kuda untuk menang. Kita dapat menetapkan peluang tersebut berdasarkan “firasat” sendiri. Wah… saya rasa Kuda A akan menang hari ini. Secara umum, itu mungkin bukan gagasan yang baik. Hasil kita barangkali jauh lebih baik jika memanfaatkan informasi yang tersedia, yaitu gabungan “firasat” seluruh petaruh! Artinya, jika taruhan senilai $38,000 masuk untuk Kuda D sedangkan hanya $10,000 untuk Kuda A, hal itu menunjukkan bahwa lebih banyak orang memperkirakan Kuda D akan menang daripada Kuda A. Karena itu, sebaiknya kita menggunakan jumlah taruhan untuk menetapkan peluang. Dengan demikian, peluang Kuda A menang adalah:
\[\begin{align*} P(A)=\frac{10000}{100000}=0.10 \end{align*}\]
Selanjutnya, peluang Kuda B menang adalah:
\[\begin{align*} P(B)=\frac{30000}{100000}=0.30 \end{align*}\]
Selanjutnya, peluang Kuda C menang adalah:
\[\begin{align*} P(C)=\frac{22000}{100000}=0.22 \end{align*}\]
Selanjutnya, peluang Kuda D menang adalah:
\[\begin{align*} P(D)=\frac{38000}{100000}=0.38 \end{align*}\]
Setelah menetapkan peluang kejadian Kuda A menang, kita dapat menentukan odds melawan kemenangan Kuda A. Nilainya adalah:
Istilah odds melawan kemenangan A menyatakan rasio P(A tidak menang)/P(A menang) = (1 − P(A))/P(A); pembayaran total berikutnya juga mengembalikan nilai taruhan awal.
\[\begin{align*} \text{Odds against }A=\frac{1-0.1}{0.1}=9 \text{ to }1 \end{align*}\]
Odds melawan A menunjukkan bahwa pengelola arena akan membayar $9 untuk taruhan $1. Selanjutnya, odds melawan kemenangan Kuda B adalah:
\[\begin{align*} \text{Odds against }B=\frac{1-0.3}{0.3}=\frac{7}{3} \text{ to }1 \end{align*}\]
Odds melawan B menunjukkan bahwa pengelola arena akan membayar \(\frac{\$7}{3}=\$2.33\) untuk taruhan $1. Selanjutnya, odds melawan kemenangan Kuda C adalah:
\[\begin{align*} \text{Odds against }C=\frac{1-0.22}{0.22}=\frac{39}{11} \text{ to }1 \end{align*}\]
Odds melawan C menunjukkan bahwa pengelola arena akan membayar \(\frac{\$39}{11}=\$3.55\) untuk taruhan $1. Terakhir, odds melawan kemenangan Kuda D adalah:
\[\begin{align*} \text{Odds against }D=\frac{1-0.38}{0.38}=\frac{31}{19} \text{ to }1 \end{align*}\]
Odds melawan D menunjukkan bahwa pengelola arena akan membayar \(\frac{\$31}{19}=\$1.63\) untuk taruhan $1. Dengan menggunakan odds melawan kemenangan Kuda A, kita sekarang dapat menentukan jumlah yang dibayarkan pengelola arena untuk taruhan $2 pada Kuda A, yaitu:
\[\begin{align*} \text{Payout for }A=\$2+\$9(\$2)=\$20 \end{align*}\]
Dengan kata lain, petaruh menerima $9 untuk setiap taruhan $1, sehingga menerima $18, ditambah $2 yang semula dipertaruhkan. Selanjutnya, dengan menggunakan odds melawan kemenangan Kuda B, kita dapat menentukan jumlah yang dibayarkan pengelola arena untuk taruhan $2 pada Kuda B, yaitu:
\[\begin{align*} \text{Payout for }B=\$2+\frac{\$7}{3}(\$2)=\$6.67 \end{align*}\]
Selanjutnya, dengan menggunakan odds melawan kemenangan Kuda C, kita dapat menentukan jumlah yang dibayarkan pengelola arena untuk taruhan $2 pada Kuda C, yaitu:
\[\begin{align*} \text{Payout for }C=\$2+\frac{\$39}{11}(\$2)=\$9.09 \end{align*}\]
Selanjutnya, dengan menggunakan odds melawan kemenangan Kuda D, kita dapat menentukan jumlah yang dibayarkan pengelola arena untuk taruhan $2 pada Kuda D, yaitu:
\[\begin{align*} \text{Payout for }D=\$2+\frac{\$31}{19}(\$2)=\$5.26 \end{align*}\]
Kita hampir selesai. Kita tinggal memotong 17% untuk pengelola arena pacuan agar ia memperoleh keuntungan dari para petaruh. Dengan mengalikan setiap pembayaran yang telah dihitung dengan 0.83, kita memperoleh:
\[\begin{align*} & \text{Absolute Payout for }A=\$20.00(0.83)=\$16.60\\ & \text{Absolute Payout for }B=\$6.67(0.83)=\$5.54\\ & \text{Absolute Payout for }C=\$9.09(0.83)=\$7.54\\ & \text{Absolute Payout for }D=\$5.26(0.83)=\$4.37\\ \end{align*}\]
Kita juga selalu dapat memeriksa hasil. Misalkan, sebagai contoh, Kuda A menang. Arena kemudian akan membayarkan $16.60 kepada 5000 petaruh yang masing-masing memasang $2 pada Kuda A, sehingga biaya bagi arena adalah $16.60(5000) = $83,000. Karena arena menerima $100,000 dalam taruhan, arena memang memperoleh $17,000 seperti yang diinginkan. Pemeriksaan serupa dapat dilakukan untuk Kuda B, C, dan D, meskipun mungkin terdapat galat pembulatan karena kita memang membulatkan hasil perhitungan pembayaran. Namun, hasilnya tetap seharusnya sangat dekat dengan $83,000 pada setiap kasus!
11.2 Pendugaan Bayesian
Ada satu perbedaan utama antara statistikawan frekuentis dan statistikawan Bayesian yang perlu kita akui sebelum kita bahkan dapat mulai membahas bagaimana seorang Bayesian dapat menduga suatu parameter populasi \(\theta\). Perbedaan itu berkaitan dengan apakah seorang statistikawan memandang parameter sebagai suatu konstanta yang tidak diketahui atau sebagai peubah acak. Mari kita lihat sebuah contoh sederhana untuk menegaskan perbedaan tersebut.
Contoh 11.2 Seorang insinyur pengendalian lalu lintas meyakini bahwa mobil yang melewati suatu persimpangan tertentu tiba dengan laju rataan \(\lambda\) yang sama dengan 3 atau 5 untuk suatu selang waktu tertentu. Sebelum mengumpulkan data apa pun, insinyur tersebut meyakini bahwa laju \(\lambda=3\) lebih mungkin daripada \(\lambda=5\). Bahkan, insinyur tersebut meyakini bahwa peluang priornya adalah:
\[\begin{align*} P(\lambda=3)=0.7\;\text{and }P(\lambda=5)=0.3 \end{align*}\]
Pada suatu hari, selama selang waktu yang dipilih secara acak, insinyur tersebut mengamati \(x=7\) mobil melewati persimpangan itu. Berdasarkan pengamatan insinyur tersebut, berapakah peluang bahwa \(\lambda=3\) Dan berapakah peluang bahwa \(\lambda=5\)?
Penyelesaian
Hal pertama yang perlu Anda perhatikan dalam contoh ini adalah bahwa kita sedang membahas cara mencari peluang bahwa suatu parameter \(\lambda\) mengambil nilai tertentu. Dalam sekejap, kita baru saja membalikkan seluruh hal yang telah kita pelajari dalam Stat 414 dan Stat 415! Hal berikutnya yang perlu Anda perhatikan, setelah pulih dari rasa pusing akibat keadaan terbalik itu, adalah bahwa kita sebenarnya sudah memiliki perangkat yang diperlukan untuk menghitung peluang yang diinginkan. Cukup ambil Teorema Bayes dari kotak perangkat peluang kita.
Sekarang, hanya dengan menggunakan definisi peluang bersyarat, kita mengetahui bahwa peluang \(\lambda=3\) dengan syarat \(X=7\) adalah:
\[\begin{align*} P(\lambda=3|X=7)=\frac{P(\lambda=3, X=7)}{P(X=7)} \end{align*}\]
yang dapat dituliskan dengan menggunakan Teorema Bayes sebagai:
Kita dapat menggunakan tabel peluang kumulatif Poisson di bagian belakang buku teks untuk mencari
\[\begin{align*} &P(X=7|\lambda=3)\\ & P(X=7|\lambda=5) \end{align*}\] Nilainya adalah:
\[\begin{align*} &P(X=7|\lambda=3)=0.988-0.966=0.022\\ & P(X=7|\lambda=5)=0.867-0.762=0.105 \end{align*}\]
Sekarang kita memiliki semua yang diperlukan untuk menuntaskan penghitungan peluang yang diinginkan:
Hmm. Mari kita rangkum. Peluang awal, dalam kasus ini, \(P(\lambda=3)=0.7\) disebut peluang prior. Hal itu karena peluang tersebut menyatakan peluang parameter mengambil nilai tertentu sebelum informasi baru diperhitungkan. Peluang yang baru dihitung, yaitu:
\[\begin{align*} P(\lambda=3|X=7) \end{align*}\]
disebut peluang posterior. Hal itu karena peluang tersebut menyatakan peluang parameter mengambil nilai tertentu setelah informasi baru diperhitungkan. Dalam kasus ini, kita telah melihat bahwa peluang \(\lambda=3\) turun dari 0,7 (peluang prior) menjadi 0,328 (peluang posterior) setelah informasi dari pengamatan \(x=7\).
Penghitungan serupa dapat dilakukan untuk mencari \(P(\lambda=5|X=7)\). Dengan melakukannya, kita memperoleh:
Dalam kasus ini, kita melihat bahwa peluang \(\lambda=5\) naik dari 0,3 (peluang prior) menjadi 0,672 (peluang posterior) setelah informasi dari pengamatan \(x=7\).
Catatan ketelitian: nilai eksak massa Poisson adalah 0,02160403145 untuk λ = 3 dan 0,10444486296 untuk λ = 5; nilai itu memberi peluang posterior P(λ = 3 | X = 7) = 0,32552803889. Angka 0,328 di atas berasal dari massa yang terlebih dahulu dibulatkan menjadi 0,022 dan 0,105.
Contoh terakhir tersebut baik untuk menggambarkan perbedaan antara peluang prior dan peluang posterior, tetapi kurang memadai sebagai contoh praktis di dunia nyata. Alasannya, parameter dalam contoh tersebut diasumsikan hanya dapat mengambil dua nilai, yaitu \(\lambda=3\) atau \(\lambda=5\). Jika ruang parameter bagi suatu parameter \(\theta\) memuat tak terhingga banyak nilai yang mungkin, seorang Bayesian harus menentukan suatu fungsi kepadatan peluang prior \(h(\theta)\), misalnya. Seluruh mata kuliah telah dikhususkan untuk topik pemilihan PDF prior yang baik, jadi tentu saja kita tidak akan membahasnya di sini! Sebagai gantinya, kita akan mengasumsikan bahwa kita diberi PDF prior yang baik \(h(\theta)\) dan memusatkan perhatian pada cara mencari suatu fungsi kepadatan peluang posterior \(k(\theta|y)\), misalnya, jika kita mengetahui fungsi kepadatan peluang \(g(y|\theta)\) dari statistik \(Y\).
Jika kita mengetahui \(h(\theta)\) dan \(g(y|\theta)\), kita dapat memperlakukan: \[k(y, \theta)=g(y|\theta)h(\theta)\] sebagai hukum bersama campuran dari statistik \(Y\) dan parameter \(\theta\). Kemudian, kita dapat mencari distribusi marginal \(Y\) dari distribusi bersama \(k(y, \theta)\) dengan mengintegralkan terhadap ruang parameter \(\theta\):
\[k_1(y)=\int_{\Theta} k(y, \theta)d\theta=\int_{\Theta} g(y|\theta)h(\theta)d\theta\]
Selanjutnya, kita dapat mencari PDF posterior dari \(\theta\), dengan syarat \(Y=y\), dengan menggunakan Teorema Bayes. Yaitu:
\[k(\theta|y)=\frac{k(y, \theta)}{k_1(y)}=\frac{g(y|\theta)h(\theta)}{k_1(y)}\]
Mari kita buat pembahasan ini lebih konkret dengan melihat sebuah contoh.
Contoh 11.3 Misalkan \(Y\) mengikuti distribusi binomial dengan parameter \(n\) dan \(p=\theta\), sehingga PMF dari \(Y\) dengan syarat \(\theta\) adalah:
\(g(y|\theta)={n\choose y}\theta^y(1-\theta)^{n-y}\) untuk \(y=0, 1, \ldots, n\). Misalkan PDF prior dari parameter \(\theta\) adalah PDF beta, yaitu: \(h(\theta)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}\)
untuk \(0<\theta<1\). Carilah PDF posterior dari \(\theta\), dengan syarat \(Y=y\). Dengan kata lain, carilah \(k(\theta|y)\).
Penyelesaian
Pertama, kita mencari hukum bersama campuran dari statistik \(Y\) dan parameter \(\theta\) dengan mengalikan PDF prior \(h(\theta)\) dan PMF bersyarat dari statistik \(Y\) dan parameter \(\theta\) adalah: \[k(y, \theta)={n\choose y}\left(\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\right)\theta^{y+\alpha-1}(1-\theta)^{n-y+\beta-1}\]
pada himpunan dukungan \(y=0, 1, 2, \ldots, n\) dan \(0<\theta<1\).
Kemudian, kita mencari fungsi massa peluang marginal dari \(Y\) dengan mengintegralkan \(k(y, \theta)\) terhadap ruang parameter \(\theta\):
Sekarang, jika kita mengalikan integran dengan 1 dalam suatu cara khusus:
kita melihat bahwa kita memperoleh PDF beta dengan parameter \(y+\alpha\) dan \(n-y+\beta\) yang, berdasarkan definisi PDF yang sah, harus berintegral 1. Dengan menyederhanakannya, kita memperoleh bahwa fungsi massa peluang marginal dari \(Y\) adalah:
\[k_1(y)={n\choose y}\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\left(\frac{\Gamma(y+\alpha)\Gamma(n-y+\beta)}{\Gamma(y+\alpha+n-y+\beta)}\right)\]
pada himpunan dukungan \(y=0, 1, 2, \ldots, n\). Kemudian, PDF posterior dari \(\theta\), dengan syarat \(Y=y\) adalah:
\[\begin{align*} k(\theta|y)=\frac{{n\choose y}\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{y+\alpha-1}(1-\theta)^{n-y+\beta-1}}{{n\choose y}\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\left(\frac{\Gamma(y+\alpha)\Gamma(n-y+\beta)}{\Gamma(y+\alpha+n-y+\beta)}\right)} \end{align*}\]
Karena beberapa faktor saling menghilangkan, kita melihat bahwa PDF posterior dari \(\theta\), dengan syarat \(Y=y\) adalah:
\[k(\theta|y)=\frac{\Gamma(n+\alpha+\beta)}{\Gamma(\alpha+y)\Gamma(n+\beta-y)}\theta^{y+\alpha-1}(1-\theta)^{n-y+\beta-1}\]
untuk \(0<\theta<1\), yang mungkin Anda kenali sebagai PDF beta dengan parameter \(y+\alpha\) dan \(n-y+\beta\).
Mari kita pertimbangkan contoh lain.
Contoh 11.4 Untuk \(p\)yang tetap, misalkan kita mengamati satu pengamatan \(Y=y\) dari suatu distribusi dengan PDF \(p(1-p)^y\), untuk \(y=0, 1, \ldots\). Selain itu, informasi prior mengenai \(p\) menunjukkan bahwa \(p\) memiliki PDF \(3p^2\) untuk \(0<p<1\). Carilah distribusi posterior dari \(p\) dengan syarat \(Y=y\).
Penyelesaian
Kita perlu mencari distribusi posterior dari \(p\) dengan syarat \(Y=y\). Kita dapat mencari distribusi bersamanya melalui:
\[\begin{align*} k(p, y)=g(y|p)h(p)=p(1-p)^y\left(3p^2\right)=3p^3(1-p)^y \end{align*}\]
Langkah berikutnya adalah mencari \(k_1(y)\) melalui:
\[\begin{align*} k_1(y)=\int_0^1 3p^3(1-p)^ydp \end{align*}\]
Alih-alih melakukan ini, mari kita perhatikan bahwa \(k_1(y)\) adalah konstanta terhadap \(p\). Mari kita nyatakan \(k_1(y)\) sebagai \(c\).
Sekarang, kita perlu mencari \(k(p|y)=\frac{k(p, y)}{k_1(y)}\).
\[\begin{align*}k(p|y)=\frac{k(p, y)}{k_1(y)}=\frac{3p^3(1-p)^y}{c}=\left(\frac{3}{c}\right)p^3(1-p)^y \end{align*}\]
Suku di dalam tanda kurung, \(\left(\frac{3}{c}\right)\), adalah konstanta terhadap \(p\). Mari kita nyatakan konstanta tersebut sebagai \(\kappa\). Oleh karena itu, kita memperoleh:
\[k(p|y)=\kappa p^3(1-p)^y\]
Kita mengetahui bahwa \(k(p|y)\) adalah PDF yang sah. Kita juga mengetahui bahwa \(p\) memiliki himpunan dukungan \(0<p<1\) dan bahwa \(k(p|y)\) berintegral 1 pada himpunan dukungan tersebut. Oleh karena itu, distribusi posterior dari \(p\) dengan syarat \(Y=y\) harus berupa distribusi beta dengan parameter \(\alpha=4\) dan \(\beta=y+1\). Dengan kata lain,
\[\begin{align*}\n k(p|y)=\frac{\Gamma(5+y)}{\Gamma(4)\Gamma(y+1)}p^{4-1}(1-p)^{(y+1)-1}\n\end{align*}\]
Kita menemukan distribusi posterior dari \(p\) dengan syarat \(Y=y\) tanpa melakukan integrasi apa pun! Kita hanya mengenali dan mengelompokkan semua konstanta terhadap \(p\) serta menggunakan pengetahuan kita tentang syarat suatu fungsi menjadi PDF yang sah.
Teknik ini membantu kita mencari posterior dengan lebih cepat. Namun, teknik ini hanya dapat digunakan jika kita dapat mengenali distribusi posterior tersebut, sebagaimana kita mengenali bahwa \(k(p|y)\) adalah distribusi beta.
Untuk memperagakan cara yang panjang, ujilah keterampilan kalkulus dan aljabar Anda untuk mencari
Konstanta \(\kappa\)sama dengan
\[\begin{align*} \frac{3}{c}=\frac{3}{\frac{18}{(y+1)(y+2)(y+3)(y+4)}}=\frac{(y+1)(y+2)(y+3)(y+4)}{6} \end{align*}\]
Bandingkan konstanta ini dengan konstanta distribusi beta yang kita peroleh sebagai posterior:
Keduanya tepat sama! Sekali lagi, hal ini terjadi karena kita mengenali bahwa distribusi posterior tersebut adalah distribusi beta dan hanya ada satu konstanta yang dapat membuat PDF distribusi beta berintegral satu pada himpunan dukungannya.
Dalam contoh-contoh sejauh ini, kita hanya mempertimbangkan satu pengamatan. Kita dapat memulai dengan suatu sampel pengamatan, misalnya \(X_1, X_2, \ldots, X_n\) atau kita dapat memulai dengan suatu statistik sampel.
Jika kita memulai dengan suatu sampel, kita dapat mengganti \(g(y|\theta)\) dengan fungsi kemungkinan
\[\begin{align*} L(\theta)=f(x_1|\theta)f(x_2|\theta)\cdots f(x_n|\theta) \end{align*}\]
yang tidak lain adalah distribusi bersama dari \(X_1, X_2, \ldots, X_n\) dengan syarat parameter \(\theta\). Oleh karena itu, kita dapat mencari
\[\begin{align*} k(\theta|x_1, \ldots, x_n)\propto h(\theta)L(\theta) \end{align*}\]
Jika kita memulai dengan suatu statistik, misalnya \(W\), kita perlu mencari distribusi dari \(g(w|\theta)\) dan melanjutkan seperti biasa.
Contoh 11.5 Misalkan \(X_1, X_2, \ldots, X_n\) adalah sampel acak dari distribusi Bernoulli dengan PMF \[\begin{align*} f(x|\theta)=\theta^x(1-\theta)^{1-x}, \qquad x=0, 1 \end{align*}\] Informasi prior memberi tahu kita bahwa \(\theta\) mengikuti distribusi beta dengan parameter \(\alpha\) dan \(\beta\). Carilah distribusi posterior dari \(\theta\) dengan syarat data tersebut.
Penyelesaian
Pertama, kita perlu mencari fungsi kemungkinan:
Langkah berikutnya adalah membentuk kernel bersama dari \(\theta\) dan data tersebut.
Ingatlah, ketika kita mengatakan bahwa \(k(\theta|x_1, \ldots, x_n)\) sebanding dengan ruas kanan, kita mengabaikan semua suku yang konstan terhadap \(\theta\). Dengan menyederhanakannya, kita memperoleh:
\[\begin{align*} k(\theta|x_1, \ldots, x_n)\propto \theta^{\alpha+\sum x_i -1}(1-\theta)^{n-\sum x_i+\beta-1} \end{align*}\]
Kita dapat mengenali bahwa \(\theta^{\alpha+\sum x_i -1}(1-\theta)^{n-\sum x_i+\beta-1}\) sebanding dengan distribusi beta dengan parameter \(\alpha^*=\alpha+\sum x_i\) dan \(\beta^*=n-\sum x_i +\beta\).
Sekarang, apakah Anda bertanya-tanya apa kaitan semua ini dengan pendugaan Bayesian, sebagaimana tersirat oleh judul halaman ini? Mari kita bahas! Seorang Bayesian meyakini bahwa segala sesuatu yang perlu diketahui tentang suatu parameter \(\theta\) dapat ditemukan dalam PDF posteriornya \(k(\theta|y)\). Jadi, jika seorang Bayesian diminta membuat nilai dugaan titik bagi \(\theta\), secara wajar ia akan merujuk pada \(k(\theta|y)\) untuk memperoleh jawabannya. Namun, bagaimana caranya? Hal yang logis adalah menggunakan \(k(\theta|y)\) untuk menghitung rataan atau median dari \(\theta\), karena keduanya merupakan dugaan yang masuk akal bagi nilai \(\theta\). Namun, hmm! Haruskah ia menghitung rataan atau median? Hal itu bergantung pada kerugian yang harus ditanggung akibat menggunakan salah satunya. Kerugian? Kita sedang membahas pendugaan parameter, bukan membeli bahan makanan. Misalkan ia dikenai kerugian tertentu karena menduga nilai sebenarnya dari parameter \(\theta\) dengan dugaannya \(w(y)\). Seorang perempuan Bayesian ini mungkin menginginkan agar kerugian akibat galatnya sekecil mungkin. Misalkan ia dikenai kerugian sebesar kuadrat galat antara \(\theta\) dan dugaannya \(w(y)\). Dengan kata lain, misalkan kerugiannya adalah:
\[(\theta-w(y))^2\]
Nah, itulah jawabannya! Karena ia ingin meminimumkan kerugiannya, ia harus menetapkan dugaannya \(w(y)\) sebagai rataan bersyarat \(E(\theta|y)\). Hal itu karena dalam STAT 414 kita telah menunjukkan bahwa jika \(Z\) adalah peubah acak, maka nilai harapan galat kuadrat, yaitu \(E[(Z-b)^2]\) diminimumkan pada \(b=E(Z)\). Dalam kasusnya, \(Z\) adalah \(\theta\) dan \(b\) adalah \(w(y)=E(\theta|y)\).
Di sisi lain, jika ia dikenai kerugian berupa nilai absolut galat antara \(\theta\) dan dugaannya \(w(y)\), yaitu: \[|\theta-w(y)|\] maka, untuk membuat kerugiannya sekecil mungkin, ia harus menetapkan dugaannya \(w(y)\) sebagai median bersyarat. Hal itu karena, sekali lagi, dalam STAT 414 kita telah menunjukkan bahwa jika \(Z\) adalah peubah acak, maka nilai harapan dari nilai absolut galat, yaitu \(E[|Z-b|]\) diminimumkan ketika \(b\) sama dengan median distribusi tersebut.
Catatan keputusan: rataan posterior meminimumkan kerugian posterior harapan untuk galat kuadrat jika momen kedua yang diperlukan hingga; untuk galat absolut, setiap median posterior merupakan peminimum, dan peminimum tidak harus tunggal.
Mari kita buat pembahasan ini konkret dengan kembali ke contoh binomial kita.
Contoh 11.6 Misalkan \(Y\) mengikuti distribusi binomial dengan parameter \(n\) dan \(p=\theta\), sehingga PMF dari \(Y\) dengan syarat \(\theta\) adalah:
\[g(y|\theta)={n\choose y}\theta^y(1-\theta)^{n-y}\] untuk \(y=0, 1, \ldots, n\). Misalkan PDF prior dari parameter \(\theta\) adalah PDF beta, yaitu:
\[h(\theta)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}\] untuk \(0<\theta<1\). Dugalah parameter \(\theta\) dengan menggunakan fungsi kerugian galat kuadrat.
Solusi
Sebelumnya, kita telah menunjukkan bahwa PDF posterior dari \(\theta\) dengan syarat \(Y=y\) adalah PDF beta dengan parameter \(y+\alpha\) dan \(n-y+\beta\). Pembahasan sebelumnya memberi tahu kita bahwa untuk meminimumkan fungsi kerugian galat kuadrat:
\[\begin{align*} (\theta-w(y))^2 \end{align*}\]
kita harus menggunakan rataan bersyarat \(w(y)=E(\theta|y)\) sebagai nilai dugaan bagi parameter \(\theta\). Secara umum, rataan PDF beta dengan parameter \(\alpha\) dan \(\beta\) adalah:
\[\begin{align*} \frac{\alpha}{\alpha+\beta} \end{align*}\]
Dalam kasus kita, PDF posterior dari \(\theta\) dengan syarat \(Y=y\) adalah PDF beta dengan parameter \(y+\alpha\) dan \(n-y+\beta\). Oleh karena itu, rataan bersyaratnya adalah:
\[\begin{align*}w(y)=E(\theta|y)=\frac{\alpha+y}{\alpha+y+n-y+\beta}=\frac{\alpha+y}{\alpha+n+\beta} \end{align*}\]
Dalam situasi ini, nilai tersebut merupakan nilai dugaan terbaik seorang Bayesian bagi \(\theta\) ketika menggunakan fungsi kerugian galat kuadrat.
11.3 Selang Kredibel
Sebelumnya, ketika kita mengasumsikan bahwa parameter yang tetap tetapi tidak diketahui adalah suatu konstanta, kita memperoleh nilai dugaan titik atau penduga titik untuk \(\theta\). Kita telah melakukan hal serupa dalam kerangka Bayesian pada bagian ini dengan mencari nilai yang meminimumkan fungsi kerugian galat kuadrat atau dengan meminimumkan nilai absolut galat.
Namun, dalam kerangka frekuentis, kita tidak berhenti pada nilai dugaan titik. Dengan menggunakan perangkat peluang, kita menyusun selang kepercayaan untuk parameter yang tidak diketahui. Dapatkah kita melakukan hal serupa di sini dengan dugaan Bayes?
Jawabannya ya. Kita dapat memperoleh apa yang disebut selang kredibel. Kita dapat menyusun selang kredibel dengan mencari dua batas parameter yang bergantung pada data \(y\), misalkan \(a(y)\) dan \(b(y)\) sedemikian sehingga:
\[\begin{align*} \int_{a(y)}^{b(y)}k(\theta|y)d\theta=1-\alpha \end{align*}\]
dengan \(\alpha\) kecil, misalnya \(\alpha=0.05\). Selang yang dihasilkan dari \(a(y)\) hingga \(b(y)\) dapat menjadi nilai dugaan selang untuk \(\theta\) sehingga peluang posterior bahwa \(\theta\) berada dalam selang tersebut adalah \(1-\alpha\).
Peluang pada setiap ekor lazimnya dibuat sama. Oleh karena itu, selang harus disusun sedemikian sehingga: \[\begin{align*} & \frac{\alpha}{2}=\int_{-\infty}^{a(y)}k(\theta|y)d\theta\\ & \frac{\alpha}{2}=\int_{b(y)}^\infty k(\theta|y)d\theta \end{align*}\]
Contoh 11.7 Perhatikan contoh sebelumnya, ketika kita memiliki satu pengamatan, \(Y\), dari suatu distribusi dengan PMF \(p(1-p)^y\) untuk \(y=0, 1, \ldots\) dan sebuah parameter tak diketahui \(p\) dengan distribusi prior \(3p^2\), untuk \(0<p<1\). Tentukan selang kredibel 90% untuk \(p\) dengan \(Y=3\).
Solusi
Kita mengetahui bahwa distribusi posteriornya adalah distribusi beta dengan parameter \(\alpha=4\) dan \(\beta=y+1\). Dalam kasus ini, \(Y=3\), sehingga \(\beta=4\).
Untuk menentukan selang kredibel 90%, kita perlu menentukan \(a(y)\) dan \(b(y)\) sedemikian sehingga
Kita dapat menggunakan R untuk membantu menentukan selang ini. Kita dapat mencari persentil \(5^{th}\) dan persentil \(95^{th}\) dari distribusi beta dengan parameter \(\alpha=4\) dan \(\beta=4\) dengan menggunakan perintah berikut.
qbeta(0.05, shape1=4, shape2=4) [1] 0.2253216qbeta(0.95, shape1=4, shape2=4)[1] 0.7746784Kontrak reproduksi: kedua perintah memakai fungsi stats::qbeta dalam Base R. Keluaran yang diharapkan adalah 0,2253216 dan 0,7746784 (nilai lebih lengkap 0,2253215840 dan 0,7746784160); tidak ada bilangan acak sehingga seed tidak diperlukan.
Dengan demikian, selang kredibel 90% untuk \(p\), dengan syarat \(Y=3\), adalah \((0.2253, 0.7747)\).
11.3.1 Ringkasan
Dalam pelajaran ini, kita beralih dari cara pandang frekuentis ke cara berpikir Bayesian. Meskipun metode frekuentis memperlakukan parameter sebagai nilai yang tetap tetapi tidak diketahui, metode Bayesian memperlakukan parameter sebagai peubah acak yang memiliki distribusi peluang. Pergeseran ini memungkinkan kita memasukkan keyakinan prior dan memperbaruinya dengan data menggunakan Teorema Bayes.
Kita memulai dengan memahami peluang subjektif, yakni seorang statistisi Bayesian menggunakan informasi yang tersedia (seperti jumlah taruhan pada kuda) untuk menetapkan peluang bagi kejadian yang tidak pasti. Kemudian, kita menelaah cara statistisi Bayesian menduga parameter menggunakan suatu distribusi prior dan fungsi kemungkinan untuk memperoleh distribusi posterior.
Kita juga melihat bahwa pendugaan Bayesian sering menghasilkan distribusi posterior dengan bentuk yang sudah dikenal—seperti distribusi beta untuk data binomial dengan prior beta. Nilai dugaan titik Bayes bergantung pada fungsi kerugian. Jika yang diminimumkan adalah galat kuadrat, dugaan terbaiknya adalah rataan posterior.
Pelajaran ini memperkenalkan pandangan Bayesian tentang pembelajaran dari data: menggabungkan keyakinan prior dengan bukti yang diamati untuk membuat pernyataan probabilistik tentang parameter yang tidak diketahui. Walaupun ini baru sekilas tentang dunia Bayesian, pelajaran ini menunjukkan betapa fleksibel dan intuitifnya pendekatan tersebut.
Pokok-Pokok Penting:
- Secara matematis, jika \(\theta\) adalah parameter dan \(y\) adalah data, distribusi posteriornya adalah: \(k(\theta|y)=\frac{g(y|\theta)h(\theta)}{k_1(y)}\)
- Selang kredibel, yang memakai peluang posterior—berbeda dari cakupan pengulangan-sampel pada selang kepercayaan, memenuhi: \(\int_{a(y)}^{b(y)} k(\theta|y)d\theta=1-\alpha\)