Nilai harapan bersyarat jauh lebih penting daripada yang mungkin disangka pada awalnya. Bahkan, nilai harapan bersyarat merupakan inti teori probabilitas modern karena menyediakan cara dasar untuk memasukkan informasi yang diketahui ke dalam suatu ukuran probabilitas. Bagian ini memperluas pembahasan pertama kita tentang nilai harapan bersyarat dari sudut pandang yang lebih berlandaskan teori ukuran.
Teori Dasar
Definisi
Seperti biasa, titik awal kita adalah suatu eksperimen acak, sebagaimana diuraikan dalam eksperimen acak, yang dimodelkan oleh sebuah ruang probabilitas \((\Omega, \mathscr F, \P)\). Jadi, \( \Omega \) adalah himpunan hasil, \( \mathscr F \) adalah aljabar-\( \sigma \) kejadian, dan \( \P \) adalah ukuran probabilitas pada ruang sampel \( (\Omega, \mathscr F) \). Sebelumnya kita telah mempelajari nilai harapan bersyarat peubah acak bernilai real \(X\) apabila diketahui suatu peubah acak \(Y\). Pendekatan yang lebih umum ialah mengondisikan pada subaljabar-\(\sigma\) \( \mathscr G \) dari \( \mathscr F \).
Sebelum sampai ke definisi, kita memerlukan beberapa hal pendahuluan. Pertama, semua peubah acak yang disebutkan diasumsikan bernilai real. Selanjutnya, gagasan tentang relasi ekuivalensi memainkan peran mendasar dalam bagian ini. Secara khusus, ingat bahwa peubah acak \( X_1 \) dan \( X_2 \) ekuivalen jika \( \P(X_1 = X_2) = 1 \). Ekuivalensi memang mendefinisikan suatu relasi ekuivalensi pada kumpulan peubah acak yang didefinisikan di ruang sampel. Selain itu, kita sering menganggap peubah acak yang ekuivalen sebagai objek yang pada hakikatnya sama. Lebih tepatnya, dari sudut pandang ini objek kajian kita bukanlah peubah acak individual, melainkan kelas-kelas ekuivalensi peubah acak menurut relasi ekuivalensi tersebut. Terakhir, untuk \( A \in \mathscr F \), ingat notasi bagi nilai harapan \( X \) pada kejadian \( A \) \[ \E(X; A) = \E(X \bs{1}_A)\] dengan asumsi, tentu saja, bahwa nilai harapan tersebut ada. Sepanjang subbagian ini, anggap bahwa \( \mathscr G \) adalah subaljabar-\( \sigma \) dari \( \mathscr F \).
Misalkan \(X\) adalah peubah acak dengan \( \E(|X|) \lt \infty \). Nilai harapan bersyarat \(X\) apabila diketahui \(\mathscr G\) adalah peubah acak \(\E(X \mid \mathscr G)\) yang didefinisikan oleh sifat-sifat berikut:
- \(\E(X \mid \mathscr G)\) terukur terhadap \(\mathscr G\).
- Jika \(A \in \mathscr G\), maka \(\E[\E(X \mid \mathscr G); A] = \E(X; A)\)
Gagasan dasarnya ialah bahwa \( \E(X \mid \mathscr G) \) merupakan nilai harapan \( X \) apabila diketahui informasi dalam aljabar-\( \sigma \) \( \mathscr G \). Semoga gagasan ini akan makin jelas selama pembahasan kita. Syarat-syarat di atas mendefinisikan \( \E(X \mid \mathscr G) \) secara tunggal hingga ekuivalensi. Bukti fakta ini merupakan penerapan sederhana teorema Radon–Nikodym, yang dinamai menurut Johann Radon dan Otto Nikodym
Misalkan lagi bahwa \(X\) adalah peubah acak dengan \( \E(|X|) \lt \infty \).
- Ada peubah acak \( V \) yang memenuhi definisi .
- Jika \( V_1 \) dan \( V_2 \) memenuhi definisi , maka \( \P(V_1 = V_2) = 1 \), sehingga \( V_1 \) dan \( V_2 \) ekuivalen.
Detail:
- Perhatikan bahwa \( \nu(A) = \E(X; A) \) untuk \( A \in \mathscr G \) mendefinisikan suatu ukuran (bertanda) pada \( \mathscr G \). Selain itu, jika \( A \in \mathscr G \) dan \( \P(A) = 0 \), maka \( \nu(A) = 0 \). Jadi, \( \nu \) kontinu mutlak terhadap pembatasan \( \P \) pada \( \mathscr G \). Menurut teorema Radon–Nikodym, ada peubah acak \( V \) yang terukur terhadap \( \mathscr G \) sedemikian sehingga \( \nu(A) = \E(V; A) \) untuk \( A \in \mathscr G \). Dengan kata lain, \( V \) adalah kerapatan atau turunan \( \nu \) terhadap \( \P \) pada \( \mathscr G \).
- Hal ini mengikuti dari ketunggalan turunan Radon–Nikodym, hingga ekuivalensi.
Karakterisasi berikut mungkin tampak lebih kuat, tetapi sesungguhnya ekuivalen dengan definisi tersebut.
Misalkan lagi bahwa \(X\) adalah peubah acak dengan \( \E(|X|) \lt \infty \). Maka \( \E(X \mid \mathscr G) \) dicirikan oleh sifat-sifat berikut:
- \( \E(X \mid \mathscr G) \) terukur terhadap \( \mathscr G \)
- Jika \( U \) terukur terhadap \( \mathscr G \) dan \( \E(|U X|) \lt \infty \), maka \( \E[U \E(X \mid \mathscr G)] = \E(U X) \).
Detail:
Kita harus menunjukkan bahwa bagian (b) dalam definisi ekuivalen dengan bagian (b) di sini. Pertama, (b) di sini mengakibatkan (b) dalam definisi karena \( \bs{1}_A \) terukur-\( \mathscr G \) jika \( A \in \mathscr G \). Sebaliknya, misalkan (b) dalam definisi berlaku. Kita akan menunjukkan bahwa (b) di sini berlaku melalui argumen bootstrap klasik. Pertama, \( \E[U \E(X \mid \mathscr G)] = \E(U X) \) jika \( U = \bs{1}_A \) untuk suatu \( A \in \mathscr G \). Selanjutnya, misalkan \( U \) adalah peubah acak sederhana yang terukur-\( \mathscr G \). Artinya, \( U = \sum_{i \in I} a_i \bs{1}_{A_i} \), dengan \( I \) himpunan indeks hingga, \( a_i \ge 0 \) untuk \( i \in I \), dan \( A_i \in \mathscr G \) untuk \( i \in I \). Maka \[ \E[U \E(X \mid \mathscr G)] = \E\left[\sum_{i \in I} a_i \bs{1}_{A_i} \E(X \mid \mathscr G)\right] = \sum_{i \in I} a_i \E[\bs{1}_{A_i} \E(X \mid \mathscr G)] = \sum_{i \in I} a_i \E(\bs{1}_{A_i} X) = \E\left(\sum_{i \in I} a_i \bs{1}_{A_i} X\right) = \E(U X) \] Selanjutnya, misalkan \( U \) taknegatif dan terukur-\( \mathscr G \). Maka ada barisan peubah acak sederhana terukur-\( \mathscr G \), \( (U_1, U_2, \ldots) \), dengan \( U_n \uparrow U \) ketika \( n \to \infty \). Menurut langkah sebelumnya, \( \E[U_n \E(X \mid \mathscr G)] = \E(U_n X) \) untuk setiap \( n \). Dengan mengambil \( n \to \infty \) dan menggunakan teorema konvergensi monoton, diperoleh \( \E[U \E(X \mid \mathscr G)] = \E(U X) \). Terakhir, misalkan \( U \) adalah peubah acak terukur-\( \mathscr G \) yang umum. Maka \( U = U^+ - U^- \), dengan \( U^+ \) dan \( U^- \) masing-masing bagian positif dan negatif yang lazim dari \( U \). Bagian-bagian ini taknegatif dan terukur-\( \mathscr G \), sehingga menurut langkah sebelumnya, \( \E[U^+ \E(X \mid \mathscr G)] = \E(U^+ X) \) dan \( \E[U^- \E(X \mid \mathscr G)] = \E(U^- X) \). Jadi \[ \E[U \E(X \mid \mathscr G)] = \E[(U^+ - U^-) \E(X \mid \mathscr G)] = \E[U^+ \E(X \mid \mathscr G)] - \E[U^- \E(X \mid \mathscr G)] = \E(U^+ X) - \E(U^- X) = \E(U X) \]
Sifat-sifat
Pembahasan kita berikutnya menyangkut beberapa sifat mendasar nilai harapan bersyarat. Semua persamaan dan pertidaksamaan dipahami berlaku modulo ekuivalensi, yakni dengan probabilitas 1. Perhatikan pula bahwa banyak bukti bekerja dengan menunjukkan bahwa ruas kanan memenuhi sifat-sifat dalam definisi bagi nilai harapan bersyarat pada ruas kiri. Sekali lagi kita mengasumsikan bahwa \( \mathscr G \) adalah subaljabar-\( sigma \) dari \( \mathscr F \).
Sifat pertama kita merupakan konsekuensi langsung definisi: \( X \) dan \( \E(X \mid \mathscr G) \) memiliki rataan yang sama.
Misalkan \(X\) adalah peubah acak dengan \( \E(|X|) \lt \infty \). Maka \( \E[\E(X \mid \mathscr G)] = \E(X) \).
Teorema sering dapat digunakan untuk menghitung \( \E(X) \) dengan memilih aljabar-\( \sigma \) \( \mathscr G \) secara cerdik. Kita mengatakan bahwa kita menghitung \( \E(X) \) dengan mengondisikan pada \( \mathscr G \). Sifat-sifat berikutnya bersifat mendasar: setiap versi nilai harapan harus memenuhi sifat linearitas. Bagian pertama adalah sifat aditif, sedangkan bagian kedua adalah sifat penskalaan.
Misalkan \( X \) dan \( Y \) adalah peubah acak dengan \( \E(|X|) \lt \infty \) dan \( \E(|Y|) \lt \infty \), serta \( c \in \R\). Maka
- \( \E(X + Y \mid \mathscr G) = \E(X \mid \mathscr G) + \E(Y \mid \mathscr G) \)
- \( \E(c X \mid \mathscr G) = c \E(X \mid \mathscr G) \)
Detail:
- Perhatikan bahwa \( \E(|X + Y|) \le \E(|X|) + \E(|Y|) \lt \infty\), sehingga \( \E(X + Y \mid \mathscr G) \) terdefinisi. Kita menunjukkan bahwa \( \E(X \mid \mathscr G) + \E(Y \mid \mathscr G) \) memenuhi syarat-syarat dalam definisi bagi \( \E(X + Y \mid \mathscr G) \). Pertama, perhatikan bahwa \( \E(X \mid \mathscr G) + \E(Y \mid \mathscr G) \) terukur-\( \mathscr G \) karena kedua sukunya demikian. Jika \(A \in \mathscr G \), maka \[ \E\{[\E(X \mid \mathscr G) + \E(Y \mid \mathscr G)]; A\} = \E[\E(X \mid \mathscr G); A] + \E[\E(Y \mid \mathscr G); A] = \E(X; A) + \E(Y; A) = \E[X + Y; A] \]
- Perhatikan bahwa \( \E(|c X|) = |c| \E(|X|) \lt \infty \), sehingga \( \E(c X \mid \mathscr G) \) terdefinisi. Kita menunjukkan bahwa \( c \E(X \mid \mathscr G) \) memenuhi syarat-syarat dalam definisi bagi \( \E(c X \mid \mathscr G) \). Pertama, perhatikan bahwa \( c \E(X \mid \mathscr G) \) terukur-\( \mathscr G \) karena faktor keduanya demikian. Jika \(A \in \mathscr G \), maka \[ \E[c \E(X \mid \mathscr G); A] = c \E[\E(X \mid \mathscr G); A] = c \E(X; A) = \E(c X; A) \]
Rangkaian sifat berikutnya juga mendasar bagi setiap pengertian nilai harapan. Bagian pertama adalah sifat positif, sedangkan bagian kedua adalah sifat monoton.
Misalkan lagi bahwa \( X \) dan \( Y \) adalah peubah acak dengan \( \E(|X|) \lt \infty \) dan \( \E(|Y|) \lt \infty \).
- Jika \( X \ge 0 \), maka \( \E(X \mid \mathscr G) \ge 0 \)
- Jika \( X \le Y \), maka \( \E(X \mid \mathscr G) \le \E(Y \mid \mathscr G) \)
Detail:
- Ambil \( A = \{\E(X \mid \mathscr G) \lt 0\} \). Perhatikan bahwa \(A \in \mathscr G \), sehingga \( \E(X; A) = \E[\E(X \mid \mathscr G); A] \). Karena \( X \ge 0 \) dengan probabilitas 1, kita memperoleh \( E(X; A) \ge 0 \). Di sisi lain, jika \( \P(A) \gt 0 \), maka \( \E[\E(X \mid \mathscr G); A] \lt 0 \), suatu kontradiksi. Jadi, haruslah \( \P(A) = 0 \).
- Perhatikan bahwa jika \( X \le Y \), maka \( Y - X \ge 0 \). Oleh karena itu, menurut (a) dan sifat aditif, \( \E(Y - X \mid \mathscr G) = \E(Y \mid \mathscr G) - \E(X \mid \mathscr G) \ge 0 \), sehingga \( \E(Y \mid \mathscr G) \ge \E(X \mid \mathscr G) \).
Beberapa sifat berikut berkaitan dengan gagasan utama bahwa \( \E(X \mid \mathscr G) \) merupakan nilai harapan \( X \) apabila diketahui informasi dalam aljabar-\( \sigma \) \( \mathscr G \).
Misalkan \( X \) dan \( V \) adalah peubah acak dengan \( \E(|X|) \lt \infty \) dan \( \E(|X V|) \lt \infty \), serta \( V \) terukur terhadap \( \mathscr G \). Maka \( \E(V X \mid \mathscr G) = V \E(X \mid \mathscr G) \).
Detail:
Kita menunjukkan bahwa \( V \E(X \mid \mathscr G) \) memenuhi sifat-sifat dalam yang mencirikan \( \E(V X \mid \mathscr G) \). Pertama, \( V \E(X \mid \mathscr G) \) terukur-\( \mathscr G \) karena kedua faktornya demikian. Jika \( U \) terukur-\( \mathscr G \) dengan \( \E(|U V X|) \lt \infty \), maka \( U V \) juga terukur-\( \mathscr G \), sehingga \[ \E[U V \E(X \mid \mathscr G)] = \E(U V X) = \E[U (V X)] \]
Bandingkan hasil ini dengan sifat penskalaan . Jika \( V \) terukur terhadap \( \mathscr G \), maka \( V \) bertindak seperti konstanta dalam nilai harapan bersyarat apabila diketahui \( \mathscr G \). Di sisi lain, perhatikan bahwa hasil ini mengakibatkan sifat penskalaan , sebab konstanta dapat dipandang sebagai peubah acak dan, dengan demikian, terukur terhadap sembarang aljabar-\( \sigma \). Sebagai akibat hasil ini, perhatikan bahwa jika \( X \) sendiri terukur terhadap \( \mathscr G \), maka \( \E(X \mid \mathscr G) = X \). Hasil berikut memberikan kasus ekstrem lainnya.
Misalkan \( X \) adalah peubah acak dengan \( \E(|X|) \lt \infty \). Jika \( X \) dan \( \mathscr G \) saling bebas, maka \( \E(X \mid \mathscr G) = \E(X) \).
Detail:
Kita menunjukkan bahwa \( \E(X) \) memenuhi sifat-sifat dalam definisi di bagi \( \E(X \mid \mathscr G) \). Pertama, tentu saja \( \E(X) \) terukur-\( \mathscr G \) sebagai peubah acak konstan. Jika \( A \in \mathscr G \), maka \( X \) dan \( \bs{1}_A \) saling bebas, sehingga \[ \E(X; A) = \E(X) \P(A) = \E[\E(X); A] \]
Setiap peubah acak \( X \) saling bebas dengan aljabar-\( \sigma \) trivial \( \{\emptyset, \Omega\} \), sehingga \( \E(X \mid \{\emptyset, \Omega\}) = \E(X) \).
Sifat-sifat berikut merupakan syarat konsistensi, yang juga dikenal sebagai sifat menara. Ketika pengondisian dilakukan dua kali terhadap aljabar-\( \sigma \) yang bersarang, aljabar yang lebih kecil (yang mewakili jumlah informasi paling sedikit) selalu berlaku.
Misalkan \( X \) adalah peubah acak dengan \( \E(|X|) \lt \infty \) dan \( \mathscr H \) adalah subaljabar-\( \sigma \) dari \( \mathscr G \). Maka
- \( \E[\E(X \mid \mathscr H) \mid \mathscr G] = \E(X \mid \mathscr H) \)
- \( \E[\E(X \mid \mathscr G) \mid \mathscr H] = \E(X \mid \mathscr H) \)
Detail:
- Perhatikan dahulu bahwa \( \E(X \mid \mathscr H) \) terukur-\( \mathscr H \), dan karenanya juga terukur-\( \mathscr G \). Jadi, menurut , \( \E[\E(X \mid \mathscr H) \mid \mathscr G] = \E(X \mid \mathscr H) \).
- Kita menunjukkan bahwa \( \E(X \mid \mathscr H) \) memenuhi syarat-syarat dalam definisi bagi \( \E[\E(X \mid \mathscr G) \mid \mathscr H]\). Perhatikan lagi bahwa \( \E(X \mid \mathscr H) \) terukur-\( \mathscr H \). Jika \(A \in \mathscr H \), maka \( A \in \mathscr G \), sehingga \[ \E[\E(X \mid \mathscr G); A] = \E(X; A) = \E[\E(X \mid \mathscr H); A] \]
Hasil berikut memberikan pertidaksamaan Jensen untuk nilai harapan bersyarat, yang dinamai menurut Johan Jensen.
Misalkan \( X \) mengambil nilai pada interval \( S \subseteq \R \) dan \( g: S \to \R \) konveks. Jika \( \E(|X|) \lt \infty \) dan \( \E(|g(X)| \lt \infty \), maka \[ \E[g(X) \mid \mathscr G] \ge g[\E(X \mid \mathscr G)] \]
Detail:
Seperti halnya pertidaksamaan Jensen untuk nilai harapan biasa, bukti terbaik menggunakan karakterisasi fungsi konveks dalam istilah garis pendukung: Untuk setiap \( t \in S \), ada bilangan \( a \) dan \( b \) (yang bergantung pada \( t \)) sedemikian sehingga
- \( a + b t = g(t) \)
- \( a + b x \le g(x) \) untuk \( x \in S \)
Peubah acak \( X \) dan \( \E(X \mid \mathscr G) \) mengambil nilai pada \( S \). Kita dapat membangun garis pendukung acak di \( \E(X \mid \mathscr G) \). Artinya, ada peubah acak \( A \) dan \( B \), yang terukur terhadap \( \mathscr G \), sedemikian sehingga
- \( A + B \E(X \mid \mathscr G) = g[\E(X \mid \mathscr G)] \)
- \( A + B X \le g(X) \)
Kita mengambil nilai harapan bersyarat pada pertidaksamaan dalam (b), lalu menggunakan sifat-sifat nilai harapan bersyarat dan sifat (a): \[ \E[g(X) \mid \mathscr G] \ge \E(A + B X \mid \mathscr G) = A + B \E(X \mid \mathscr G) = g[\E(X \mid \mathscr G] \] Perhatikan bahwa langkah kedua menggunakan fakta bahwa \( A \) dan \( B \) terukur terhadap \( \mathscr G \).
Probabilitas Bersyarat
Untuk pembahasan berikut, anggap seperti biasa bahwa \( \mathscr G \) adalah subaljabar-\( \sigma \) dari \( \mathscr F \). Probabilitas bersyarat suatu kejadian \(A\) apabila diketahui \( \mathscr G \) dapat didefinisikan sebagai kasus khusus nilai harapan bersyarat. Seperti biasa, misalkan \(\bs{1}_A\) menyatakan peubah acak indikator dari \(A\).
Untuk \( A \in \mathscr F \), kita definisikan \[ \P(A \mid \mathscr G) = \E(\bs 1_A \mid \mathscr G) \]
Dengan demikian, kita memperoleh karakterisasi probabilitas bersyarat berikut, yang merupakan kasus khusus definisi dan versi alternatif dalam :
Jika \( A \in \mathscr F \), maka \( \P(A \mid \mathscr G) \) dicirikan (hingga ekuivalensi) oleh sifat-sifat berikut
- \( \P(A \mid \mathscr G) \) terukur terhadap \( \mathscr G \).
- Jika \( B \in \mathscr G \), maka \( \E[\P(A \mid \mathscr G); B] = \P(A \cap B) \)
Detail:
Untuk bagian (b), perhatikan bahwa \[ \E[\bs{1}_B \P(A \mid \mathscr G)] = \E[\bs{1}_B \E(\bs{1}_A \mid \mathscr G)] = \E(\bs{1}_A \bs{1}_B) = \E(\bs{1}_{A \cap B}) = \P(A \cap B) \]
Jika \( A \in \mathscr F \), maka \( \P(A \mid \mathscr G) \) dicirikan (hingga ekuivalensi) oleh sifat-sifat berikut
- \( \P(A \mid \mathscr G) \) terukur terhadap \( \mathscr G \).
- Jika \( U \) terukur terhadap \( \mathscr G \) dan \( \E(|U|) \lt \infty \), maka \( \E[U \P(A \mid \mathscr G)] = \E(U; A) \)
Sifat-sifat nilai harapan bersyarat di atas tentu saja mempunyai kasus-kasus khusus bagi probabilitas bersyarat. Secara khusus, kita dapat menghitung probabilitas suatu kejadian dengan mengondisikan pada aljabar-\( \sigma \):
Jika \( A \in \mathscr F \), maka \(\P(A) = \E[\P(A \mid \mathscr G)]\).
Sekali lagi, sering menjadi cara yang baik untuk menghitung \(\P(A)\) ketika kita mengetahui probabilitas bersyarat \(A\) apabila diketahui \(\mathscr G\). Ini merupakan versi hukum probabilitas total yang sangat ringkas dan anggun, yang mula-mula diberikan untuk kejadian dan kemudian untuk peubah acak diskret. Teorema berikut memberikan versi bersyarat dari aksioma-aksioma probabilitas.
Sifat-sifat berikut berlaku (seperti biasa, modulo ekuivalensi):
- \( \P(A \mid \mathscr G) \ge 0 \) untuk setiap \( A \in \mathscr F \)
- \( \P(\Omega \mid \mathscr G) = 1 \)
- Jika \( \{A_i: i \in I\} \) adalah himpunan bagian terhitung yang saling lepas dari \( \mathscr F \), maka \( \P(\bigcup_{i \in I} A_i \bigm| \mathscr G) = \sum_{i \in I} \P(A_i \mid \mathscr G) \)
Detail:
- Ini merupakan konsekuensi langsung dari .
- Ini langsung karena \( \bs{1}_\Omega = 1 \).
- Kita menunjukkan bahwa ruas kanan memenuhi syarat-syarat dalam yang mendefinisikan ruas kiri. Perhatikan bahwa \( \sum_{i \in I} \P(A_i \mid \mathscr G) \) terukur-\( \mathscr G \) karena setiap suku dalam jumlah tersebut memiliki sifat ini. Ambil \( B \in \mathscr G \). Maka \[ \E\left[\sum_{i \in I} \P(A_i \mid \mathscr G); B\right] = \sum_{i \in I} \E[\P(A_i \mid \mathscr G); B] = \sum_{i \in I} \P(A_i \cap B) = \P\left(B \cap \bigcup_{i \in I} A_i\right) \]
Dari , diperoleh bahwa aturan probabilitas baku lainnya berlaku bagi probabilitas bersyarat apabila diketahui \( \mathscr G \) (seperti biasa, modulo ekuivalensi). Hasil-hasil ini meliputi
- aturan komplemen
- sifat monoton
- pertidaksamaan Boole
- pertidaksamaan Bonferroni
- hukum inklusi–eksklusi
Namun, tidak tepat untuk menyatakan bahwa \( A \mapsto \P(A \mid \mathscr G) \) adalah ukuran probabilitas, karena probabilitas bersyarat hanya didefinisikan hingga ekuivalensi, sehingga pemetaan tersebut tidak bermakna. Kita harus menentukan suatu versi tertentu dari \( \E(A \mid \mathscr G) \) untuk setiap \( A \in \mathscr F \) agar pemetaan itu bermakna. Bahkan jika hal ini dilakukan, pemetaan tersebut mungkin tidak mendefinisikan ukuran probabilitas. Dalam bagian (c), ruas kiri dan kanan merupakan peubah acak dan persamaan tersebut adalah kejadian yang berprobabilitas 1. Akan tetapi, kejadian ini bergantung pada kumpulan \( \{A_i: i \in I\} \). Secara umum, akan ada tak terhitung banyaknya kumpulan seperti itu dalam \( \mathscr F \), dan irisan semua kejadian yang bersesuaian mungkin saja berprobabilitas kurang dari 1 (jika irisan itu terukur). Ternyata, jika ruang probabilitas yang mendasari \( (\Omega, \mathscr F, \P) \) cukup baik
(dan kebanyakan ruang probabilitas yang muncul dalam penerapan memang baik), maka benar-benar ada probabilitas bersyarat reguler. Artinya, untuk setiap \( A \in \mathscr F \), ada peubah acak \( \P(A \mid \mathscr G) \) yang memenuhi syarat-syarat dalam sedemikian sehingga, dengan probabilitas 1, \( A \mapsto \P(A \mid \mathscr G) \) merupakan ukuran probabilitas.
Teorema berikut memberikan suatu versi teorema Bayes, yang dinamai menurut Thomas Bayes yang tiada bandingnya.
Misalkan \( A \in \mathscr G \) dan \( B \in \mathscr F \). Maka \[ \P(A \mid B) = \frac{\E[\P(B \mid \mathscr G); A]}{\E[\P(B \mid \mathscr G)]} \]
Detail:
Buktinya sungguh langsung. Menurut definisi probabilitas bersyarat apabila diketahui \( \mathscr G \), pembilangnya adalah \( \P(A \cap B) \) dan penyebutnya adalah \( P(B) \). Meskipun demikian, teorema Bayes berguna ketika nilai-nilai harapan pada pembilang dan penyebut dapat dihitung secara langsung
Contoh Dasar
Tujuan pembahasan ini ialah menghubungkan gagasan umum tentang nilai harapan bersyarat yang sedang kita pelajari dengan konsep-konsep lebih elementer yang telah Anda jumpai. Misalkan \( A \) adalah kejadian (yakni anggota \( \mathscr F \)) dengan \( \P(A) \gt 0 \). Jika \( B \) adalah kejadian lain, maka probabilitas bersyarat \( B \) apabila diketahui \( A \) adalah \[ \P(B \mid A) = \frac{\P(A \cap B)}{\P(A)} \] Jika \( X \) adalah peubah acak, maka distribusi bersyarat \( X \) apabila diketahui \( A \) adalah ukuran probabilitas pada \( \R \) yang diberikan oleh \[ R \mapsto \P(X \in R \mid A) = \frac{\P(\{X \in R\} \cap A)}{\P(A)} \text{ for measurable } R \subseteq \R \] Jika \( \E(|X|) \lt \infty \), maka nilai harapan bersyarat \( X \) apabila diketahui \( A \), yang dinyatakan dengan \( \E(X \mid A) \), hanyalah rataan distribusi bersyarat ini.
Sekarang, misalkan \( \mathscr{A} = \{A_i: i \in I\} \) adalah partisi terhitung dari ruang sampel \( \Omega \) menjadi kejadian-kejadian berprobabilitas positif. Untuk mengingat kembali istilahnya, \( \mathscr A \subseteq \mathscr F \); himpunan indeks \( I \) terhitung; \( A_i \cap A_j = \emptyset \) untuk \( i, \, j \in I \) yang berbeda; \( \bigcup_{i \in I} A_i = \Omega \); dan \( \P(A_i) \gt 0 \) untuk \( i \in I \). Misalkan \( \mathscr G = \sigma(\mathscr{A}) \), yakni aljabar-\( \sigma \) yang dibangkitkan oleh \( \mathscr{A} \). Unsur-unsur \( \mathscr G \) berbentuk \( \bigcup_{j \in J} A_j \) untuk \( J \subseteq I \). Selain itu, peubah acak yang terukur terhadap \( \mathscr G \) tepat merupakan peubah yang konstan pada \( A_i \) untuk setiap \( i \in I \). Aljabar-\( \sigma \) \( \mathscr G \) dikatakan dibangkitkan secara terhitung.
Jika \( B \in \mathscr F \), maka \( \P(B \mid \mathscr G) \) adalah peubah acak yang nilainya pada \( A_i \) adalah \( \P(B \mid A_i) \) untuk setiap \(i \in I \).
Detail:
Misalkan \( U \) menyatakan peubah acak yang mengambil nilai \( \P(B \mid A_i) \) pada \( A_i \) untuk setiap \( i \in I \). Pertama, \( U \) terukur terhadap \( \scr G \) karena \( U \) konstan pada \( A_i \) untuk setiap \( i \in I \). Jadi, kita hanya perlu menunjukkan bahwa \( E(U ; A) = \P(A \cap B) \) untuk setiap \( A \in \mathscr G \). Karena itu, ambil \( A = \bigcup_{j \in J} A_j \) dengan \( J \subseteq I \). Maka \[ \E(U; A) = \sum_{j \in J} \E(U ; A_j) = \sum_{j \in J} \P(B \mid A_j) \P(A_j) = \P(A \cap B)\]
Dalam keadaan ini, versi teorema Bayes mereduksi menjadi rumusan elementer yang lazim: Untuk \( i \in I \), \( \E[\P(B \mid \mathscr G); A_i] = \P(A_i) \P(B \mid A_i) \) dan \( \E[\P(B \mid \mathscr G)] = \sum_{j \in I} \P(A_j) \P(B \mid A_j) \). Jadi, \[ \P(A_i \mid B) = \frac{\P(A_i) \P(B \mid A_i)}{\sum_{j \in I} \P(A_j) \P(B \mid A_j)} \]
Jika \( X \) adalah peubah acak dengan \( \E(|X|) \lt \infty \), maka \( \E(X \mid \mathscr G) \) adalah peubah acak yang nilainya pada \( A_i \) adalah \( \E(X \mid A_i) \) untuk setiap \( i \in I \).
Detail:
Misalkan \( U \) menyatakan peubah acak yang mengambil nilai \( \E(X \mid A_i) \) pada \( A_i \) untuk setiap \( i \in I \). Pertama, \( U \) terukur terhadap \( \scr G \) karena \( U \) konstan pada \( A_i \) untuk setiap \( i \in I \). Jadi, kita hanya perlu menunjukkan bahwa \( E(U; A) = \E(X; A) \) untuk setiap \( A \in \mathscr G \). Karena itu, ambil \( A = \bigcup_{j \in J} A_j \) dengan \( J \subseteq I \). Maka \[ \E(U; A) = \sum_{j \in J} \E(U; A_j) = \sum_{j \in J} \E(X \mid A_j) \P(A_j) = E(X; A) \]
Contoh dan contoh berlaku untuk \( \mathscr G = \sigma(Y) \) jika \( Y \) adalah peubah acak diskret dengan nilai dalam suatu himpunan terhitung \( T \). Dalam hal ini, partisinya hanyalah \( \mathscr{A} = \{ \{Y = y\}: y \in T\} \). Di sisi lain, misalkan \( Y \) adalah peubah acak yang mengambil nilai pada suatu himpunan umum \( T \) dengan aljabar-\( \sigma \) \( \mathscr{T} \). Peubah acak bernilai real yang terukur terhadap \( \mathscr G = \sigma(Y) \) adalah (hingga ekuivalensi) fungsi bernilai real dan terukur dari \( Y \).
Secara lebih khusus, misalkan \( X \) mengambil nilai dalam \( S \subseteq \R \), \( Y \) mengambil nilai dalam \( T \subseteq \R^n \) (dengan \( S \) dan \( T \) terukur Lebesgue), serta \( (X, Y) \) mempunyai distribusi kontinu bersama dengan fungsi kerapatan probabilitas \( f \). Maka \( Y \) mempunyai fungsi kerapatan probabilitas \( h \) yang diberikan oleh \[ h(y) = \int_S f(x, y) \, dx, \quad y \in T \] Anggap bahwa \( h(y) \gt 0 \) untuk \( y \in T \). Maka, untuk \( y \in T \), suatu fungsi kerapatan probabilitas bersyarat dari \( X \) apabila diketahui \( Y = y \) didefinisikan oleh \[ g(x \mid y) =\frac{f(x, y)}{h(y)}, \quad x \in S \] Inilah tepatnya keadaan dalam pembahasan elementer kita tentang nilai harapan bersyarat. Jika \( \E(|X|) \lt \infty \), kita biasanya menulis \( \E(X \mid Y) \) alih-alih bentuk yang lebih panjang \( \E[X \mid \sigma(Y)] \).
Dalam keadaan di atas, misalkan \( \E(|X|) \lt \infty \). Maka \[ \E(X \mid Y) = \int_S x g(x \mid Y) \, dx \]
Detail:
Sekali lagi, kita menunjukkan bahwa integral pada ruas kanan memenuhi sifat-sifat dalam definisi di bagi \( \E(X \mid Y) = \E[X \mid \sigma(Y)] \). Pertama, \( y \mapsto \int_S x g(x \mid y) \, dx \) terukur sebagai fungsi dari \( T \) ke \( \R \); oleh karena itu, peubah acak \( \int_x g(x \mid Y) \, dx \) merupakan fungsi terukur dari \( Y \), sehingga terukur terhadap \( \sigma (Y) \). Selanjutnya, misalkan \( B \in \sigma(Y) \). Maka \( B = \{Y \in A\} \) untuk suatu \( A \in \mathscr F \). Jadi, \begin{align*} \E\left[\int_S x g(x \mid Y) \, dx; B\right] & = \E\left[\int_S x g(x \mid Y) \, dx; Y \in A\right] \\ & = \E\left[\int_S x \frac{f(x, y)}{h(y)} \, dx; Y \in A\right] = \int_A \int_S x \frac{f(x, y)}{h(y)} h(y) \, dx \, dy \\ & = \int_{S \times A} x f(x, y) \, d(x, y) = \E(X; Y \in A) = \E(X; B) \end{align*}
Prediktor Terbaik
Dalam pembahasan elementer tentang nilai harapan bersyarat, kita menunjukkan bahwa nilai harapan bersyarat peubah acak bernilai real \( X \) apabila diketahui peubah acak umum \( Y \) adalah prediktor terbaik bagi \( X \), dalam arti kuadrat terkecil, di antara semua fungsi bernilai real dari \( Y \). Pernyataan yang lebih cermat ialah bahwa \( \E(X \mid Y) \) merupakan prediktor terbaik bagi \( X \) di antara semua peubah acak bernilai real yang terukur terhadap \( \sigma(Y) \). Dengan demikian, tidak mengherankan bahwa jika \( \mathscr G \) adalah subaljabar-\( \sigma \) dari \( \mathscr F \), maka \( \E(X \mid \mathscr G) \) merupakan prediktor terbaik bagi \( X \), dalam arti kuadrat terkecil, di antara semua peubah acak bernilai real yang terukur terhadap \( \mathscr G) \). Kita akan menunjukkan bahwa hal ini memang benar dalam subbagian ini. Bukti-buktinya sangat mirip dengan yang diberikan dalam bagian elementer. Sepanjang pembahasan ini, kita mengasumsikan bahwa \( \mathscr G \) adalah subaljabar-\( \sigma \) dari \( \mathscr F \) dan semua peubah acak yang disebutkan bernilai real.
Misalkan \( X \) dan \( U \) adalah peubah acak dengan \( \E(|X|) \lt \infty \) dan \( \E(|X U|) \lt \infty \), serta \( U \) terukur terhadap \( \mathscr G \). Maka \( X - \E(X \mid \mathscr G) \) dan \( U \) tak berkorelasi.
Detail:
Perhatikan bahwa \( X - \E(X \mid \mathscr G) \) memiliki rataan 0 menurut sifat rataan dalam . Dengan menggunakan sifat-sifat yang mencirikan \( \E(X \mid \mathscr G) \) dalam , kita memperoleh \[ \cov[X - \E(X \mid \mathscr G), U] = \E(U [X - \E(X \mid \mathscr G)]) = \E(U X) - \E[U \E(X \mid \mathscr G] = \E(U X) - \E(U X) = 0 \]
Hasil berikut merupakan hasil utama: \( \E(X \mid \mathscr G) \) lebih dekat ke \( X \) dalam arti kuadrat rata-rata daripada peubah acak lain mana pun yang terukur terhadap \( \mathscr G \). Jadi, jika \( \mathscr G \) mewakili informasi yang kita miliki, maka \( \E(X \mid \mathscr G) \) adalah estimasi terbaik yang dapat kita buat bagi \( X \).
Misalkan \( X \) dan \( U \) adalah peubah acak dengan \( \E(X^2) \lt \infty \) dan \( \E(U^2) \lt \infty\), serta \( U \) terukur terhadap \( \mathscr G \). Maka
- \( \E([X - \E(X \mid \mathscr G)]^2) \le \E[(X - U)^2] \).
- Kesamaan berlaku jika dan hanya jika \(\P[U = \E(X \mid \mathscr G)] = 1 \), sehingga \( U \) dan \( \E(X \mid \mathscr G) \) ekuivalen.
Detail:
- Perhatikan bahwa \begin{align} \E[(X - U)^2] & = \E([X - \E(X \mid \mathscr G) + \E(X \mid \mathscr G) - U]^2) \\ & = \E([X - \E(X \mid \mathscr G)]^2) + 2 \E([X - \E(X \mid \mathscr G)][\E(X \mid \mathscr G) - U]) + \E([\E(X \mid \mathscr G) - U]^2 ) \end{align} Menurut , \( X - \E(X \mid \mathscr G) \) memiliki rataan 0, sehingga suku tengah dalam persamaan yang ditampilkan adalah \( 2 \cov[X - \E(X \mid \mathscr G), \E(X \mid \mathscr G) - U] \). Namun, \( \E(X \mid \mathscr G) - U \) terukur-\( \mathscr G \), sehingga kovarians ini bernilai 0 menurut . Oleh karena itu, \[ \E[(X - U)^2] = \E([X - \E(X \mid \mathscr G)]^2) + \E([\E(X \mid \mathscr G) - U]^2 ) \ge \E([X - \E(X \mid \mathscr G)]^2) \]
- Kesamaan berlaku jika dan hanya jika \( \E([\E(X \mid \mathscr G) - U]^2 ) = 0 \), jika dan hanya jika \(\P[U = \E(X \mid \mathscr G)] = 1 \)
Varians Bersyarat
Sekali lagi, kita mengasumsikan bahwa \( \mathscr G \) adalah subaljabar-\( \sigma \) dari \( \mathscr F \) dan semua peubah acak yang disebutkan bernilai real, kecuali dinyatakan lain. Wajar untuk mendefinisikan varians bersyarat suatu peubah acak apabila diketahui \( \mathscr G \) dengan cara yang sama seperti varians biasa, tetapi dengan semua nilai harapan dikondisikan pada \( \mathscr G \).
Misalkan \( X \) adalah peubah acak dengan \( \E(X^2) \lt \infty \). Varians bersyarat \( X \) apabila diketahui \(\mathscr G\) adalah \[ \var(X \mid \mathscr G) = \E\left([X - \E(X \mid \mathscr G)]^2 \biggm| \mathscr G\right) \]
Seperti semua nilai harapan bersyarat relatif terhadap \( \mathscr G \), \( \var(X \mid \mathscr G) \) adalah peubah acak yang terukur terhadap \( \mathscr G \) dan tunggal hingga ekuivalensi. Sifat pertama serupa dengan rumus komputasi bagi varians biasa.
Misalkan lagi bahwa \( X \) adalah peubah acak dengan \( \E(X^2) \lt \infty \). Maka \[\var(X \mid \mathscr G) = \E(X^2 \mid \mathscr G) - [\E(X \mid \mathscr G)]^2\]
Detail:
Dengan mengembangkan kuadrat dalam definisi dan menggunakan sifat-sifat dasar nilai harapan bersyarat, kita memperoleh
\begin{align} \var(X \mid \mathscr G) & = \E(X^2 - 2 X \E(X \mid \mathscr G) + [\E(X \mid \mathscr G)]^2 \biggm| \mathscr G ) = \E(X^2 \mid \mathscr G) - 2 \E[X \E(X \mid \mathscr G) \mid \mathscr G] + \E([\E(X \mid \mathscr G)]^2 \mid \mathscr G) \\ & = \E(X^2 \mid \mathscr G) - 2 \E(X \mid \mathscr G) \E(X \mid \mathscr G) + [\E(X \mid \mathscr G)]^2 = \E(X^2 \mid \mathscr G) - [\E(X \mid \mathscr G)]^2 \end{align}Berikutnya adalah rumus bagi varians biasa dalam nilai varians bersyarat dan nilai harapan.
Misalkan lagi bahwa \( X \) adalah peubah acak dengan \( \E(X^2) \lt \infty \). Maka \[\var(X) = \E[\var(X \mid \mathscr G)] + \var[\E(X \mid \mathscr G)]\]
Detail:
Dari dan sifat-sifat nilai harapan bersyarat, diperoleh \( \E[\var(X \mid \mathscr G)] = \E(X^2) - \E([\E(X \mid \mathscr G)]^2) \). Namun, \( \E(X^2) = \var(X) + [\E(X)]^2 \), dan demikian pula \(\E([\E(X \mid \mathscr G)]^2) = \var[\E(X \mid \mathscr G)] + (\E[\E(X \mid \mathscr G)])^2 \). Selain itu, \( \E[\E(X \mid \mathscr G)] = \E(X) \), sehingga dengan menyubstitusikannya kita memperoleh \( \E[\var(X \mid \mathscr G)] = \var(X) - \var[\E(X \mid \mathscr G)] \).
Jadi, varians \( X \) adalah nilai harapan varians bersyarat ditambah varians nilai harapan bersyarat. Hasil ini sering menjadi cara yang baik untuk menghitung \(\var(X)\) ketika kita mengetahui distribusi bersyarat \(X\) apabila diketahui \(\mathscr G\). Selanjutnya, sifat ini menghasilkan rumus bagi galat kuadrat rata-rata ketika \( \E(X \mid \mathscr G) \) dipandang sebagai prediktor \( X \).
Misalkan lagi bahwa \( X \) adalah peubah acak dengan \( \E(X^2) \lt \infty \). \[ \E([X - \E(X \mid \mathscr G)]^2) = \var(X) - \var[\E(X \mid \mathscr G)] \]
Mari kembali ke kajian tentang prediktor peubah acak bernilai real \(X\), dan membandingkannya dalam hal galat kuadrat rata-rata.
Misalkan lagi bahwa \( X \) adalah peubah acak dengan \( \E(X^2) \lt \infty \).
- Prediktor konstan terbaik bagi \(X\) adalah \(\E(X)\), dengan galat kuadrat rata-rata \(\var(X)\).
- Jika \(Y\) adalah peubah acak lain dengan \( \E(Y^2) \lt \infty \), maka prediktor terbaik bagi \(X\) di antara fungsi linear dari \(Y\) adalah \[ L(X \mid Y) = \E(X) + \frac{\cov(X,Y)}{\var(Y)}[Y - \E(Y)] \] dengan galat kuadrat rata-rata \( \var(X)[1 - \cor^2(X,Y)]\).
- Jika \(Y\) adalah peubah acak (umum), maka prediktor terbaik bagi \(X\) di antara semua fungsi bernilai real dari \(Y\) yang bervarians hingga adalah \(\E(X \mid Y)\), dengan galat kuadrat rata-rata \( \var(X) - \var[\E(X \mid Y)]\).
- Jika \(\mathscr G\) adalah subaljabar-\( \sigma \) dari \( \mathscr F \), maka prediktor terbaik bagi \(X\) di antara peubah acak bervarians hingga yang terukur terhadap \(\mathscr G\) adalah \(\E(X \mid \mathscr G)\), dengan galat kuadrat rata-rata \(\var(X) - \var[\E(X \mid \mathscr G)]\).
Tentu saja, (a) adalah kasus khusus (d) dengan \( \mathscr G = \{\emptyset, \Omega\} \), dan (c) adalah kasus khusus (d) dengan \( \mathscr G = \sigma(Y) \). Hanya (b), yakni kasus linear, yang tidak dapat ditafsirkan sebagai pengondisian terhadap suatu aljabar-\( \sigma \).
Kovarians Bersyarat
Misalkan lagi bahwa \( \mathscr G \) adalah subaljabar-\( \sigma \) dari \( \mathscr F \). Kovarians bersyarat dua peubah acak didefinisikan seperti kovarians biasa, tetapi dengan semua nilai harapan dikondisikan pada \( \mathscr G \).
Misalkan \( X \) dan \( Y \) adalah peubah acak dengan \( \E(X^2) \lt \infty \) dan \( \E(Y^2) \lt \infty \). Kovarians bersyarat \(X\) dan \( Y \) apabila diketahui \(\mathscr G\) didefinisikan sebagai \[ \cov(X, Y \mid \mathscr G) = \E\left([X - \E(X \mid \mathscr G)] [Y - \E(Y \mid \mathscr G)] \biggm| \mathscr G \right) \]
Jadi, \( \cov(X, Y \mid \mathscr G) \) adalah peubah acak yang terukur terhadap \( \mathscr G \) dan tunggal hingga ekuivalensi. Sebagaimana mestinya, kovarians bersyarat menggeneralisasi varians bersyarat.
Misalkan \( X \) adalah peubah acak dengan \( \E(X^2) \lt \infty \). Maka \( \cov(X, X \mid \mathscr G) = \var(X \mid \mathscr G) \).
Hasil berikutnya adalah rumus komputasi yang serupa dengan rumus bagi kovarians baku—kovarians adalah rataan hasil kali dikurangi hasil kali rataan, tetapi kini semua nilai harapan dikondisikan pada \( \mathscr G \):
Misalkan lagi bahwa \( X \) dan \( Y \) adalah peubah acak dengan \( \E(X^2) \lt \infty \) dan \( \E(Y^2) \lt \infty \). Maka \[\cov(X, Y \mid \mathscr G) = \E(X Y \mid \mathscr G) - \E(X \mid \mathscr G) E(Y \mid \mathscr G)\]
Detail:
Dengan mengembangkan hasil kali dalam definisi dan menggunakan sifat-sifat dasar nilai harapan bersyarat, kita memperoleh
\begin{align} \cov(X, Y \mid \mathscr G) & = \E\left(X Y - X \E(Y \mid \mathscr G) - Y E(X \mid \mathscr G) + \E(X \mid \mathscr G) E(Y \mid \mathscr G) \biggm| \mathscr G \right) = \E(X Y \mid \mathscr G) - \E\left[X \E(Y \mid \mathscr G) \mid \mathscr G\right] - \E\left[Y \E(X \mid \mathscr G) \mid \mathscr G\right] + \E\left[\E(X \mid \mathscr G) \E(Y \mid \mathscr G) \mid \mathscr G\right] \\ & = \E\left(X Y \mid \mathscr G\right) - \E(X \mid \mathscr G) \E(Y \mid \mathscr G) - \E(X \mid \mathscr G) \E(Y \mid \mathscr G) + \E(X \mid \mathscr G) \E(Y \mid \mathscr G) = \E\left(X Y \mid \mathscr G\right) - \E(X \mid \mathscr G) E(Y \mid \mathscr G) \end{align}Hasil berikut menunjukkan cara menghitung kovarians biasa \( X \) dan \( Y \) dengan mengondisikan pada \( X \).
Misalkan lagi bahwa \( X \) dan \( Y \) adalah peubah acak dengan \( \E(X^2) \lt \infty) \) dan \( \E(Y^2 \lt \infty) \). Maka \[\cov(X, Y) = \E\left[\cov(X, Y \mid \mathscr G)\right] + \cov\left[\E(X \mid \mathscr G), \E(Y \mid \mathscr G) \right]\]
Detail:
Dari (29) dan sifat-sifat nilai harapan bersyarat, kita memperoleh \[ \E\left[\cov(X, Y \mid \mathscr G)\right] = \E(X Y) - \E\left[\E(X\mid \mathscr G) \E(Y \mid \mathscr G) \right] \] Namun, \( \E(X Y) = \cov(X, Y) + \E(X) \E(Y)\), dan demikian pula, \[\E\left[\E(X \mid \mathscr G) \E(Y \mid \mathscr G)\right] = \cov[\E(X \mid \mathscr G), \E(Y \mid \mathscr G) + \E[\E(X\mid \mathscr G)] \E[\E(Y \mid \mathscr G)]\] Selain itu, \( \E\left[\E(X \mid \mathscr G)\right] = \E(X) \) dan \( \E[\E(Y \mid \mathscr G)] = \E(Y) \), sehingga dengan menyubstitusikannya kita memperoleh \[ \E\left[\cov(X, Y \mid \mathscr G)\right] = \cov(X, Y) - \cov\left[\E(X \mid \mathscr G), \E(Y \mid \mathscr G)\right] \]
Jadi, kovarians \( X \) dan \( Y \) adalah nilai harapan kovarians bersyarat ditambah kovarians nilai-nilai harapan bersyarat. Hasil ini sering menjadi cara yang baik untuk menghitung \(\cov(X, Y)\) ketika kita mengetahui distribusi bersyarat \((X, Y)\) apabila diketahui \(\mathscr G\).