Konvergensi dalam Distribusi

Bagian ini berkaitan dengan konvergensi distribusi probabilitas, sebuah topik yang sangat penting dalam teori probabilitas. Karena kita hampir secara eksklusif akan membahas konvergensi berbagai macam barisan, akan sangat membantu bila memperkenalkan notasi \(\N_+^* = \N_+ \cup \{\infty\} = \{1, 2, \ldots\} \cup \{\infty\}\).

Distribusi pada \(\R\)

Definisi

Kita mulai dengan kerangka yang paling penting dan mendasar, yaitu ruang terukur \((\R, \ms R)\), dengan \(\R\) sebagai himpunan bilangan real dan \(\ms R\) sebagai aljabar-\(\sigma\) Borel dari himpunan-himpunan bagian \(\R\). Karena aljabar-\(\sigma\) ini sudah dipahami, biasanya kita tidak perlu menyebutkannya secara eksplisit. Ingat bahwa jika \(P\) adalah ukuran probabilitas pada \(\R\), maka fungsi \(F: \R \to [0, 1]\) yang didefinisikan oleh \(F(x) = P(-\infty, x]\) untuk \(x \in \R\) adalah fungsi distribusi (kumulatif) dari \(P\). Ingat pula bahwa \(F\) sepenuhnya menentukan \(P\). Berikut definisi konvergensi ukuran probabilitas dalam kerangka ini:

Misalkan \(P_n\) adalah ukuran probabilitas pada \(\R\) dengan fungsi distribusi \(F_n\) untuk setiap \(n \in \N_+^*\). Maka \(P_n\) konvergen (secara lemah) ke \(P_\infty\) saat \(n \to \infty\) jika \(F_n(x) \to F_\infty(x)\) saat \(n \to \infty\) untuk setiap \(x \in \R\) tempat \(F_\infty\) kontinu. Kita menulis \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\).

Ingat bahwa fungsi distribusi \(F\) kontinu di \(x \in \R\) jika dan hanya jika \(\P(X = x) = 0\), sehingga \(x\) bukan atom distribusi tersebut (yakni titik dengan probabilitas positif). Kita akan segera melihat mengapa syarat pada \(F_\infty\) ini tepat. Tentu saja, ukuran probabilitas pada \(\R\) biasanya dikaitkan dengan peubah acak bernilai real untuk suatu eksperimen acak yang dimodelkan oleh ruang probabilitas \((\Omega, \ms F, \P)\). Sebagai tinjauan, \(\Omega\) adalah himpunan hasil, \(\ms F\) adalah aljabar-\(\sigma\) kejadian, dan \(\P\) adalah ukuran probabilitas pada ruang sampel \((\Omega, \ms F)\). Jika \(X\) adalah peubah acak bernilai real yang didefinisikan pada ruang probabilitas tersebut, maka distribusi probabilitas dari \(X\) adalah ukuran probabilitas \(P\) pada \(\R\) yang didefinisikan oleh \(P(A) = \P(X \in A)\) untuk \(A \in \ms R\), sedangkan fungsi distribusi dari \(X\) adalah fungsi \(F\) yang didefinisikan oleh \(F(x) = \P(X \le x)\) untuk \(x \in \R\). Berikut terminologi konvergensi yang digunakan dalam kerangka ini:

Misalkan \(X_n\) adalah peubah acak bernilai real dengan distribusi \(P_n\) untuk setiap \(n \in \N_+^*\). Jika \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\), kita mengatakan bahwa \(X_n\) konvergen dalam distribusi ke \(X_\infty\) saat \(n \to \infty\). Kita menulis \(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi.

Jadi, jika \(F_n\) adalah fungsi distribusi dari \(X_n\) untuk \(n \in \N_+^*\), maka \(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi apabila \(F_n(x) \to F_\infty(x)\) di setiap titik \(x \in \R\) tempat \(F_\infty\) kontinu. Di satu sisi, terminologi dan notasi ini berguna karena sebagian besar ukuran probabilitas memang dikaitkan dengan peubah acak (dan setiap ukuran probabilitas dapat dikaitkan dengan suatu peubah acak). Di sisi lain, terminologi dan notasi ini dapat sedikit menyesatkan karena peubah-peubah acak tersebut, sebagai fungsi, tidak konvergen dalam pengertian apa pun; bahkan peubah-peubah itu tidak harus didefinisikan pada ruang probabilitas yang sama. Hanya distribusinya yang konvergen. Namun, peubah-peubah acak itu sering kali memang didefinisikan pada ruang probabilitas yang sama \((\Omega, \ms F, \P)\). Dalam hal ini, kita dapat membandingkan konvergensi dalam distribusi dengan ragam konvergensi lain yang telah atau akan kita pelajari:

Kita akan menunjukkan bahwa konvergensi dalam distribusi merupakan ragam konvergensi yang paling lemah di antara semuanya. Namun, kekuatan konvergensi tidak boleh disamakan dengan tingkat kepentingannya. Konvergensi dalam distribusi merupakan salah satu ragam konvergensi yang paling penting; teorema limit pusat, salah satu dari dua teorema dasar probabilitas, adalah teorema tentang konvergensi dalam distribusi.

Contoh Awal

Contoh-contoh berikut menunjukkan mengapa definisi diberikan dalam hal fungsi distribusi, bukan fungsi kepadatan probabilitas, serta mengapa konvergensi hanya disyaratkan pada titik-titik kekontinuan fungsi distribusi limit. Perhatikan bahwa distribusi yang dibahas adalah ukuran probabilitas pada \((\R, \ms R)\), meskipun dukungannya mungkin merupakan himpunan bagian yang jauh lebih kecil. Untuk contoh pertama, jika suatu barisan deterministik konvergen dalam pengertian kalkulus biasa, sewajarnya kita menginginkan barisan tersebut (dipandang sebagai peubah acak) juga konvergen dalam distribusi. Bukalah bagian bukti agar contoh ini dapat dipahami sepenuhnya.

Misalkan \(x_n \in \R\) untuk \(n \in \N_+^*\). Definisikan peubah acak \(X_n = x_n\) dengan probabilitas 1 untuk setiap \(n \in \N_+^*\). Maka \(x_n \to x_\infty\) saat \(n \to \infty\) jika dan hanya jika \(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi.

Detail:

Untuk \(n \in \N_+^*\), fungsi distribusi \(F_n\) dari \(X_n\) diberikan oleh \(F_n(x) = 0\) untuk \(x \lt x_n\) dan \(F_n(x) = 1\) untuk \(x \ge x_n\).

Misalkan \(x_n \to x_\infty\) saat \(n \to \infty\). Jika \(x \lt x_\infty\), maka \(x \lt x_n\), sehingga \(F_n(x) = 0\), untuk semua kecuali sejumlah hingga \(n \in \N_+\). Jadi \(F_n(x) \to 0\) saat \(n \to \infty\). Jika \(x \gt x_\infty\), maka \(x \gt x_n\), sehingga \(F_n(x) = 1\), untuk semua kecuali sejumlah hingga \(n \in \N_+\). Jadi \(F_n(x) \to 1\) saat \(n \to \infty\). Tanpa informasi lebih lanjut, tidak dapat disimpulkan apa pun tentang perilaku limit \(F_n(x_\infty)\) saat \(n \to \infty\). Misalnya, jika \(x_n \le x_\infty\) untuk semua kecuali sejumlah hingga \(n \in \N_+\), maka \(F_n(x_\infty) \to 1\) saat \(n \to \infty\). Jika \(x_n \gt x_\infty\) untuk semua kecuali sejumlah hingga \(n \in \N_+\), maka \(F_n(x_\infty) \to 0\) saat \(n \to \infty\). Jika \(x_n \lt x_\infty\) untuk tak hingga banyak \(n \in \N_+\) dan \(x_n \gt x_\infty\) untuk tak hingga banyak \(n \in \N_+\), maka \(F_n(x_\infty)\) tidak memiliki limit saat \(n \to \infty\). Bagaimanapun, \(F_n(x) \to F_\infty(x)\) saat \(n \to \infty\) untuk setiap \(x \in \R\), kecuali mungkin di \(x_\infty\), satu-satunya titik diskontinuitas \(F_\infty\). Oleh karena itu, \(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi.
Sebaliknya, misalkan \(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi. Jika \(x \lt x_\infty\), maka \(F_n(x) \to 0\) saat \(n \to \infty\), sehingga \(x \lt x_n\) untuk semua kecuali sejumlah hingga \(n \in \N_+\). Jika \(x \gt x_\infty\), maka \(F_n(x) \to 1\) saat \(n \to \infty\), sehingga \(x \ge x_n\) untuk semua kecuali sejumlah hingga \(n \in \N_+\). Jadi, untuk setiap \(\epsilon \gt 0\), berlaku \(x_n \in (x_\infty - \epsilon, x_\infty + \epsilon)\) untuk semua kecuali sejumlah hingga \(n \in \N_+\). Dengan demikian, \(x_n \to x_\infty\) saat \(n \to \infty\).

Bukti telah selesai, tetapi mari kita lihat fungsi kepadatan probabilitas untuk memastikan bahwa fungsi tersebut bukan objek kajian yang tepat. Untuk \(n \in \N_+^*\), fungsi kepadatan \(f_n\) dari \(X_n\) (terhadap ukuran pencacahan) diberikan oleh \(f_n(x_n) = 1\) dan \(f_n(x) = 0\) untuk \(x \in \R \setminus \{x_n\}\). Hanya jika \(x_n = x_\infty\) untuk semua kecuali sejumlah hingga \(n \in \N_+\), barulah kita mempunyai \(f_n(x) \to f(x)\) untuk \(x \in \R\).

Untuk contoh berikut, ingat bahwa \( \Q \) menyatakan himpunan bilangan rasional. Sekali lagi, bukalah bagian bukti agar contoh ini dapat dipahami sepenuhnya.

Untuk \(n \in \N_+\), misalkan \(P_n\) menyatakan distribusi seragam diskret pada \(\left\{\frac{1}{n}, \frac{2}{n}, \ldots \frac{n-1}{n}, 1\right\}\), dan misalkan \(P_\infty\) menyatakan distribusi seragam kontinu pada interval \([0, 1]\). Maka

\(P_n \Rightarrow P_\infty\) saat \(n \to \infty\)
\(P_n(\Q) = 1\) untuk setiap \(n \in \N_+\) tapi \(P_\infty(\Q) = 0\).

Detail:

Seperti biasa, misalkan \(F_n\) menyatakan fungsi distribusi dari \(P_n\) untuk \(n \in \N_+^*\).

Untuk \(n \in \N_+\) perhatikan bahwa \( F_n \) diberikan oleh \( F_n(x) = \lfloor n \, x \rfloor / n \) untuk \( x \in [0, 1] \). Tapi \( n \, x - 1 \le \lfloor n \, x \rfloor \le n \, x \) jadi \( \lfloor n \, x \rfloor / n \to x \) saat \( n \to \infty \) untuk \(x \in [0, 1]\). Tentu saja, \(F_n(x) = 0\) untuk \(x \lt 0\) dan \(F_n(x) = 1\) untuk \(x \gt 1\). Jadi \(F_n(x) \to F_\infty(x)\) saat \(n \to \infty\) untuk semua \(x \in \R\).
Menurut definisi, \(P_n(\Q) = 1\) untuk \(n \in \N_+\). Di sisi lain, \( P_\infty \) adalah distribusi kontinu dan \( \Q \) terhitung, sehingga \(P_\infty(\Q) = 0\).

Bukti telah selesai, tetapi mari kita lihat fungsi kepadatan probabilitas. Untuk \(n \in \N_+\), fungsi kepadatan \(f_n\) dari \(P_n\) (sekali lagi terhadap ukuran pencacahan) diberikan oleh \(f_n(x) = \frac{1}{n}\) untuk \(x \in \left\{\frac{1}{n}, \frac{2}{n}, \ldots \frac{n-1}{n}, 1\right\}\) dan \(f_n(x) = 0\) untuk nilai lainnya. Oleh karena itu, \( 0 \le f_n(x) \le \frac{1}{n} \) untuk \(n \in \N_+\) dan \(x \in \R\), sehingga \(f_n(x) \to 0\) saat \(n \to \infty\) untuk setiap \( x \in \R \).

Inti contoh ini adalah bahwa distribusi seragam diskret pada \(\left\{\frac{1}{n}, \frac{2}{n}, \ldots \frac{n-1}{n}, 1\right\}\) sewajarnya konvergen ke distribusi seragam kontinu pada \([0, 1]\). Namun, sekali lagi, fungsi kepadatan probabilitas jelas bukan objek kajian yang tepat.

Fungsi Kepadatan Probabilitas

Seperti ditunjukkan oleh contoh , suatu barisan distribusi diskret sangat mungkin konvergen ke distribusi kontinu (atau sebaliknya). Ingat bahwa fungsi kepadatan probabilitas memiliki arti yang sangat berbeda dalam kasus diskret dan kontinu: kepadatan terhadap ukuran pencacahan pada kasus pertama, dan kepadatan terhadap ukuran Lebesgue pada kasus kedua. Ini merupakan petunjuk lain bahwa fungsi distribusi, bukan fungsi kepadatan, adalah objek kajian yang tepat. Namun, jika fungsi-fungsi kepadatan probabilitas dengan jenis yang sama konvergen, distribusinya juga konvergen. Ingat kembali bahwa kita memandang distribusi probabilitas sebagai ukuran pada \(\R\), bahkan ketika dukungannya merupakan himpunan bagian yang lebih kecil dari \(\R\).

Konvergensi dalam distribusi berdasarkan fungsi kepadatan probabilitas.

Misalkan \(f_n\) adalah fungsi kepadatan probabilitas untuk distribusi diskret \(P_n\) pada himpunan terhitung \(S \subseteq \R\) untuk setiap \(n \in \N_+^*\). Jika \(f_n(x) \to f_\infty(x)\) saat \(n \to \infty\) untuk setiap \(x \in S\), maka \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\).
Misalkan \(f_n\) adalah fungsi kepadatan probabilitas untuk distribusi kontinu \(P_n\) pada \(\R\) untuk setiap \(n \in \N_+^*\). Jika \(f_n(x) \to f(x)\) saat \(n \to \infty\) untuk semua \(x \in \R\) (kecuali mungkin pada himpunan berukuran Lebesgue 0), maka \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\).

Detail:

Tetapkan \(x \in \R\). Maka \(P_n(-\infty, x] = \sum_{y \in S, \, y \le x} f(y)\) untuk \(n \in \N_+\) dan \(P(-\infty, x] = \sum_{y \in S, \, y \le x} f(y)\). Dari Scheffé pada ruang ukur \((S, \ms P(S), \#)\), diperoleh \(P_n(-\infty, x] \to P(-\infty, x]\) saat \(n \to \infty\).
Tetapkan \(x \in \R\). Maka \(P_n(-\infty, x] = \int_{-\infty}^x f(y) \, dy\) untuk \(n \in \N_+\) dan \(P(-\infty, x] = \int_{-\infty}^x f(y) \, dy\). Dari Scheffé pada ruang ukur \((\R, \ms R, \lambda)\), diperoleh \(P_n(-\infty, x] \to P(-\infty, x]\) saat \(n \to \infty\).

Konvergensi dalam Probabilitas

Secara alami, kita ingin membandingkan konvergensi dalam distribusi dengan ragam konvergensi lain yang telah dipelajari.

Misalkan \(X_n\) adalah peubah acak bernilai real untuk setiap \(n \in \N_+^*\), dan semuanya didefinisikan pada ruang probabilitas yang sama. Jika \(X_n \to X_\infty\) saat \(n \to \infty\) dalam probabilitas, maka \(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi.

Detail:

Misalkan \(F_n\) menyatakan fungsi distribusi dari \(X_n\) untuk \(n \in \N_+^*\). Tetapkan \(\epsilon \gt 0\). Pertama, perhatikan bahwa \(\P(X_n \le x) = \P(X_n \le x, X_\infty \le x + \epsilon) + \P(X_n \le x, X_\infty \gt x + \epsilon) \). Oleh karena itu, \(F_n(x) \le F_\infty(x + \epsilon) + \P\left(\left|X_n - X_\infty\right| \gt \epsilon\right)\). Selanjutnya, \(\P(X_\infty \le x - \epsilon) = \P(X_\infty \le x - \epsilon, X_n \le x) + \P(X_\infty \le x - \epsilon, X_n \gt x)\). Jadi \(F_\infty(x - \epsilon) \le F_n(x) + \P\left(\left|X_n - X_\infty\right|\right) \gt \epsilon\). Dari kedua hasil terakhir diperoleh \[ F_\infty(x - \epsilon) - \P\left(\left|X_n - X_\infty\right| \gt \epsilon\right) \le F_n(x) \le F_\infty(x + \epsilon) + \P\left(\left|X_n - X_\infty\right| \gt \epsilon\right) \] Dengan mengambil \(n \to \infty\) dan menggunakan konvergensi dalam probabilitas, diperoleh \[ F_\infty(x - \epsilon) \le \liminf_{n \to \infty} F_n(x) \le \limsup_{n \to \infty} F_n(x) \le F_\infty(x + \epsilon) \] Terakhir, dengan mengambil \(\epsilon \downarrow 0\), kita melihat bahwa jika \(F_\infty\) kontinu di \(x\), maka \(F_n(x) \to F_\infty(x)\) saat \(n \to \infty\).

Contoh berikut menunjukkan bahwa meskipun peubah-peubah didefinisikan pada ruang probabilitas yang sama, suatu barisan dapat konvergen dalam distribusi tetapi tidak dalam pengertian lainnya.

Misalkan \(X\) adalah peubah indikator dengan \(\P(X = 0) = \P(X = 1) = \frac{1}{2}\), sehingga \(X\) merupakan hasil pelontaran koin seimbang. Misalkan \(X_n = 1 - X \) untuk \(n \in \N_+\). Maka

\(X_n \to X\) saat \(n \to \infty\) dalam distribusi.
\(\P(X_n \text{ does not converge to } X \text{ as } n \to \infty) = 1\).
\(X_n \) tidak konvergen ke \( X \) saat \(n \to \infty\) dalam probabilitas.
\(X_n\) tidak konvergen ke \(X\) saat \(n \to \infty\) dalam rataan.

Detail:

Hal ini langsung berlaku karena \(1 - X\) memiliki distribusi yang sama dengan \(X\).
Hal ini mengikuti dari \(\left|X_n - X\right| = 1\) untuk setiap \(n \in \N_+\).
Hal ini mengikuti dari \(\P\left(\left|X_n - X\right| \gt \frac{1}{2}\right) = 1\) untuk setiap \(n \in \N_+\).
Hal ini mengikuti dari \(\E\left(\left|X_n - X\right|\right) = 1\) untuk setiap \(n \in \N_+\).

Fakta penting yang memungkinkan contoh penyangkal ini bekerja adalah bahwa \(1 - X\) memiliki distribusi yang sama dengan \(X\). Setiap peubah acak dengan sifat ini dapat digunakan. Jadi, jika Anda menginginkan contoh penyangkal dengan distribusi kontinu, misalkan \(X\) mempunyai fungsi kepadatan probabilitas \(f\) yang diberikan oleh \(f(x) = 6 x (1 - x)\) untuk \(0 \le x \le 1\). Distribusi \(X\) merupakan contoh distribusi beta.

Ringkasan berikut memberikan implikasi terhadap berbagai mode konvergensi; tidak ada implikasi lain yang berlaku secara umum.

Misalkan \(X_n\) adalah peubah acak bernilai real untuk setiap \(n \in \N_+^*\), dan semuanya didefinisikan pada ruang probabilitas yang sama.

Jika \(X_n \to X_\infty\) saat \(n \to \infty\) dengan probabilitas 1, maka \(X_n \to X_\infty\) saat \(n \to \infty\) dalam probabilitas.
Jika \(X_n \to X_\infty\) saat \(n \to \infty\) dalam rataan, maka \(X_n \to X_\infty\) saat \(n \to \infty\) dalam probabilitas.
Jika \(X_n \to X_\infty\) saat \(n \to \infty\) dalam probabilitas, maka \(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi.

Jadi, konvergensi dengan probabilitas 1, konvergensi dalam probabilitas, dan konvergensi dalam rataan semuanya mengakibatkan konvergensi dalam distribusi. Dengan demikian, ragam konvergensi yang terakhir memang yang paling lemah. Namun, teorema berikut memberikan konvers penting bagi bagian (c) pada ketika peubah limitnya merupakan konstanta. Tentu saja, konstanta dapat dipandang sebagai peubah acak yang didefinisikan pada ruang probabilitas mana pun.

Misalkan \(X_n\) adalah peubah acak bernilai real untuk setiap \(n \in \N_+\), semuanya didefinisikan pada ruang probabilitas yang sama, dan misalkan \(c \in \R\). Jika \(X_n \to c\) saat \(n \to \infty\) dalam distribusi, maka \(X_n \to c\) saat \(n \to \infty\) dalam probabilitas.

Detail:

Asumsikan bahwa ruang probabilitasnya adalah \((\Omega, \ms F, \P)\). Perhatikan dulu itu \(\P(X_n \le x) \to 0\) saat \(n \to \infty\) jika \(x \lt c\) dan \(\P(X_n \le x) \to 1\) saat \(n \to \infty\) jika \(x \gt c\). Oleh karena itu \(\P\left(\left|X_n - c\right| \le \epsilon\right) \to 1\) saat \(n \to \infty\) untuk setiap \(\epsilon \gt 0\).

Representasi Skorohod

Seperti tercantum dalam ringkasan di , konvergensi dalam distribusi tidak berarti konvergensi dengan probabilitas 1, meskipun peubah acak didefinisikan pada ruang probabilitas yang sama. Namun, teorema berikutnya, yang dikenal sebagai Teorema representasi Skorohod, memberikan hasil parsial yang penting ke arah ini.

Misalkan \(P_n\) adalah ukuran probabilitas pada \(\R\) untuk setiap \(n \in \N_+^*\), dan \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\). Maka terdapat peubah acak bernilai real \(X_n\) untuk \(n \in \N_+^*\), semuanya didefinisikan pada ruang probabilitas yang sama, sedemikian sehingga

\(X_n\) memiliki distribusi \(P_n\) untuk \(n \in \N_+^*\).
\(X_n \to X_\infty\) saat \(n \to \infty\) dengan probabilitas 1.

Detail:

Misalkan \((\Omega, \ms F, \P)\) adalah ruang probabilitas dan \(U\) adalah peubah acak pada ruang tersebut yang berdistribusi seragam pada interval \((0, 1)\). Sebagai konstruksi konkret, kita dapat mengambil \(\Omega = (0, 1)\), \(\ms F\) sebagai aljabar-\(\sigma\) Borel dari himpunan-himpunan bagian terukur \((0, 1)\), dan \(\P\) sebagai ukuran Lebesgue pada \((\Omega, \ms F)\) (distribusi seragam pada \((0, 1)\)). Selanjutnya, ambil \(U\) sebagai fungsi identitas pada \(\Omega\), sehingga \(U(\omega) = \omega\) untuk \(\omega \in \Omega\). Dengan demikian, \(U\) memiliki distribusi probabilitas \(\P\). Konstruksi ini telah kita jumpai berkali-kali.

Untuk \(n \in \N_+^*\), misalkan \(F_n\) menyatakan fungsi distribusi dari \(P_n\), lalu definisikan \(X_n = F_n^{-1}(U)\), dengan \(F_n^{-1}\) sebagai fungsi kuantil dari \(F_n\). Ingat dari bagian tentang Transformasi bahwa \(X_n\) mempunyai fungsi distribusi \(F_n\), sehingga \(X_n\) memiliki distribusi \(P_n\) untuk \(n \in \N_+^*\). Tentu saja, peubah-peubah acak ini juga didefinisikan pada \((\Omega, \ms F, \P)\).
Misalkan \(\epsilon \gt 0\) dan \(u \in (0, 1)\). Pilih titik kekontinuan \(x\) dari \(F_\infty\) sedemikian sehingga \(F_\infty^{-1}(u) - \epsilon \lt x \lt F_\infty^{-1}(u)\). Maka \(F_\infty(x) \lt u\), sehingga \(F_n(x) \lt u\) untuk semua kecuali sejumlah hingga \(n \in \N_+\). Oleh karena itu, \(F_\infty^{-1}(u) - \epsilon \lt x \lt F_n^{-1}(u)\) untuk semua kecuali sejumlah hingga \(n \in \N_+\). Dengan mengambil \(n \to \infty\) dan \(u \downarrow 0\), diperoleh \(F_\infty^{-1}(u) \le \liminf_{n \to \infty} F_n^{-1}(u)\). Selanjutnya, misalkan \(v\) memenuhi \(0 \lt u \lt v \lt 1\) dan misalkan \(\epsilon \gt 0\). Pilih titik kekontinuan \(x\) dari \(F_\infty\) sedemikian sehingga \(F_\infty^{-1}(v) \lt x \lt F_\infty^{-1}(v) + \epsilon\). Maka \(u \lt v \lt F_\infty(x)\), sehingga \(u \lt F_n(x)\) untuk semua kecuali sejumlah hingga \(n \in \N_+\). Oleh karena itu, \(F_n^{-1}(u) \le x \lt F_\infty^{-1}(v) + \epsilon\) untuk semua kecuali sejumlah hingga \(n \in \N_+\). Dengan mengambil \(n \to \infty\) dan \(\epsilon \downarrow 0\), diperoleh \(\limsup_{n \to \infty} F_n^{-1}(u) \le F_\infty^{-1}(v)\). Dengan mengambil \(v \downarrow u\), diperoleh \(\limsup_{n \to \infty} F_n^{-1}(u) \le F_\infty^{-1}(u)\) jika \(u\) adalah titik kekontinuan \(F_\infty^{-1}\). Jadi, \(F_n^{-1}(u) \to F_\infty^{-1}(u)\) saat \(n \to \infty\) jika \(u\) adalah titik kekontinuan \(F_\infty^{-1}\). Ingat dari analisis bahwa karena \(F_\infty^{-1}(u)\) monoton naik, himpunan diskontinuitas \(D \subseteq (0, 1)\) dari \(F_\infty^{-1}\) terhitung. Karena \( U \) mempunyai distribusi kontinu, \(\P(U \in D) = 0\). Akhirnya, diperoleh \(\P(X_n \to X_\infty \text{ as } n \to \infty) = 1\).

Teorema berikut menggambarkan manfaat representasi Skorohod dan kegunaan notasi peubah acak untuk konvergensi dalam distribusi. Teorema ini juga cukup intuitif, karena gagasan dasarnya adalah bahwa kekontinuan seharusnya mempertahankan konvergensi.

Misalkan \(X_n\) adalah peubah acak bernilai real untuk setiap \(n \in \N_+^*\) (tidak harus didefinisikan pada ruang probabilitas yang sama). Misalkan pula \(g: \R \to \R\) terukur, \(D_g\) menyatakan himpunan diskontinuitas \(g\), dan \(P_\infty\) menyatakan distribusi \(X_\infty\). Jika \(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi dan \(P_\infty(D_g) = 0\), maka \(g(X_n) \to g(X_\infty)\) saat \(n \to \infty\) dalam distribusi.

Detail:

Menurut teorema Skorohod, terdapat peubah acak \(Y_n\) untuk \(n \in \N_+^*\), semuanya didefinisikan pada ruang probabilitas yang sama \((\Omega, \ms F, \P)\), sedemikian sehingga \(Y_n\) memiliki distribusi yang sama dengan \(X_n\) untuk \(n \in \N_+^*\), dan \(Y_n \to Y_\infty\) saat \(n \to \infty\) dengan probabilitas 1. Karena \(\P(Y_\infty \in D_g) = P_\infty(D_g) = 0\), diperoleh \(g(Y_n) \to g(Y_\infty)\) saat \(n \to \infty\) dengan probabilitas 1. Oleh , \(g(Y_n) \to g(Y_\infty)\) saat \(n \to \infty\) dalam distribusi. Namun, \(g(Y_n)\) memiliki distribusi yang sama dengan \(g(X_n)\) untuk setiap \(n \in \N_+^*\).

Sebagai akibat sederhana, jika \(X_n\) konvergen ke \(X_\infty\) saat \(n \to \infty\) dalam distribusi, dan jika \(a, \, b \in \R\), maka \(a + b X_n\) konvergen ke \(a + b X\) saat \(n \to \infty\) dalam distribusi. Namun, kita dapat memperoleh hasil yang sedikit lebih kuat:

Misalkan \(X_n\) adalah peubah acak bernilai real dan \(a_n, \, b_n \in \R\) untuk setiap \(n \in \N_+^*\). Jika \(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi, serta \(a_n \to a_\infty\) dan \(b_n \to b_\infty\) saat \(n \to \infty\), maka \(a_n + b_n X_n \to a_\infty + b_\infty X_\infty\) saat \(n \to \infty\) dalam distribusi.

Detail:

Sekali lagi oleh Skorohod , terdapat peubah acak \(Y_n\) untuk \(n \in \N_+^*\), didefinisikan pada ruang probabilitas yang sama \((\Omega, \ms F, \P)\) sedemikian sehingga \(Y_n\) memiliki distribusi yang sama dengan \(X_n\) untuk \(n \in \N_+^*\) dan \(Y_n \to Y_\infty\) saat \(n \to \infty\) dengan probabilitas 1. Oleh karena itu juga \(a_n + b_n Y_n \to a_\infty + b_\infty Y_\infty\) saat \(n \to \infty\) dengan probabilitas 1. Oleh , \(a_n + b_n Y_n \to a_\infty + b_\infty Y_\infty\) saat \(n \to \infty\) dalam distribusi. Tapi \(a_n + b_n Y_n\) memiliki distribusi yang sama dengan \(a_n + b_n X_n\) untuk \(n \in \N_+^*\).

Definisi konvergensi dalam distribusi mensyaratkan bahwa barisan ukuran probabilitas konvergen pada himpunan berbentuk \((-\infty, x]\) untuk \(x \in \R\) ketika distribusi limit memberikan probabilitas 0 pada \(x\). Ternyata ukuran-ukuran probabilitas tersebut juga konvergen pada banyak himpunan lain, dan hasil ini membuka jalan untuk memperluas konvergensi dalam distribusi ke ruang yang lebih umum. Untuk menyatakan hasilnya, ingat bahwa jika \(A\) adalah himpunan bagian suatu ruang topologi, maka batas dari \(A\) adalah \(\partial A = \cl(A) \setminus \interior(A)\), dengan \(\cl(A)\) sebagai penutupan \(A\) (himpunan tertutup terkecil yang memuat \(A\)) dan \(\interior(A)\) sebagai interior \(A\) (himpunan terbuka terbesar yang termuat di dalam \(A\)).

Misalkan \(P_n\) adalah ukuran probabilitas pada \(\R\) untuk \(n \in \N_+^*\). Maka \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\) jika dan hanya jika \(P_n(A) \to P_\infty(A)\) saat \(n \to \infty\) untuk setiap \(A \in \ms R\) dengan \(P(\partial A) = 0\).

Detail:

Misalkan \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\). Misalkan \(X_n\) menjadi peubah acak dengan distribusi \(P_n\) untuk \(n \in \N_+^*\). (Kita tidak peduli dengan ruang probabilitas yang mendasarinya.) Jika \(A \in \ms R\) maka himpunan diskontinuitas dari \(\bs 1_A\), fungsi indikator dari \(A\), adalah \(\partial A\). Jadi, misalkan \(\P_\infty(\partial A) = 0\). Oleh kesinambungan , \(\bs 1_A(X_n) \to \bs 1_A(X_\infty)\) saat \(n \to \infty\) dalam distribusi. Misalkan \(G_n\) menunjukkan fungsi distribusi dari \(\bs 1_A(X_n)\) untuk \(n \in \N_+^*\). Satu-satunya kemungkinan titik diskontinuitas \(G_\infty\) adalah 0 dan 1. Oleh karena itu \(G_n\left(\frac 1 2\right) \to G_\infty\left(\frac 1 2\right) \) saat \(n \to \infty\). Tapi \(G_n\left(\frac 1 2\right) = P_n(A^c)\) untuk \(n \in \N_+^*\). Oleh karena itu \(P_n(A^c) \to \P_\infty(A^c)\) dan begitu juga \(P_n(A) \to P_\infty(A)\) saat \(n \to \infty\).

Sebaliknya, anggap bahwa syarat dalam teorema tersebut berlaku. Jika \(x \in \R\), maka batas dari \((-\infty, x]\) adalah \(\{x\}\). Jadi, jika \(P_\infty\{x\} = 0\), maka \(P_n(-\infty, x] \to P_\infty(-\infty, x]\) saat \(n \to \infty\). Dengan demikian, menurut definisi, \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\).

Dalam konteks hasil ini, misalkan \(a, \, b \in \R\) dengan \(a \lt b\). Jika \(P\{a\} = P\{b\} = 0\), maka saat \(n \to \infty\) berlaku \(P_n(a, b) \to P(a, b)\), \(P_n[a, b) \to P[a, b)\), \(P_n(a, b] \to P(a, b]\), dan \(P_n[a, b] \to P[a, b]\). Tentu saja, semua nilai limit tersebut sama.

Contoh dan Penerapannya

Selanjutnya kita akan mengkaji beberapa contoh menarik konvergensi distribusi pada \((\R, \ms R)\). Dalam beberapa kasus penting, suatu distribusi khusus konvergen ke distribusi khusus lain ketika sebuah parameter mendekati nilai limit. Hasil konvergensi semacam ini merupakan salah satu alasan distribusi-distribusi tersebut dianggap khusus.

Distribusi Hipergeometri

Ingat bahwa distribusi hipergeometri dengan parameter \(m\), \(r\), dan \(n\) adalah distribusi banyaknya objek tipe 1 dalam sampel berukuran \(n\) yang diambil tanpa pengembalian dari populasi berisi \(m\) objek, dengan \(r\) objek di antaranya bertipe 1. Distribusi ini mempunyai fungsi kepadatan probabilitas diskret \(f\) yang diberikan oleh \[ f(k) = \frac{\binom{r}{k} \binom{m - r}{n - k}}{\binom{m}{n}}, \quad k \in \{0, 1, \ldots, n\} \] Parameter \(m\), \(r\), dan \(n\) adalah bilangan bulat positif dengan \(n \le m\) dan \(r \le m\).

Selanjutnya, ingat bahwa percobaan Bernoulli adalah percobaan-percobaan bebas yang masing-masing memiliki dua hasil yang mungkin, biasanya disebut sukses dan gagal. Probabilitas sukses \(p \in [0, 1]\) sama untuk setiap percobaan. Distribusi binomial dengan parameter \(n \in \N_+\) dan \(p\) adalah distribusi banyaknya sukses dalam \(n\) percobaan Bernoulli. Distribusi ini mempunyai fungsi kepadatan probabilitas \(g\) yang diberikan oleh \[ g(k) = \binom{n}{k} p^k (1 - p)^{n - k}, \quad k \in \{0, 1, \ldots, n\} \] Perhatikan bahwa distribusi binomial dengan parameter \(n\) dan \(p = r / m\) adalah distribusi banyaknya objek tipe 1 dalam sampel berukuran \(n\) yang diambil dengan pengembalian dari populasi berisi \(m\) objek, dengan \(r\) objek di antaranya bertipe 1. Fakta ini memotivasi hasil berikut:

Misalkan \(r_m \in \{0, 1, \ldots, m\}\) untuk setiap \(m \in \N_+\), dan \(r_m / m \to p\) saat \(m \to \infty\). Untuk \(n \in \N_+\) yang tetap, distribusi hipergeometri dengan parameter \(m\), \(r_m\), dan \(n\) konvergen ke distribusi binomial dengan parameter \(n\) dan \(p\) saat \(m \to \infty\).

Detail:

Ingat bahwa untuk \( a \in \R \) dan \( j \in \N \), kita menggunakan \( a^{(j)} = a \, (a - 1) \cdots [a - (j - 1)] \) untuk menyatakan pangkat turun \( a \) berorde \( j \). Fungsi kepadatan hipergeometri dapat ditulis sebagai \[ f_m(k) = \binom{n}{k} \frac{r_m^{(k)} (m - r_m)^{(n - k)}}{m^{(n)}}, \quad k \in \{0, 1, \ldots, n\} \] Pada pecahan di atas, pembilang dan penyebut masing-masing mempunyai \( n \) faktor. Kelompokkan \( k \) faktor dalam \( r_m^{(k)} \) dengan \( k \) faktor pertama dari \( m^{(n)} \), serta \( n - k \) faktor dari \( (m - r_m)^{(n-k)} \) dengan \( n - k \) faktor terakhir dari \( m^{(n)} \), sehingga terbentuk hasil kali \( n \) pecahan. Sebanyak \( k \) pecahan pertama berbentuk \( (r_m - j) \big/ (m - j) \) untuk suatu \( j \) yang tidak bergantung pada \( m \). Masing-masing konvergen ke \( p \) saat \( m \to \infty \). Sebanyak \( n - k \) pecahan terakhir berbentuk \( (m - r_m - j) \big/ (m - k - j) \) untuk suatu \( j \) yang tidak bergantung pada \( m \). Masing-masing konvergen ke \( 1 - p \) saat \( m \to \infty \). Oleh karena itu, \[f_m(k) \to \binom{n}{k} p^k (1 - p)^{n-k} \text{ as } m \to \infty \text{ for each } k \in \{0, 1, \ldots, n\}\] Hasilnya sekarang mengikuti dari .

Dari sudut pandang praktis, hasil terakhir berarti bahwa jika ukuran populasi \(m\) besar dibandingkan dengan ukuran sampel \(n\), maka distribusi hipergeometri dengan parameter \(m\), \(r\), dan \(n\) (yang bersesuaian dengan pengambilan sampel tanpa pengembalian) dapat didekati dengan baik oleh distribusi binomial dengan parameter \(n\) dan \(p = r / m\) (yang bersesuaian dengan pengambilan sampel dengan pengembalian). Hasil ini sering berguna, bukan karena alasan komputasi, melainkan karena distribusi binomial memiliki lebih sedikit parameter daripada distribusi hipergeometri (dan dalam persoalan nyata, parameter sering kali hanya diketahui secara hampiran). Khususnya, untuk distribusi binomial limit, kita tidak perlu mengetahui ukuran populasi \(m\) dan banyaknya objek tipe 1 \(r\) secara terpisah, melainkan hanya rasio \(r / m\).

Di percobaan bola dan guci, atur \(m = 100\) dan \(r = 30\). Untuk setiap nilai berikut dari \(n\) (ukuran sampel), beralih di antara keduanya pengambilan sampel tanpa penggantian (distribusi hipergeometri) dan pengambilan sampel dengan penggantian (distribusi binomial). Perhatikan perbedaan fungsi kepadatan probabilitas. Jalankan simulasi 1000 kali untuk setiap mode pengambilan sampel dan bandingkan fungsi frekuensi relatif dengan fungsi kepadatan probabilitas.

Distribusi Binomial

Ingat kembali bahwa distribusi binomial dengan parameter \(n \in \N_+\) dan \(p \in [0, 1]\) adalah distribusi banyaknya sukses dalam \(n\) percobaan Bernoulli, dengan \(p\) sebagai probabilitas sukses pada setiap percobaan. Distribusi ini mempunyai fungsi kepadatan probabilitas \(f\) yang diberikan oleh \[ f(k) = \binom{n}{k} p^k (1 - p)^{n - k}, \quad k \in \{0, 1, \ldots, n\} \] Ingat pula bahwa distribusi Poisson dengan parameter \(r \in (0, \infty)\) mempunyai fungsi kepadatan probabilitas \(g\) yang diberikan oleh \[g(k) = e^{-r} \frac{r^k}{k!}, \quad k \in \N\] Distribusi ini diberi nama untuk Simeon Poisson dan mengatur jumlah poin acak dalam suatu wilayah waktu atau ruang, dalam kondisi ideal tertentu. Parameternya \(r\) sebanding dengan besarnya wilayah waktu atau ruang.

Misalkan \(p_n \in [0, 1]\) untuk \(n \in \N_+\), dan \(n p_n \to r \in (0, \infty)\) saat \(n \to \infty\). Maka distribusi binomial dengan parameter \(n\) dan \(p_n\) konvergen ke distribusi Poisson dengan parameter \(r\) saat \(n \to \infty\).

Detail:

Untuk \( k, \, n \in \N \) dengan \( k \le n \), fungsi kepadatan binomial dapat ditulis sebagai \[ f_n(k) = \frac{n^{(k)}}{k!} p_n^k (1 - p_n)^{n - k} = \frac{1}{k!} (n p_n) \left[(n - 1) p_n\right] \cdots \left[(n - k + 1) p_n\right] (1 - p_n)^{n - k} \] Pertama, \( (n - j) p_n \to r \) saat \(n \to \infty\) untuk \(j \in \{0, 1, \ldots, n - 1\}\). Selanjutnya, berdasarkan limit kalkulus yang terkenal, \( (1 - p_n)^n = (1 - n p_n / n)^n \to e^{-r} \) saat \( n \to \infty \). Karena itu, \((1 - p_n)^{n-k} \to e^{-r}\) saat \(n \to \infty\) untuk \(k \in \N_+\) yang tetap. Dengan demikian, \(f_n(k) \to e^{-r} r^k / k!\) saat \(n \to \infty\) untuk setiap \(k \in \N_+\). Hasilnya mengikuti dari .

Dari sudut pandang praktis, konvergensi distribusi binomial ke Poisson berarti jika jumlah percobaan \(n\) adalah besar dan probabilitas keberhasilannya \(p\) kecil, jadi itu \(n p^2\) kecil, maka distribusi binomial dengan parameter \(n\) dan \(p\) didekati dengan baik oleh distribusi Poisson dengan parameter \(r = n p\). Hal ini seringkali merupakan hasil yang berguna, sekali lagi bukan secara komputasi, melainkan karena distribusi Poisson memiliki lebih sedikit parameter dibandingkan distribusi binomial (dan sering kali dalam permasalahan nyata, parameter hanya dapat diketahui secara perkiraan). Secara khusus, dalam pendekatan distribusi Poisson, kita tidak perlu mengetahui jumlah percobaan \(n\) dan probabilitas keberhasilannya \(p\) secara individu, tetapi hanya di produk \(n p\). Seperti yang akan kita lihat di bab selanjutnya, kondisi itu \(n p^2\) menjadi kecil berarti varians dari distribusi binomial, yaitu \(n p (1 - p) = n p - n p^2\) adalah sekitar \(r = n p\), yang merupakan varians dari perkiraan distribusi Poisson.

Di eksperimen garis waktu binomial, atur nilai parameter sebagai berikut, dan amati grafik fungsi kepadatan probabilitas. (Perhatikan bahwa \(n p = 5\) dalam setiap kasus.) Jalankan percobaan 1000 kali dalam setiap kasus dan bandingkan fungsi frekuensi relatif dan fungsi kepadatan probabilitas. Perhatikan juga keberhasilan yang direpresentasikan sebagai poin acak dalam waktu diskrit.

\(n = 10\), \(p = 0.5\)
\(n = 20\), \(p = 0.25\)
\(n = 100\), \(p = 0.05\)

Di Percobaan Poisson, atur \(r = 5\) dan \(t = 1\), untuk mendapatkan distribusi Poisson dengan parameter 5. Perhatikan bentuk fungsi kepadatan probabilitas. Jalankan percobaan 1000 kali dan bandingkan fungsi frekuensi relatif dengan fungsi kepadatan probabilitas. Perhatikan persamaan antara percobaan ini dan percobaan pada latihan sebelumnya.

Distribusi Geometris

Ingat bahwa distribusi geometrik pada \(\N_+\) dengan parameter sukses \(p \in (0, 1]\) mempunyai fungsi kepadatan probabilitas \(f\) yang diberikan oleh \[ f(k) = p (1 - p)^{k-1}, \quad k \in \N_+\] Distribusi geometrik mengatur banyaknya percobaan hingga sukses pertama dalam suatu barisan percobaan Bernoulli.

Misalkan \(U\) mempunyai distribusi geometrik pada \(\N_+\) dengan parameter sukses \(p \in (0, 1]\). Untuk \( n \in \N_+ \), distribusi bersyarat \( U \) dengan syarat \( U \le n \) konvergen ke distribusi seragam pada \(\{1, 2, \ldots, n\}\) saat \(p \downarrow 0\).

Detail:

Fungsi distribusi \(F\) dari \( U \) diberikan oleh \( F(k) = 1 - (1 - p)^k \) untuk \(k \in \N_+\). Oleh karena itu, untuk \(n \in \N_+\), fungsi distribusi bersyarat dari \( U \) dengan syarat \( U \le n \) adalah \[ F_n(k) = \P(U \le k \mid U \le n) = \frac{\P(U \le k)}{\P(U \le n)} = \frac{1 - (1 - p)^k}{1 - (1 - p)^n}, \quad k \in \{1, 2, \ldots n\} \] Dengan menggunakan aturan L'Hospital, diperoleh \( F_n(k) \to k / n \) saat \( p \downarrow 0 \) untuk \(k \in \{1, 2, \ldots, n\}\). Sebagai fungsi dari \(k\) ini adalah fungsi distribusi dari distribusi seragam \( \{1, 2, \ldots, n\} \).

Selanjutnya, ingat bahwa distribusi eksponensial dengan parameter laju \(r \in (0, \infty)\) mempunyai fungsi distribusi \(G\) yang diberikan oleh \[ G(t) = 1 - e^{-r t}, \quad 0 \le t \lt \infty \] Distribusi eksponensial mengatur waktu antara kedatangan dalam model Poisson untuk titik-titik acak dalam waktu.

Misalkan \(U_n\) mempunyai distribusi geometrik pada \(\N_+\) dengan parameter sukses \(p_n \in (0, 1]\) untuk \(n \in \N_+\), dan \(n p_n \to r \in (0, \infty)\) saat \(n \to \infty\). Distribusi \(U_n / n\) konvergen ke distribusi eksponensial dengan parameter \(r\) saat \(n \to \infty\).

Detail:

Misalkan \( F_n \) menyatakan fungsi distribusi dari \( U_n / n \). Maka, untuk \( x \in [0, \infty) \), \[ F_n(x) = \P\left(\frac{U_n}{n} \le x\right) = \P(U_n \le n x) = \P\left(U_n \le \lfloor n x \rfloor\right) = 1 - \left(1 - p_n\right)^{\lfloor n x \rfloor} \] Dalam bukti , kita telah menunjukkan bahwa \( (1 - p_n)^n \to e^{-r} \) saat \( n \to \infty \), sehingga \( \left(1 - p_n\right)^{n x} \to e^{-r x} \) saat \( n \to \infty \). Namun, menurut definisi, \( \lfloor n x \rfloor \le n x \lt \lfloor n x \rfloor + 1\), atau secara ekuivalen, \( n x - 1 \lt \lfloor n x \rfloor \le n x \). Dari teorema apit diperoleh \( \left(1 - p_n \right)^{\lfloor n x \rfloor} \to e^{- r x} \) saat \( n \to \infty \). Oleh karena itu, \( F_n(x) \to 1 - e^{-r x} \) saat \( n \to \infty \). Sebagai fungsi dari \(x \in [0, \infty), this is the distribution function of the exponential distribution with parameter \(r\).

Perhatikan bahwa syarat limit pada \(n\) dan \(p\) di persis sama dengan kondisi di . Untuk interpretasi yang lebih mendalam mengenai kedua hasil ini, lihat bagian di Distribusi Poisson.

Di eksperimen binomial negatif, atur \(k = 1\) untuk mendapatkan distribusi geometrik. Kemudian turunkan nilainya \(p\) dan perhatikan bentuk fungsi kepadatan probabilitas. Dengan \(p = 0.5\) jalankan percobaan 1000 kali dan bandingkan fungsi frekuensi relatif dengan fungsi kepadatan probabilitas.

Di percobaan gamma, atur \(k = 1\) untuk mendapatkan distribusi eksponensial, dan himpunan \(r = 5\). Perhatikan bentuk fungsi kepadatan probabilitas. Jalankan percobaan 1000 kali dan bandingkan fungsi kepadatan empiris dan fungsi kepadatan probabilitas. Bandingkan eksperimen ini dengan eksperimen sebelumnya, dan perhatikan kesamaannya, hingga perubahan skalanya.

Distribusi Pencocokan

Untuk \(n \in \N_+\), tinjau permutasi acak \((X_1, X_2, \ldots, X_n)\) dari elemen-elemen himpunan \(\{1, 2, \ldots, n\}\). Kita mengatakan bahwa suatu kecocokan terjadi pada posisi \(i\) jika \(X_i = i\).

\(\P\left(X_i = i\right) = \frac{1}{n}\) untuk setiap \(i \in \{1, 2, \ldots, n\}\).

Detail:

Banyaknya permutasi dari \(\{1, 2, \ldots, n\}\) adalah \(n!\). Untuk \(i \in \{1, 2, \ldots, n\}\), banyaknya permutasi dengan \(i\) pada posisi \(i\) adalah \((n - 1)!\). Oleh karena itu, \(\P(X_i = i) = (n - 1)! / n! = 1 / n\). Argumen yang lebih langsung adalah bahwa \(i\) tidak lebih atau kurang mungkin menempati posisi \(i\) dibandingkan bilangan lainnya.

Jadi, semua kejadian kecocokan mempunyai probabilitas yang sama, yang berbanding terbalik dengan banyaknya percobaan.

\(\P\left(X_i = i, X_j = j\right) = \frac{1}{n (n - 1)}\) untuk \(i, \, j \in \{1, 2, \ldots, n\}\) dengan \(i \ne j\).

Detail:

Sekali lagi, banyaknya permutasi dari \(\{1, 2, \ldots, n\}\) adalah \(n!\). Untuk \(i, \, j \in \{1, 2, \ldots, n\}\) yang berbeda, banyaknya permutasi dengan \(i\) pada posisi \(i\) dan \(j\) pada posisi \(j\) adalah \((n - 2)!\). Oleh karena itu, \(\P(X_i = i, X_j = j) = (n - 2)! / n! = 1 / n (n - 1)\).

Jadi, kejadian-kejadian kecocokan saling bergantung dan bahkan berkorelasi positif. Secara khusus, kejadian-kejadian tersebut tidak membentuk barisan percobaan Bernoulli. Dalam pembahasan terperinci tentang masalah pencocokan, kita menunjukkan bahwa banyaknya kecocokan \(N_n\) mempunyai fungsi kepadatan probabilitas \(f_n\) yang diberikan oleh: \[ f_n(k) = \frac{1}{k!} \sum_{j=0}^{n-k} \frac{(-1)^j}{j!}, \quad k \in \{0, 1, \ldots, n\} \]

Distribusi \(N_n\) konvergen ke distribusi Poisson dengan parameter 1 saat \(n \to \infty\).

Detail:

Untuk \( k \in \N \), \[ f_n(k) = \frac{1}{k!} \sum_{j=0}^{n-k} \frac{(-1)^j}{j!} \to \frac{1}{k!} \sum_{j=0}^\infty \frac{(-1)^j}{j!} = \frac{1}{k!} e^{-1} \] Sebagai fungsi dari \(k \in \N\), ini adalah fungsi kepadatan dari distribusi Poisson dengan parameter 1. Jadi hasilnya mengikuti teorema di pada fungsi kepadatan.

Dalam eksperimen pencocokan, naikkan \(n\) dan perhatikan konvergensi yang tampak pada fungsi kepadatan probabilitas untuk banyaknya kecocokan. Untuk beberapa nilai \(n\), jalankan eksperimen 1000 kali lalu bandingkan fungsi frekuensi relatif dengan fungsi kepadatan probabilitas.

Distribusi Nilai Ekstrem

Misalkan \((X_1, X_2, \ldots)\) adalah barisan peubah acak bebas yang masing-masing mempunyai distribusi eksponensial standar. Jadi, fungsi distribusi bersama \(G\) diberikan oleh \[ G(x) = 1 - e^{-x}, \quad 0 \le x \lt \infty \]

Sebagai \(n \to \infty\), distribusi \(Y_n = \max\{X_1, X_2, \ldots, X_n\} - \ln n \) konvergen ke distribusi dengan fungsi distribusi \(F\) diberikan oleh \[ F(x) = e^{-e^{-x}}, \quad x \in \R\]

Detail:

Misalkan \( X_{(n)} = \max\{X_1, X_2, \ldots, X_n\} \) dan ingat bahwa \( X_{(n)} \) mempunyai fungsi distribusi \( G^n \). Misalkan \( F_n \) menunjukkan fungsi distribusi dari \( Y_n \). Untuk \( x \in \R \) \[ F_n(x) = \P(Y_n \le x) = \P\left(X_{(n)} \le x + \ln n \right) = G^n(x + \ln n) = \left[1 - e^{-(x + \ln n) }\right]^n = \left(1 - \frac{e^{-x}}{n} \right)^n \] Dengan batasan kita yang terkenal dari kalkulus lagi, \( F_n(x) \to e^{-e^{-x}} \) saat \( n \to \infty \).

Distribusi limit ini adalah distribusi nilai ekstrem standar, yang juga dikenal sebagai distribusi Gumbel standar untuk menghormati Emil Gumbel.

Distribusi Pareto

Ingat bahwa distribusi Pareto dengan parameter bentuk \(a \in (0, \infty)\) mempunyai fungsi distribusi \(F\) yang diberikan oleh \[F(x) = 1 - \frac{1}{x^a}, \quad 1 \le x \lt \infty\] Distribusi Pareto, yang dinamai menurut Vilfredo Pareto, adalah distribusi berekor berat yang kadang digunakan untuk memodelkan peubah keuangan.

Misalkan \(X_n\) memiliki distribusi Pareto dengan parameter \(n\) untuk setiap \(n \in \N_+\). Maka

\(X_n \to 1\) saat \(n \to \infty\) dalam distribusi (dan karenanya juga dalam probabilitas).
Distribusi \(Y_n = nX_n - n\) konvergen ke distribusi eksponensial standar saat \(n \to \infty\).

Detail:

Fungsi distribusi dari \( X_n \) adalah \( F_n(x) = 1 - 1 / x^n \) untuk \( x \ge 1 \). Oleh karena itu \( F_n(x) = 0 \) untuk \( n \in \N_+ \) dan \( x \le 1 \) sementara \( F_n(x) \to 1 \) saat \( n \to \infty \) untuk \( x \gt 1 \). Jadi batasnya \( F_n \) setuju dengan fungsi distribusi konstanta 1, kecuali pada \(x = 1\), titik diskontinuitas.
Misalkan \( G_n \) menunjukkan fungsi distribusi dari \( Y_n \). Untuk \( x \ge 0 \), \[ G_n(x) = \P(Y_n \le x) = \P(X_n \le 1 + x / n) = 1 - \frac{1}{(1 + x / n)^n} \] Sekali lagi, dengan teorema terkenal kita dari kalkulus, berikut ini \( G_n(x) \to 1 - 1 / e^x = 1 - e^{-x} \) saat \( n \to \infty \). Sebagai fungsi dari \(x \in [0, \infty\), ini adalah fungsi distribusi dari distribusi eksponensial standar.

Teorema Dasar

Dua teorema dasar dalam teori probabilitas, yaitu hukum bilangan besar dan teorema limit pusat, dipelajari secara terperinci dalam bab tentang sampel acak. Karena itu, pada bagian ini kita hanya akan menyatakan hasilnya. Misalkan \((X_1, X_2, \ldots)\) adalah barisan peubah acak bernilai real yang bebas dan berdistribusi identik (didefinisikan pada ruang probabilitas yang sama), dengan rataan \(\mu \in (-\infty. \infty)\) dan simpangan baku \(\sigma \in (0, \infty)\). Untuk \(n \in \N_+\), misalkan \( Y_n = \sum_{i=1}^n X_i \) menyatakan jumlah \(n\) peubah pertama, \( M_n = Y_n \big/n \) menyatakan rata-rata \( n \) peubah pertama, dan \( Z_n = (Y_n - n \mu) \big/ \sqrt{n} \sigma \) menyatakan skor baku dari \( Y_n \).

Teorema dasar probabilitas

\( M_n \to \mu \) saat \( n \to \infty \) dengan probabilitas 1 (dan karenanya juga dalam probabilitas dan distribusi). Ini adalah hukum bilangan besar.
Distribusi \( Z_n \) konvergen ke distribusi normal standar saat \( n \to \infty \). Ini adalah teorema limit pusat.

Pada bagian (a), konvergensi dengan probabilitas 1 disebut hukum kuat bilangan besar, sedangkan konvergensi dalam probabilitas dan dalam distribusi disebut hukum lemah bilangan besar.

Ruang Umum

Tujuan kita selanjutnya adalah mendefinisikan konvergensi distribusi probabilitas pada ruang terukur yang lebih umum.

Definisi dan Sifat Dasar

Pertama kita perlu menentukan jenis ruang terukur yang akan kita gunakan dalam subbagian ini.

Kita mengasumsikan bahwa \((S, d)\) adalah ruang metrik lengkap dan separabel, serta \(\ms S\) menyatakan aljabar-\(\sigma\) Borel dari himpunan-himpunan bagian \(S\), yakni aljabar-\(\sigma\) yang dibangkitkan oleh topologi. Ruang-ruang baku yang sering kita gunakan merupakan kasus khusus:

Ruang \((S, \ms S)\) disebut diskret jika \(S\) terhitung dan dilengkapi dengan metrik diskret, sehingga \(\ms S\) merupakan koleksi semua himpunan bagian \(S\).
Untuk \(n \in \N_+\), ruang \((\R^n, \ms R^n)\) adalah ruang Euklides berdimensi \(n\), yang bersesuaian dengan metrik Euklides baku, sehingga \(\ms R^n\) merupakan aljabar-\(\sigma\) Borel biasa dari himpunan-himpunan bagian terukur \(\R^n\).

Detail:

Ingat bahwa ruang metrik \((S, d)\) disebut lengkap jika setiap barisan Cauchy dalam \(S\) konvergen ke suatu titik di \(S\). Ruang tersebut disebut separabel jika mempunyai himpunan bagian terhitung yang padat. Ruang metrik lengkap dan separabel kadang-kadang disebut ruang Polish karena ruang semacam ini dipelajari secara luas oleh sekelompok matematikawan Polandia pada dekade 1930-an, termasuk Kazimierz Kuratowski.

Seperti disiratkan oleh kerangka kita, definisi konvergensi dalam distribusi melibatkan teori ukuran sekaligus topologi. Motivasinya diberikan oleh untuk ruang Euklides satu dimensi \((\R, \ms R)\).

Konvergensi dalam distribusi:

Misalkan \(P_n\) adalah ukuran probabilitas pada \((S, \ms S)\) untuk setiap \(n \in \N_+^*\). Maka \(P_n\) konvergen (secara lemah) ke \(P_\infty\) saat \(n \to \infty\) jika \(P_n(A) \to P_\infty(A)\) saat \(n \to \infty\) untuk setiap \(A \in \ms S\) dengan \(P_\infty(\partial A) = 0\). Kita menulis \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\).
Misalkan \(X_n\) adalah peubah acak dengan distribusi \(P_n\) pada \((S, \ms S)\) untuk setiap \(n \in \N_+^*\). Maka \(X_n\) konvergen dalam distribusi ke \(X_\infty\) saat \(n \to \infty\) jika \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\). Kita menulis \(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi.

Detail:

Definisi tersebut masuk akal karena \(A \in \ms S\) menyiratkan \(\partial A \in \ms S\). Secara khusus, \(\cl(A) \in \ms S\) karena \(\cl(A)\) tertutup, dan \(\interior(A) \in \ms S\) karena \(\interior(A)\) terbuka.
Peubah acak tidak perlu didefinisikan pada ruang probabilitas yang sama, karena hanya distribusinya saja yang terlibat.

Mari kita pertimbangkan dua kasus khusus kita. Dalam kasus diskrit, seperti biasa, teori ukuran dan topologi tidak terlalu diperlukan.

Misalkan \(P_n\) adalah ukuran probabilitas pada ruang diskrit \((S, \ms S)\) untuk setiap \(n \in \N_+^*\). Maka \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\) jika dan hanya jika \(P_n(A) \to P_\infty(A)\) saat \(n \to \infty\) untuk setiap \(A \subseteq S\).

Detail:

Hal ini langsung mengikuti definisi. Setiap himpunan bagian terbuka sekaligus tertutup, sehingga \(\partial A = \emptyset\) untuk setiap \(A \subseteq S\).

Dalam kasus Euklides, cukup mempertimbangkan fungsi distribusi, seperti pada kasus satu dimensi. Jika \(P\) adalah ukuran probabilitas pada \((\R^n, \ms R^n)\), ingat bahwa fungsi distribusi \(F\) dari \(P\) diberikan oleh \[F(x_1, x_2, \ldots, x_n) = P\left((-\infty, x_1] \times (-\infty, x_2] \times \cdots \times (-\infty, x_n]\right), \quad (x_1, x_2, \ldots, x_n) \in \R^n\]

Misalkan \(P_n\) adalah ukuran probabilitas pada \((\R^n, \ms R^n)\) dengan fungsi distribusi \(F_n\) untuk setiap \(n \in \N_+^*\). Maka \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\) jika dan hanya jika \(F_n(\bs x) \to F_\infty(\bs x)\) saat \(n \to \infty\) untuk setiap \(\bs x \in \R^n\) tempat \(F_\infty\) kontinu.

Konvergensi dalam Probabilitas

Seperti dalam kasus \((\R, \ms R)\), konvergensi dalam probabilitas menyiratkan konvergensi dalam distribusi.

Misalkan \(X_n\) adalah peubah acak di \(S\) untuk setiap \(n \in \N_+^*\), semuanya didefinisikan pada ruang probabilitas yang sama. Jika \(X_n \to X_\infty\) saat \(n \to \infty\) dalam probabilitas, maka \(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi.

Catatan:

Asumsikan bahwa ruang probabilitas bersama adalah \((\Omega, \ms F, \P)\). Ingat bahwa konvergensi dalam probabilitas berarti \(\P[d(X_n, X_\infty) \gt \epsilon] \to 0\) saat \(n \to \infty\) untuk setiap \(\epsilon \gt 0\),

Jadi, seperti sebelumnya, konvergensi dengan probabilitas 1 mengakibatkan konvergensi dalam probabilitas, yang selanjutnya mengakibatkan konvergensi dalam distribusi.

Teorema Representasi Skorohod

Seperti yang mungkin Anda duga, representasi Skorohod untuk ruang Euklides satu dimensi \((\R, \ms R)\) dapat diperluas ke ruang yang lebih umum. Namun, pembuktiannya tidak sesederhana itu karena kita tidak lagi mempunyai fungsi kuantil untuk membangun peubah acak pada ruang probabilitas bersama.

Misalkan \(P_n\) adalah ukuran probabilitas pada \((S, \ms S)\) untuk setiap \(n \in \N_+^*\), dan \(P_n \Rightarrow P_\infty\) saat \(n \to \infty\). Maka terdapat peubah acak \(X_n\) di \(S\) untuk setiap \(n \in \N_+^*\), semuanya didefinisikan pada ruang probabilitas yang sama, sedemikian sehingga

\(X_n\) memiliki distribusi \(P_n\) untuk \(n \in \N_+^*\)
\(X_n \to X_\infty\) saat \(n \to \infty\) dengan probabilitas 1.

Salah satu konsekuensi utama representasi Skorohod, yaitu dipertahankannya konvergensi dalam distribusi oleh fungsi kontinu, tetap berlaku dan pada dasarnya mempunyai bukti yang sama. Untuk kerangka umum, misalkan \((S, d, \ms S)\) dan \((T, e, \ms T)\) adalah ruang-ruang dari jenis yang dijelaskan dalam .

Misalkan \(X_n\) adalah peubah acak di \(S\) untuk setiap \(n \in \N_+^*\) (tidak harus didefinisikan pada ruang probabilitas yang sama). Misalkan pula \(g: S \to T\) terukur, \(D_g\) menyatakan himpunan diskontinuitas \(g\), dan \(P_\infty\) menyatakan distribusi \(X_\infty\). Jika \(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi dan \(P_\infty(D_g) = 0\), maka \(g(X_n) \to g(X_\infty)\) saat \(n \to \infty\) dalam distribusi.

Detail:

Menurut teorema Skorohod, terdapat peubah acak \(Y_n\) di \(S\) untuk \(n \in \N_+^*\), semuanya didefinisikan pada ruang probabilitas yang sama \((\Omega, \ms F, \P)\), sedemikian sehingga \(Y_n\) memiliki distribusi yang sama dengan \(X_n\) untuk \(n \in \N_+^*\), dan \(Y_n \to Y_\infty\) saat \(n \to \infty\) dengan probabilitas 1. Karena \(\P(Y_\infty \in D_g) = P_\infty(D_g) = 0\), diperoleh \(g(Y_n) \to g(Y_\infty)\) saat \(n \to \infty\) dengan probabilitas 1. Oleh karena itu, \(g(Y_n) \to g(Y_\infty)\) saat \(n \to \infty\) dalam distribusi. Namun, \(g(Y_n)\) memiliki distribusi yang sama dengan \(g(X_n)\) untuk setiap \(n \in \N_+^*\).

Konsekuensi sederhana dari teorema kekontinuan adalah bahwa jika suatu barisan vektor acak di \(\R^n\) konvergen dalam distribusi, maka barisan pada setiap koordinatnya juga konvergen dalam distribusi. Mari kita tinjau kasus dua dimensi agar notasinya tetap sederhana.

Misalkan \((X_n, Y_n)\) adalah peubah acak di \(\R^2\) untuk \(n \in \N_+^*\), dan \((X_n, Y_n) \to (X_\infty, Y_\infty)\) saat \(n \to \infty\) dalam distribusi. Maka

\(X_n \to X_\infty\) saat \(n \to \infty\) dalam distribusi.
\(Y_n \to Y_\infty\) saat \(n \to \infty\) dalam distribusi.

Teorema Scheffé

Pembahasan berikut menyangkut hasil penting yang dikenal sebagai Teorema Scheffé, dinamai menurut Henry Scheffé. Untuk menyatakan teorema ini, misalkan \( (S, \ms S, \mu) \) adalah ruang ukur, sehingga \( S \) adalah suatu himpunan, \( \ms S \) adalah aljabar-\( \sigma \) dari himpunan-himpunan bagian \( S \), dan \( \mu \) adalah ukuran positif pada \( (S, \ms S) \). Selanjutnya, misalkan \( P_n \) adalah ukuran probabilitas pada \( (S, \ms S) \) yang mempunyai fungsi kepadatan \( f_n \) terhadap \( \mu \) untuk setiap \( n \in \N_+^* \).

Jika \(f_n(x) \to f_\infty(x)\) saat \(n \to \infty\) untuk hampir semua \( x \in S \) (terhadap \( \mu \)), maka \(P_n(A) \to P_\infty(A)\) saat \(n \to \infty\) secara seragam terhadap \(A \in \ms S\).

Detail:

Dari sifat-sifat dasar integral maka untuk \( A \in \ms S \), \[\left|P_\infty(A) - P_n(A)\right| = \left|\int_A f_\infty \, d\mu - \int_A f_n \, d\mu \right| = \left| \int_A (f_\infty - f_n) \, d\mu\right| \le \int_A \left|f_\infty - f_n\right| \, d\mu \le \int_S \left|f_\infty - f_n\right| \, d\mu\] Untuk \(n \in \N_+\), misalkan \(g_n = f_\infty - f_n\), dengan \(g_n^+\) menyatakan bagian positif dari \(g_n\) dan \(g_n^-\) bagian negatif dari \(g_n\). Perhatikan bahwa \(g_n^+ \le f_\infty\) dan \(g_n^+ \to 0\) saat \(n \to \infty\) hampir di semua titik pada \( S \). Karena \( f_\infty \) adalah fungsi kepadatan probabilitas, fungsi ini jelas terintegralkan. Jadi, berdasarkan teorema konvergensi terdominasi, \(\int_S g_n^+ \, d\mu \to 0\) saat \(n \to \infty\). Namun, \(\int_\R g_n \, d\mu = 0\), sehingga \(\int_\R g_n^+ \, d\mu = \int_\R g_n^- \, d\mu\). Oleh karena itu, \(\int_S \left|g_n\right| \, d\mu = 2 \int_S g_n^+ d\mu \to 0\) saat \(n \to \infty\). Dengan demikian, \(P_n(A) \to P_\infty(A)\) saat \(n \to \infty\) secara seragam terhadap \(A \in \ms S\).

Tentu saja, kasus khusus terpenting dari teorema Scheffé adalah distribusi diskret dan distribusi kontinu pada suatu himpunan bagian \( \R^n \), seperti dalam tentang fungsi kepadatan.

Nilai Harapan

Fungsi pembangkit dipelajari dalam bab tentang nilai harapan. Arti penting fungsi pembangkit sebagian berasal dari fakta bahwa konvergensi biasa (titik demi titik) suatu barisan fungsi pembangkit bersesuaian dengan konvergensi distribusi dalam pengertian bagian ini. Sering kali lebih mudah menunjukkan konvergensi dalam distribusi dengan fungsi pembangkit daripada langsung dari definisinya.

Selain itu, konvergensi dalam distribusi mempunyai karakterisasi yang elegan berdasarkan konvergensi nilai harapan dari jenis-jenis fungsi tertentu atas peubah acak yang mendasarinya.