Teorema limit pusat dan hukum bilangan besar merupakan dua teorema dasar probabilitas. Secara kasar, teorema limit pusat menyatakan bahwa distribusi jumlah (atau rata-rata) sejumlah besar variabel yang independen dan berdistribusi identik akan mendekati distribusi normal, apa pun distribusi dasarnya. Pentingnya teorema limit pusat sukar dilebih-lebihkan; teorema inilah yang memungkinkan banyak prosedur statistika bekerja.

Proses Jumlah Parsial

Definisi

Misalkan \(\bs{X} = (X_1, X_2, \ldots)\) merupakan barisan independen dari variabel acak bernilai riil dan berdistribusi identik, dengan fungsi kepadatan probabilitas bersama \(f\), rata-rata \(\mu\), dan varians \(\sigma^2\). Kita mengasumsikan bahwa \(0 \lt \sigma \lt \infty\), sehingga variabel-variabel acak tersebut benar-benar bersifat acak, bukan konstanta. Misalkan \[ Y_n = \sum_{i=1}^n X_i, \quad n \in \N \] Perhatikan bahwa menurut konvensi, \(Y_0 = 0\), karena penjumlahannya dilakukan atas himpunan indeks kosong. Proses acak \(\bs{Y} = (Y_0, Y_1, Y_2, \ldots)\) disebut proses jumlah parsial yang berasosiasi dengan \(\bs{X}\). Jenis-jenis khusus proses jumlah parsial telah dibahas di berbagai bagian buku ini; secara khusus, lihat

• distribusi binomial dalam konteks Percobaan Bernoulli
• distribusi binomial negatif dalam konteks Percobaan Bernoulli
• distribusi gamma dalam proses Poisson
• barisan waktu kedatangan dalam suatu proses pembaruan umum

Ingat bahwa dalam istilah statistika, barisan \(\bs{X}\) bersesuaian dengan pengambilan sampel dari distribusi yang mendasarinya. Secara khusus, \((X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi tersebut, dan rata-rata sampelnya adalah \[ M_n = \frac{Y_n}{n} = \frac{1}{n} \sum_{i=1}^n X_i \] Menurut hukum bilangan besar, \(M_n \to \mu\) ketika \(n \to \infty\) dengan probabilitas 1.

Inkremen Stasioner dan Independen

Proses jumlah parsial yang bersesuaian dengan barisan variabel independen dan berdistribusi identik memiliki dua sifat penting, dan kedua sifat ini pada dasarnya mencirikan proses-proses tersebut.

Namun, perhatikan bahwa \(Y_n - Y_m\) dan \(Y_{n-m}\) merupakan variabel acak yang sangat berbeda; teorema tersebut hanya menyatakan bahwa keduanya memiliki distribusi yang sama.

Jadi, proses jumlah parsial merupakan satu-satunya proses acak waktu diskret yang memiliki inkremen stasioner dan independen. Masalah yang menarik, dan jauh lebih sulit, ialah mencirikan proses waktu kontinu yang memiliki inkremen stasioner dan independen. Proses pencacahan Poisson memiliki inkremen stasioner dan independen, demikian pula proses gerak Brown.

Momen

Distribusi

Secara lebih umum, kita dapat menggunakan sifat stasioneritas dan independensi untuk memperoleh distribusi gabungan proses jumlah parsial:

Teorema Limit Pusat

Pertama, mari kita nyatakan teorema limit pusat dengan lebih tepat. Berdasarkan rumus momen dalam , kita tidak dapat mengharapkan \(Y_n\) sendiri memiliki distribusi limit. Perhatikan bahwa \(\var(Y_n) \to \infty\) ketika \(n \to \infty\) karena \(\sigma \gt 0\), dan \(\E(Y_n) \to \infty\) ketika \(n \to \infty\) jika \(\mu \gt 0\), sedangkan \(\E(Y_n) \to -\infty\) ketika \(n \to \infty\) jika \(\mu \lt 0\). Demikian pula, kita mengetahui bahwa \(M_n \to \mu\) ketika \(n \to \infty\) dengan probabilitas 1, sehingga distribusi limit rata-rata sampel bersifat degenerat. Jadi, untuk memperoleh distribusi limit \(Y_n\) atau \(M_n\) yang tidak degenerat, kita perlu meninjau bukan variabel-variabel itu sendiri, melainkan skor baku yang sama bagi keduanya. Jadi, misalkan \[ Z_n = \frac{Y_n - n \mu}{\sqrt{n} \sigma} = \frac{M_n - \mu}{\sigma \big/ \sqrt{n}} \]

Pernyataan tepat teorema limit pusat ialah bahwa distribusi skor baku \(Z_n\) konvergen ke distribusi normal baku ketika \(n \to \infty\). Ingat bahwa distribusi normal baku memiliki fungsi kepadatan probabilitas \[ \phi(z) = \frac{1}{\sqrt{2 \pi}} e^{-\frac{1}{2} z^2}, \quad z \in \R \] Sebuah kasus khusus teorema limit pusat (untuk percobaan Bernoulli) berasal dari Abraham De Moivre. Istilah teorema limit pusat dicetuskan oleh George Pólya pada tahun 1920. Menurut definisi konvergensi dalam distribusi, teorema limit pusat menyatakan bahwa \(F_n(z) \to \Phi(z)\) ketika \(n \to \infty\) untuk setiap \(z \in \R\), dengan \(F_n\) merupakan fungsi distribusi dari \(Z_n\), sedangkan \(\Phi\) merupakan fungsi distribusi normal baku: \[ \Phi(z) = \int_{-\infty}^z \phi(x) \, dx = \int_{-\infty}^z \frac{1}{\sqrt{2 \pi}} e^{-\frac{1}{2} x^2} \, dx, \quad z \in \R \] Pernyataan ekuivalen teorema limit pusat melibatkan konvergensi fungsi karakteristik yang bersesuaian. Versi inilah yang akan kita nyatakan dan buktikan, tetapi pertama-tama kita memerlukan generalisasi suatu limit terkenal dari kalkulus.

Sekarang, misalkan \(\chi\) menyatakan fungsi karakteristik skor baku dari variabel sampel \(X\), dan misalkan \(\chi_n\) menyatakan fungsi karakteristik skor baku \(Z_n\): \[ \chi(t) = \E \left[ \exp\left( i t \frac{X - \mu}{\sigma} \right) \right], \; \chi_n(t) = \E[\exp(i t Z_n)]; \quad t \in \R \] Ingat bahwa \(t \mapsto e^{-\frac{1}{2}t^2}\) merupakan fungsi karakteristik distribusi normal baku. Sekarang kita dapat memberikan pembuktiannya.

Aproksimasi Normal

Teorema limit pusat menyiratkan bahwa jika ukuran sampel \(n\) besar, maka distribusi jumlah parsial \(Y_n\) mendekati distribusi normal dengan rata-rata \(n \mu\) dan varians \(n \sigma^2\). Secara ekuivalen, rata-rata sampel \(M_n\) mendekati distribusi normal dengan rata-rata \(\mu\) dan varians \(\sigma^2 / n\). Teorema limit pusat sangat penting karena berarti bahwa kita dapat mengaproksimasi distribusi statistik tertentu sekalipun kita hanya mengetahui sedikit tentang distribusi populasi yang disampel.

Tentu saja, istilah besar bersifat relatif. Secara kasar, makin tidak normal distribusi dasarnya, makin besar \(n\) yang diperlukan agar aproksimasi normal bekerja dengan baik. Pedoman praktisnya ialah bahwa ukuran sampel \(n\) sedikitnya 30 biasanya memadai jika distribusi dasar tidak terlalu aneh, meskipun bagi banyak distribusi nilai \(n\) yang lebih kecil sudah cukup.

Variabel acak \(Y\) dalam memiliki distribusi Irwin–Hall berorde 30, yang dinamai menurut Joseph Irwin dan Philip Hall.

Koreksi Kontinuitas

Masalah teknis kecil muncul ketika distribusi populasi yang disampel bersifat diskret. Dalam kasus ini, jumlah parsial juga memiliki distribusi diskret, sehingga kita mengaproksimasi distribusi diskret dengan distribusi kontinu. Misalkan \(X\) bernilai bilangan bulat (kasus yang paling umum), sehingga jumlah parsial \(Y_n\) juga bernilai bilangan bulat. Untuk setiap \(k \in \Z\) dan \(h \in [0, 1)\), perhatikan bahwa kejadian \(\{k - h \le Y_n \le k + h\}\) ekuivalen dengan kejadian \(\{Y_n = k\}\). Nilai \(h\) yang berbeda menghasilkan aproksimasi normal yang berbeda sekalipun kejadian-kejadiannya ekuivalen. Aproksimasi terkecil adalah 0 ketika \(h = 0\), dan aproksimasi tersebut meningkat seiring peningkatan \(h\). Lazimnya, selisih itu dibagi dua dengan menggunakan \(h = \frac{1}{2}\) dalam aproksimasi normal. Hal ini kadang-kadang disebut koreksi kontinuitas setengah unit atau koreksi histogram. Koreksi kontinuitas diperluas ke kejadian lain dengan cara yang wajar, menggunakan sifat aditif probabilitas.

Aproksimasi Normal untuk Distribusi Gamma

Ingat bahwa distribusi gamma dengan parameter bentuk \(k \in (0, \infty)\) dan parameter skala \(b \in (0, \infty)\) merupakan distribusi kontinu pada \( (0, \infty) \) dengan fungsi kepadatan probabilitas \( f \) yang diberikan oleh \[ f(x) = \frac{1}{\Gamma(k) b^k} x^{k-1} e^{-x/b}, \quad x \in (0, \infty) \] Rata-ratanya adalah \( k b \) dan variansnya adalah \( k b ^2 \). Distribusi gamma banyak digunakan untuk memodelkan waktu acak dan variabel acak positif lainnya. Dalam konteks model Poisson (dengan \(k \in \N_+\)), distribusi gamma juga dikenal sebagai distribusi Erlang, yang dinamai menurut Agner Erlang. Misalkan sekarang \(Y_k\) memiliki distribusi gamma (Erlang) dengan parameter bentuk \(k \in \N_+\) dan parameter skala \(b \gt 0\). Maka \[ Y_k = \sum_{i=1}^k X_i \] dengan \((X_1, X_2, \ldots)\) merupakan barisan variabel independen yang masing-masing memiliki distribusi eksponensial dengan parameter skala \(b\). (Distribusi eksponensial merupakan kasus khusus distribusi gamma dengan parameter bentuk 1.) Oleh karena itu, jika \(k\) besar, distribusi gamma dapat diaproksimasi dengan distribusi normal yang memiliki rata-rata \(k b\) dan varians \(k b^2\). Pernyataan yang sama sebenarnya berlaku ketika \(k\) bukan bilangan bulat. Berikut pernyataan tepatnya:

Aproksimasi Normal untuk Distribusi Khi-Kuadrat

Ingat bahwa distribusi khi-kuadrat dengan \(n \in (0, \infty)\) derajat kebebasan merupakan kasus khusus distribusi gamma, dengan parameter bentuk \(k = n / 2\) dan parameter skala \(b = 2\). Dengan demikian, distribusi khi-kuadrat dengan \(n\) derajat kebebasan memiliki fungsi kepadatan probabilitas \[ f(x) = \frac{1}{\Gamma(n/2) 2^{n/2}} x^{n/2 - 1}e^{-x/2}, \quad 0 \lt x \lt \infty \] Jika \( n \) merupakan bilangan bulat positif, distribusi khi-kuadrat mengatur jumlah kuadrat dari \( n \) variabel normal baku yang independen. Oleh sebab itu, distribusi ini merupakan salah satu distribusi terpenting dalam statistika. Dari pembahasan sebelumnya mengenai distribusi gamma, diperoleh bahwa jika \(n\) besar, distribusi khi-kuadrat dapat diaproksimasi dengan distribusi normal yang memiliki rata-rata \(n\) dan varians \(2 n\). Berikut pernyataan tepatnya:

Aproksimasi Normal untuk Distribusi Binomial

Ingat bahwa barisan percobaan Bernoulli, yang dinamai menurut Jacob Bernoulli, merupakan barisan \( (X_1, X_2, \ldots) \) variabel indikator independen dan berdistribusi identik, dengan \(\P(X_i = 1) = p\) untuk setiap \(i\), sedangkan \(p \in (0, 1)\) merupakan parameternya. Dalam istilah keandalan yang lazim, \(X_i\) merupakan hasil percobaan ke-\(i\), dengan 1 berarti berhasil dan 0 berarti gagal. Rata-rata bersamanya adalah \(p\) dan varians bersamanya adalah \(p (1 - p)\).

Misalkan \(Y_n = \sum_{i=1}^n X_i\), sehingga \(Y_n\) merupakan banyaknya keberhasilan dalam \(n\) percobaan pertama. Ingat bahwa \(Y_n\) memiliki distribusi binomial dengan parameter \(n\) dan \(p\), serta memiliki fungsi kepadatan probabilitas \[ f(k) = \binom{n}{k} p^k (1 - p)^{n-k}, \quad k \in \{0, 1, \ldots, n\} \]

Dari teorema limit pusat diperoleh bahwa jika \(n\) besar, distribusi binomial dengan parameter \(n\) dan \(p\) dapat diaproksimasi dengan distribusi normal yang memiliki rata-rata \(n p\) dan varians \(n p (1 - p)\). Pedoman praktisnya ialah bahwa \(n\) harus cukup besar sehingga \(n p \ge 5\) dan \(n (1 - p) \ge 5\). (Syarat pertama merupakan syarat penting ketika \(p \lt \frac{1}{2}\), sedangkan syarat kedua merupakan syarat penting ketika \(p \gt \frac{1}{2}\).) Berikut pernyataan tepatnya:

Aproksimasi Normal untuk Distribusi Poisson

Ingat bahwa distribusi Poisson, yang dinamai menurut Simeon Poisson, merupakan distribusi diskret pada \( \N \) dengan fungsi kepadatan probabilitas \( f \) yang diberikan oleh \[ f(x) = e^{-\theta} \frac{\theta^x}{x!}, \quad x \in \N \] dengan \(\theta \gt 0\) sebagai parameter. Parameter tersebut sekaligus merupakan rata-rata dan varians distribusi. Distribusi Poisson banyak digunakan untuk memodelkan banyaknya titik acak dalam suatu wilayah waktu atau ruang, khususnya dalam konteks proses Poisson. Dalam konteks ini, parameternya sebanding dengan ukuran wilayah.

Misalkan sekarang \(Y_n\) memiliki distribusi Poisson dengan parameter \(n \in \N_+\). Maka \[ Y_n = \sum_{i=1}^n X_i \] dengan \((X_1, X_2, \ldots, X_n)\) merupakan barisan variabel independen yang masing-masing memiliki distribusi Poisson dengan parameter 1. Dari teorema limit pusat diperoleh bahwa jika \(n\) besar, distribusi Poisson dengan parameter \(n\) dapat diaproksimasi dengan distribusi normal yang memiliki rata-rata \(n\) dan varians \(n\). Pernyataan yang sama berlaku ketika parameter \(n\) bukan bilangan bulat. Berikut pernyataan tepatnya:

Aproksimasi Normal untuk Distribusi Binomial Negatif

Versi umum distribusi binomial negatif merupakan distribusi diskret pada \( \N \), dengan parameter bentuk \( k \in (0, \infty) \) dan parameter keberhasilan \( p \in (0, 1) \). Fungsi kepadatan probabilitas \( f \) diberikan oleh \[ f(n) = \binom{n + k - 1}{n} p^k (1 - p)^n, \quad n \in \N \] Rata-ratanya adalah \( k (1 - p) / p \) dan variansnya adalah \( k (1 - p) / p^2 \). Jika \( k \in \N_+ \), distribusi ini mengatur banyaknya kegagalan \( Y_k \) sebelum keberhasilan bernomor \( k \) dalam barisan percobaan Bernoulli dengan parameter keberhasilan \( p \). Jadi, dalam kasus ini, \[ Y_k = \sum_{i=1}^k X_i \] dengan \((X_1, X_2, \ldots, X_k)\) merupakan barisan variabel independen yang masing-masing memiliki distribusi geometrik pada \(\N\) dengan parameter \(p\). (Distribusi geometrik merupakan kasus khusus distribusi binomial negatif dengan parameter 1 dan \(p\).) Dalam konteks percobaan Bernoulli, \( X_1 \) merupakan banyaknya kegagalan sebelum keberhasilan pertama, dan untuk \( i \in \{2, 3, \ldots\} \), \(X_i\) merupakan banyaknya kegagalan di antara keberhasilan ke-\( i - 1 \) dan keberhasilan ke-\( i \). Oleh karena itu, jika \(k\) besar, distribusi binomial negatif dapat diaproksimasi dengan distribusi normal. Pernyataan yang sama berlaku jika \( k \) bukan bilangan bulat. Berikut pernyataan tepatnya:

Versi lain distribusi binomial negatif ialah distribusi nomor percobaan \( V_k \) bagi keberhasilan bernomor \( k \in \N_+ \). Jadi, \( V_k = k + Y_k \), sedangkan \( V_k \) memiliki rata-rata \( k / p \) dan varians \( k (1 - p) / p^2 \). Aproksimasi normal juga berlaku untuk distribusi \( V_k \) jika \( k \) besar. Karena kedua distribusi berhubungan melalui transformasi lokasi, skor bakunya sama. Artinya, \[ \frac{p V_k - k}{\sqrt{k (1 - p)}} = \frac{p Y_k - k(1 - p)}{\sqrt{k ( 1 - p)}} \]

Jumlah Parsial dengan Banyak Suku Acak

Topik terakhir kita agak lebih esoteris, tetapi masih sesuai dengan konteks umum bagian ini. Ingat bahwa \(\bs{X} = (X_1, X_2, \ldots)\) merupakan barisan variabel acak bernilai riil yang independen dan berdistribusi identik, dengan rata-rata bersama \(\mu\) dan varians bersama \(\sigma^2\). Misalkan sekarang \(N\) merupakan variabel acak (pada ruang probabilitas yang sama) yang bernilai dalam \(\N\), juga dengan rata-rata dan varians berhingga. Maka \[ Y_N = \sum_{i=1}^N X_i \] merupakan jumlah acak dari variabel-variabel independen dan berdistribusi identik. Artinya, suku-sukunya tentu saja acak, tetapi banyak suku \(N\) juga acak. Kita terutama tertarik pada momen-momen \(Y_N\).

Banyak Suku yang Independen

Pertama, misalkan \(N\), yaitu banyak suku, independen dari \(\bs{X}\), yaitu barisan suku. Menghitung momen-momen \(Y_N\) merupakan latihan yang baik dalam nilai harapan bersyarat.

Persamaan Wald

Hasil pada bagian (b) dari dapat digeneralisasi untuk kasus ketika banyak suku acak \(N\) merupakan waktu henti bagi barisan \(\bs{X}\). Ini berarti bahwa kejadian \(\{N = n\}\) hanya bergantung pada (secara teknis, terukur terhadap) \((X_1, X_2, \ldots, X_n)\) untuk setiap \(n \in \N\). Generalisasi ini dikenal sebagai persamaan Wald dan dinamai menurut Abraham Wald.

Pembuktian yang elegan untuk persamaan Wald diberikan dalam bab mengenai Martingal.