Andaikan kembali bahwa kita mempunyai variabel acak teramati \(\bs{X}\) untuk suatu eksperimen acak, dengan nilai dalam himpunan \(S\). Andaikan pula bahwa distribusi \(\bs{X}\) bergantung pada parameter tak diketahui \(\theta\), yang nilainya berada dalam himpunan parameter \(T\). Tentu saja, variabel data \(\bs{X}\) hampir selalu bernilai vektor. Parameter \(\theta\) juga dapat bernilai vektor. Fungsi kepadatan probabilitas \(\bs{X}\) pada \(S\) akan kita nyatakan dengan \(f_\theta\) untuk \(\theta \in T\). Distribusi \( \bs{X} \) dapat berupa diskret ataupun kontinu.
Fungsi kemungkinan diperoleh dengan mempertukarkan peran \(\bs{x}\) dan \(\theta\) dalam fungsi kepadatan probabilitas: kita memandang \(\theta\) sebagai peubah dan \(\bs{x}\) sebagai informasi yang diberikan, tepat seperti sudut pandang dalam pendugaan.
Fungsi kemungkinan (likelihood) pada \( \bs{x} \in S \) adalah fungsi \( L_{\bs{x}}: T \to [0, \infty) \) yang diberikan oleh \[ L_\bs{x}(\theta) = f_\theta(\bs{x}), \quad \theta \in T \]
Dalam metode kemungkinan maksimum, untuk setiap nilai vektor data kita mencari nilai parameter yang memaksimumkan fungsi kemungkinan.
Andaikan nilai maksimum \( L_{\bs{x}} \) dicapai di \( u(\bs{x}) \in T \) untuk setiap \( \bs{x} \in S \). Maka statistik \( u(\bs{X}) \) merupakan penduga kemungkinan maksimum bagi \( \theta \).
Metode kemungkinan maksimum menarik secara intuitif: kita memilih nilai parameter yang memberikan nilai fungsi kemungkinan terbesar pada data yang benar-benar teramati.
Karena fungsi logaritma natural naik secara ketat pada \( (0, \infty) \), nilai maksimum fungsi kemungkinan, jika ada, dicapai pada titik yang sama dengan nilai maksimum logaritma fungsi kemungkinan. Untuk nilai fungsi kemungkinan yang nol, kita menggunakan konvensi nilai diperluas bahwa logaritmanya adalah minus tak hingga.
Fungsi log-kemungkinan pada \( \bs{x} \in S \) adalah fungsi \( \ln L_{\bs{x}} \): \[ \ln L_{\bs{x}}(\theta) = \ln f_\theta(\bs{x}), \quad \theta \in T \] Jika nilai maksimum \( \ln L_{\bs{x}} \) dicapai di \( u(\bs{x}) \in T \) untuk setiap \( \bs{x} \in S \), maka statistik \( u(\bs{X}) \) merupakan penduga kemungkinan maksimum bagi \( \theta \).
Fungsi log-kemungkinan sering lebih mudah digunakan daripada fungsi kemungkinan, biasanya karena fungsi kepadatan probabilitas \(f_\theta(\bs{x})\) mempunyai struktur hasil kali.
Kasus khusus yang penting terjadi ketika \(\bs{\theta} = (\theta_1, \theta_2, \ldots, \theta_k)\) merupakan vektor berisi \(k\) parameter riil, sehingga \(T \subseteq \R^k\). Dalam hal ini, masalah kemungkinan maksimum adalah memaksimumkan fungsi beberapa peubah. Jika ruang parameter \(T\) mempunyai interior tak kosong, metode kalkulus dapat digunakan. Jika nilai maksimum \(L_\bs{x}\) dicapai di titik \(\bs{\theta}\) pada bagian dalam \(T\), maka \(L_\bs{x}\) mempunyai maksimum lokal di \(\bs{\theta}\). Jadi, apabila fungsi kemungkinan terdiferensialkan, persamaan berikut menghasilkan calon titik interior: \[ \frac{\partial}{\partial \theta_i} L_\bs{x}(\bs{\theta}) = 0, \quad i \in \{1, 2, \ldots, k\} \] atau, secara ekuivalen, \[ \frac{\partial}{\partial \theta_i} \ln L_\bs{x}(\bs{\theta}) = 0, \quad i \in \{1, 2, \ldots, k\} \] Namun, setiap titik stasioner masih harus dibandingkan dan diperiksa sebagai maksimum; nilai maksimum juga dapat dicapai pada batas \(T\) atau bahkan tidak ada.
Kasus khusus terpenting terjadi ketika variabel data membentuk sampel acak dari suatu distribusi.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi variabel acak \(X\) yang bernilai dalam suatu himpunan \(R\), dengan fungsi kepadatan probabilitas \(g_\theta\) untuk \(\theta \in T\). Maka \(\bs{X}\) bernilai dalam \(S = R^n\), dan fungsi kemungkinan serta log-kemungkinan untuk \( \bs{x} = (x_1, x_2, \ldots, x_n) \in S \) adalah \begin{align*} L_\bs{x}(\theta) & = \prod_{i=1}^n g_\theta(x_i), \quad \theta \in T \\ \ln L_\bs{x}(\theta) & = \sum_{i=1}^n \ln g_\theta(x_i), \quad \theta \in T \end{align*}
Kembali ke kerangka umum, andaikan sekarang \(h\) merupakan fungsi satu-satu dari himpunan parameter \(T\) ke seluruh himpunan \(\Lambda\). Kita dapat memandang \(\lambda = h(\theta)\) sebagai parameter baru bernilai dalam \(\Lambda\) dan dengan mudah memparameterkan ulang fungsi kepadatan probabilitas. Jadi, tetapkan \( \hat{f}_\lambda(\bs{x}) = f_{h^{-1}(\lambda)}(\bs{x})\) untuk \( \bs{x} \in S \) dan \( \lambda \in \Lambda \). Fungsi kemungkinan yang bersesuaian untuk \( \bs{x} \in S \) adalah \[ \hat{L}_\bs{x}(\lambda) = L_\bs{x}\left[h^{-1}(\lambda)\right], \quad \lambda \in \Lambda \] Jelas bahwa jika \(u(\bs{x}) \in T\) memaksimumkan \(L_\bs{x}\) untuk \(\bs{x} \in S\), maka \(h\left[u(\bs{x})\right] \in \Lambda\) memaksimumkan \(\hat{L}_\bs{x}\) untuk \(\bs{x} \in S\). Jadi, jika \(U\) adalah penduga kemungkinan maksimum bagi \(\theta\), maka \(V = h(U)\) adalah penduga kemungkinan maksimum bagi \( \lambda = h(\theta) \).
Jika fungsi \(h\) tidak satu-satu, fungsi kemungkinan biasa untuk parameter baru \(\lambda = h(\theta)\) tidak terdefinisi melalui parameterisasi ulang tunggal, karena kepadatan umumnya tidak ditentukan sepenuhnya oleh \(\lambda\). Namun, metode tersebut mempunyai perluasan alami melalui kemungkinan profil.
Andaikan \( h: T \to \Lambda \), dengan himpunan target sama dengan citra fungsi tersebut, dan nyatakan parameter baru dengan \( \lambda = h(\theta) \). Definisikan fungsi kemungkinan profil bagi \( \lambda \) pada \( \bs{x} \in S\) dengan \[ \hat{L}_\bs{x}(\lambda) = \sup\left\{L_\bs{x}(\theta): \theta \in h^{-1}\{\lambda\} \right\}, \quad \lambda \in \Lambda \] Jika \( v(\bs{x}) \in \Lambda \) memaksimumkan \( \hat{L}_{\bs{x}} \) untuk setiap \( \bs{x} \in S \), maka \( V = v(\bs{X}) \) merupakan penduga kemungkinan maksimum bagi \( \lambda \).
Definisi ini memperluas metode kemungkinan maksimum ke kasus ketika parameter kepentingan tidak sepenuhnya memparameterkan fungsi kepadatan probabilitas. Teorema berikut dikenal sebagai sifat invariansi: jika masalah kemungkinan maksimum bagi \( \theta \) dapat diselesaikan, masalah bagi \( \lambda = h(\theta) \) juga dapat diselesaikan.
Dalam kerangka definisi , jika \( U \) merupakan penduga kemungkinan maksimum bagi \( \theta \), maka \( V = h(U) \) merupakan penduga kemungkinan maksimum bagi \( \lambda \).
Seperti sebelumnya, jika \(u(\bs{x}) \in T\) memaksimumkan \(L_\bs{x}\) untuk \(\bs{x} \in S\), maka \(h\left[u(\bs{x})\right] \in \Lambda\) memaksimumkan \(\hat{L}_\bs{x}\) untuk \(\bs{x} \in S\).
Dalam subbagian berikut kita mempelajari pendugaan kemungkinan maksimum untuk sejumlah keluarga distribusi parametrik khusus. Ingat bahwa jika \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak dari distribusi dengan rata-rata \(\mu\) dan varians \(\sigma^2\), maka penduga metode momen bagi \(\mu\) dan \(\sigma^2\) masing-masing adalah \begin{align} M & = \frac{1}{n} \sum_{i=1}^n X_i \\ T^2 & = \frac{1}{n} \sum_{i=1}^n (X_i - M)^2 \end{align} Tentu saja, \(M\) adalah rata-rata sampel, sedangkan \(T^2 \) adalah versi berbias dari varians sampel. Statistik-statistik tersebut terkadang juga muncul sebagai penduga kemungkinan maksimum. Statistik lain yang akan muncul dalam beberapa contoh di bawah adalah \[ M^{(2)} = \frac{1}{n} \sum_{i=1}^n X_i^2 \] momen sampel kedua terhadap titik asal. Seperti biasa, usahakan menurunkan sendiri hasilnya sebelum membuka rincian.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi Bernoulli dengan parameter keberhasilan \(p \in [0, 1]\). Ingat bahwa fungsi kepadatan probabilitas Bernoulli adalah \[ g(x) = p^x (1 - p)^{1 - x}, \quad x \in \{0, 1\} \] Jadi, \(\bs{X}\) merupakan barisan variabel indikator saling bebas dengan \(\P(X_i = 1) = p\) untuk setiap \(i\). Dalam istilah keandalan yang lazim, \(X_i\) adalah hasil percobaan ke-\(i\), dengan 1 berarti berhasil dan 0 berarti gagal. Misalkan \(Y = \sum_{i=1}^n X_i\) menyatakan banyaknya keberhasilan, sehingga proporsi keberhasilan—rata-rata sampel—adalah \(M = Y / n\). Ingat bahwa \(Y\) mempunyai distribusi binomial dengan parameter \(n\) dan \(p\).
Rata-rata sampel \(M\) merupakan penduga kemungkinan maksimum bagi \(p\) pada himpunan parameter \( [0, 1] \).
Perhatikan bahwa \(\ln g(x) = x \ln p + (1 - x) \ln(1 - p)\) untuk \( x \in \{0, 1\} \). Jadi, untuk titik interior, fungsi log-kemungkinan pada \( \bs{x} = (x_1, x_2, \ldots, x_n) \in \{0, 1\}^n \) adalah \[ \ln L_{\bs{x}}(p) = \sum_{i=1}^n [x_i \ln p + (1 - x_i) \ln(1 - p)], \quad p \in (0, 1) \] Mendiferensialkan terhadap \(p\) dan menyederhanakannya menghasilkan \[ \frac{d}{dp} \ln L_{\bs{x}}(p) = \frac{y}{p} - \frac{n - y}{1 - p} \] dengan \(y = \sum_{i=1}^n x_i\). Jika jumlah keberhasilan berada secara ketat antara nol dan ukuran sampel, terdapat satu titik kritis interior pada \(p = y / n = m\). Turunan keduanya adalah \[ \frac{d^2}{d p^2} \ln L_{\bs{x}}(p) = -\frac{y}{p^2} - \frac{n - y}{(1 - p)^2} \lt 0 \] Jadi fungsi log-kemungkinan cekung ketat pada bagian interior. Jika tidak ada keberhasilan, kemungkinan dimaksimumkan di batas p = 0; jika semua percobaan berhasil, kemungkinan dimaksimumkan di batas p = 1. Dengan demikian, dalam semua kasus maksimum pada himpunan parameter tertutup dicapai di \(m\).
Ingat bahwa \(M\) juga merupakan penduga metode momen bagi \(p\). Selalu menyenangkan ketika dua prosedur pendugaan yang berbeda memberikan hasil yang sama. Selanjutnya kita tinjau masalah yang sama dengan himpunan parameter yang jauh lebih terbatas.
Andaikan sekarang \(p\) bernilai dalam \(\left\{\frac{1}{2}, 1\right\}\). Penduga kemungkinan maksimum bagi \(p\) adalah statistik \[ U = \begin{cases} 1, & Y = n\\ \frac{1}{2}, & Y \lt n \end{cases} \]
Perhatikan bahwa fungsi kemungkinan pada \( \bs{x} = (x_1, x_2, \ldots, x_n) \in \{0, 1\}^n \) adalah \(L_{\bs{x}}(p) = p^y (1 - p)^{n-y}\) untuk \( p \in \left\{\frac{1}{2}, 1\right\} \), dengan \(y = \sum_{i=1}^n x_i\) seperti biasa. Jadi \(L_{\bs{x}}\left(\frac{1}{2}\right) = \left(\frac{1}{2}\right)^n\). Di sisi lain, \(L_{\bs{x}}(1) = 0\) jika \(y \lt n\), sedangkan \(L_{\bs{x}}(1) = 1\) jika \(y = n\). Dengan demikian, jika \(y = n\) maksimum dicapai pada \(p = 1\), sedangkan jika \(y \lt n\) maksimum dicapai pada \(p = \frac{1}{2}\).
Distribusi Bernoulli pada memodelkan koin yang adil atau mempunyai gambar pada kedua sisi. Hasil dan menunjukkan bahwa penduga kemungkinan maksimum suatu parameter, seperti penyelesaian setiap masalah pemaksimuman, sangat bergantung pada domain.
\(U\) secara seragam lebih baik daripada \(M\) pada himpunan parameter \(\left\{\frac{1}{2}, 1\right\}\).
Ingat bahwa \( \mse(M) = \var(M) = p (1 - p) / n \). Jika \( p = 1 \), maka \( \mse(M) = \mse(U) = 0 \) sehingga kedua penduga memberikan jawaban yang benar. Jika \( p = \frac{1}{2} \), maka \( \mse(U) = \left(\frac{1}{2}\right)^{n+2} \lt \frac{1}{4 n} = \mse(M) \).
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi Bernoulli dengan parameter keberhasilan tak diketahui \(p \in [0, 1]\). Tentukan penduga kemungkinan maksimum bagi \(p (1 - p)\), yaitu varians distribusi Bernoulli yang mendasarinya.
Berdasarkan sifat invariansi, penduganya adalah \(M (1 - M)\), dengan \(M\) sebagai rata-rata sampel.
Ingat bahwa distribusi geometrik pada \(\mathbb{N}_+\) dengan parameter keberhasilan \(p \in (0, 1)\) mempunyai fungsi kepadatan probabilitas \[ g(x) = p (1 - p)^{x-1}, \quad x \in \mathbb{N}_+ \] Distribusi geometrik mengatur nomor percobaan tempat keberhasilan pertama terjadi dalam barisan percobaan Bernoulli.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak dari distribusi geometrik dengan parameter tak diketahui \(p \in (0, 1)\). Jika rata-rata sampel lebih besar daripada 1, penduga kemungkinan maksimum bagi \(p\) adalah \(U = 1 / M\). Jika seluruh pengamatan sama dengan 1 sehingga rata-rata sampelnya 1, tidak ada penduga kemungkinan maksimum pada ruang parameter terbuka; supremum kemungkinan didekati ketika parameter menuju 1 dari kiri.
Perhatikan bahwa \( \ln g(x) = \ln p + (x - 1) \ln(1 - p) \) untuk \( x \in \mathbb{N}_+ \). Jadi fungsi log-kemungkinan yang bersesuaian dengan data \( \bs{x} = (x_1, x_2, \ldots, x_n) \in \mathbb{N}_+^n \) adalah \[ \ln L_\bs{x}(p) = n \ln p + (y - n) \ln(1 - p), \quad p \in (0, 1) \] dengan \( y = \sum_{i=1}^n x_i \). Maka \[ \frac{d}{dp} \ln L_{\bs{x}}(p) = \frac{n}{p} - \frac{y - n}{1 - p} \] Jika rata-rata sampel lebih besar daripada 1, turunannya nol ketika \( p = n / y = 1 / m \). Selanjutnya, \( \frac{d^2}{dp^2} \ln L_\bs{x}(p) = -n / p^2 - (y - n) / (1 - p)^2 \lt 0 \), sehingga maksimum dicapai pada titik kritis. Kasus batas ketika rata-rata sampel sama dengan 1 dijelaskan dalam pernyataan di atas.
Ingat bahwa \(U\) juga merupakan penduga metode momen bagi \(p\) ketika nilainya berada dalam ruang parameter. Selalu meyakinkan ketika dua prosedur pendugaan yang berbeda menghasilkan penduga yang sama.
Secara lebih umum, distribusi binomial negatif pada \( \N \) dengan parameter bentuk \( k \in (0, \infty) \) dan parameter keberhasilan \( p \in (0, 1) \) mempunyai fungsi kepadatan probabilitas \[ g(x) = \frac{\Gamma(x + k)}{\Gamma(k)\,x!} p^k (1 - p)^x, \quad x \in \N \] Jika \( k \) bilangan bulat positif, distribusi ini mengatur banyaknya kegagalan sebelum keberhasilan ke-\( k \) dalam barisan percobaan Bernoulli dengan parameter keberhasilan \( p \). Namun, distribusi tersebut juga terdefinisi untuk setiap \( k \in (0, \infty) \), tidak hanya untuk bilangan bulat.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi binomial negatif pada \( \N \), dengan parameter bentuk \( k \) diketahui dan parameter keberhasilan \( p \in (0, 1) \) tidak diketahui. Jika rata-rata sampel positif, penduga kemungkinan maksimum bagi \( p \) adalah \[ U = \frac{k}{k + M} \]
Perhatikan bahwa \( \ln g(x) = \ln \Gamma(x + k) - \ln \Gamma(k) - \ln(x!) + k \ln p + x \ln(1 - p) \) untuk \( x \in \N \). Jadi fungsi log-kemungkinan yang bersesuaian dengan \( \bs{x} = (x_1, x_2, \ldots, x_n) \in \N^n \) adalah \[ \ln L_\bs{x}(p) = n k \ln p + y \ln(1 - p) + C, \quad p \in (0, 1) \] dengan \( y = \sum_{i=1}^n x_i \) dan \( C = \sum_{i=1}^n [\ln \Gamma(x_i + k) - \ln \Gamma(k) - \ln(x_i!)] \). Maka \[ \frac{d}{dp} \ln L_\bs{x}(p) = \frac{n k}{p} - \frac{y}{1 - p} \] Turunannya nol ketika \( p = n k / (n k + y) = k / (k + m) \), dengan \( m = y / n \) seperti biasa. Selanjutnya, \( \frac{d^2}{dp^2} \ln L_\bs{x}(p) = - n k / p^2 - y / (1 - p)^2 \lt 0 \), sehingga maksimum dicapai pada titik kritis. Jika rata-rata sampel tersebut nol, rumus tersebut menghasilkan nilai batas 1 yang tidak termasuk ruang parameter terbuka; dalam kasus itu supremum kemungkinan tidak dicapai.
Ketika terdefinisi dalam ruang parameter, hasil ini kembali sama dengan penduga metode momen bagi \( p \) ketika \( k \) diketahui.
Ingat bahwa distribusi Poisson dengan parameter \(r \gt 0\) mempunyai fungsi kepadatan probabilitas
\[ g(x) = e^{-r} \frac{r^x}{x!}, \quad x \in \N \]
Distribusi Poisson dinamai menurut Simeon Poisson dan banyak digunakan untuk memodelkan banyaknya titik
acak dalam suatu wilayah waktu atau ruang, terutama dalam konteks proses Poisson. Parameter \( r\) sebanding dengan ukuran wilayah tersebut.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak dari distribusi Poisson dengan parameter tak diketahui \(r \in (0, \infty)\). Jika rata-rata sampel positif, penduga kemungkinan maksimum bagi \(r\) adalah rata-rata sampel \(M\). Jika semua pengamatan nol, tidak ada pemaksimum pada ruang parameter terbuka; supremum didekati ketika parameter menuju 0 dari kanan.
Perhatikan bahwa \( \ln g(x) = -r + x \ln r - \ln(x!) \) untuk \( x \in \N \). Jadi fungsi log-kemungkinan yang bersesuaian dengan \( \bs{x} = (x_1, x_2, \ldots, x_n) \in \N^n\) adalah \[ \ln L_\bs{x}(r) = -n r + y \ln r - C, \quad r \in (0, \infty) \] dengan \( y = \sum_{i=1}^n x_i \) dan \( C = \sum_{i=1}^n \ln(x_i!) \). Jadi, \( \frac{d}{dr} \ln L_\bs{x}(r) = -n + y / r \). Jika jumlah nilai pengamatan positif, turunan tersebut nol ketika \( r = y / n = m \) dan turunan keduanya \( \frac{d^2}{dr^2} \ln L_\bs{x}(r) = -y / r^2 \lt 0 \), sehingga maksimum dicapai pada titik kritis. Jika jumlah nilai pengamatan nol, fungsi kemungkinan menurun pada ruang parameter dan tidak mempunyai pemaksimum.
Ingat bahwa pada distribusi Poisson, parameter \(r\) sekaligus merupakan rata-rata dan varians. Jadi \(M\) juga merupakan penduga metode momen bagi \(r\). Pada bagian pengantar kita menunjukkan bahwa \(M\) mempunyai galat kuadrat rata-rata yang lebih kecil daripada \(S^2\), meskipun keduanya tak bias.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak dari distribusi Poisson dengan parameter \(r \in (0, \infty)\), dan misalkan \(p = \P(X = 0) = e^{-r}\). Jika rata-rata sampel positif, tentukan penduga kemungkinan maksimum bagi \(p\) dengan dua cara. Jika rata-rata sampel nol, jelaskan mengapa pada ruang parameter semula tidak ada pemaksimum dan nilai 1 hanya merupakan supremum bagi parameter turunan tersebut.
Untuk rata-rata sampel positif, hasilnya adalah \(e^{-M}\), dengan \(M\) sebagai rata-rata sampel.
Ingat bahwa distribusi normal dengan rata-rata \(\mu\) dan varians \(\sigma^2\) mempunyai fungsi kepadatan probabilitas \[ g(x) = \frac{1}{\sqrt{2 \, \pi} \sigma} \exp \left[-\frac{1}{2} \left(\frac{x - \mu}{\sigma}\right)^2\right], \quad x \in \R \] Distribusi normal sering digunakan untuk memodelkan besaran fisik yang dipengaruhi galat acak kecil.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak dari distribusi normal dengan rata-rata tak diketahui \(\mu \in \R\) dan varians \(\sigma^2 \in (0, \infty)\). Jika varians sampel positif, penduga kemungkinan maksimum bagi \(\mu\) dan \(\sigma^2\) masing-masing adalah \(M\) dan \(T^2\). Jika varians sampel nol, kemungkinan tidak terbatas ketika varians distribusi mendekati nol dan tidak ada penduga kemungkinan maksimum pada ruang parameter tersebut.
Perhatikan bahwa \[ \ln g(x) = -\frac{1}{2} \ln(2 \pi) - \frac{1}{2} \ln(\sigma^2) - \frac{1}{2 \sigma^2} (x - \mu)^2, \quad x \in \R \] Jadi fungsi log-kemungkinan yang bersesuaian dengan data \( \bs{x} = (x_1, x_2, \ldots, x_n) \in \R^n \) adalah \[ \ln L_\bs{x}(\mu, \sigma^2) = -\frac{n}{2} \ln(2 \pi) - \frac{n}{2} \ln(\sigma^2) - \frac{1}{2 \sigma^2} \sum_{i=1}^n (x_i - \mu)^2, \quad (\mu, \sigma^2) \in \R \times (0, \infty) \] Pengambilan turunan parsial menghasilkan \begin{align*} \frac{\partial}{\partial \mu} \ln L_\bs{x}(\mu, \sigma^2) &= \frac{1}{\sigma^2} \sum_{i=1}^n (x_i - \mu) = \frac{1}{\sigma^2}\left(\sum_{i=1}^n x_i - n \mu\right) \\ \frac{\partial}{\partial \sigma^2} \ln L_\bs{x}(\mu, \sigma^2) &= -\frac{n}{2 \sigma^2} + \frac{1}{2 \sigma^4} \sum_{i=1}^n (x_i - \mu)^2 \end{align*} Turunan parsial bernilai nol ketika \( \mu = \frac{1}{n} \sum_{i=1}^n x_i\) dan \( \sigma^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \mu)^2 \). Jadi, apabila varians sampel positif, satu-satunya titik kritis adalah \( (m, t^2) \). Dengan sedikit kalkulus tambahan, turunan parsial kedua pada titik kritis adalah \[ \frac{\partial^2}{\partial \mu^2} \ln L_\bs{x}(m, t^2) = -n / t^2, \; \frac{\partial^2}{\partial \mu \partial \sigma^2} \ln L_\bs{x}(m, t^2) = 0, \; \frac{\partial^2}{\partial (\sigma^2)^2} \ln L_\bs{x}(m, t^2) = -n / (2 t^4)\] Matriks Hessian pada titik kritis tersebut definit negatif, dan bentuk log-kemungkinan menunjukkan bahwa titik itu merupakan maksimum global.
Tentu saja, \(M\) dan \(T^2\) juga merupakan penduga metode momen masing-masing bagi \(\mu\) dan \(\sigma^2\).
Jalankan eksperimen pendugaan normal sebanyak 1.000 kali untuk beberapa nilai ukuran sampel \(n\), rata-rata \(\mu\), dan varians \(\sigma^2\). Untuk parameter \(\sigma^2\), bandingkan penduga kemungkinan maksimum \(T^2\) dengan varians sampel biasa \(S^2\). Penduga mana yang tampaknya lebih baik dari segi galat kuadrat rata-rata?
Andaikan kembali bahwa \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak dari distribusi normal dengan rata-rata tak diketahui \(\mu \in \R\) dan varians tak diketahui \(\sigma^2 \in (0, \infty)\). Apabila varians sampel positif, tentukan penduga kemungkinan maksimum bagi \(\mu^2 + \sigma^2\), yaitu momen kedua terhadap titik asal bagi distribusi yang mendasarinya.
Berdasarkan sifat invariansi, penduganya adalah \(M^2 + T^2\), dengan \(M\) sebagai rata-rata sampel dan \(T^2\) sebagai versi berbias dari varians sampel.
Ingat bahwa distribusi gamma dengan parameter bentuk \(k \gt 0\) dan parameter skala \(b \gt 0\) mempunyai fungsi kepadatan probabilitas \[ g(x) = \frac{1}{\Gamma(k) \, b^k} x^{k-1} e^{-x / b}, \quad 0 \lt x \lt \infty \] Distribusi gamma sering digunakan untuk memodelkan waktu acak, terutama dalam konteks proses Poisson, serta jenis variabel acak positif tertentu lainnya.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak dari distribusi gamma dengan parameter bentuk \(k\) diketahui dan parameter skala tak diketahui \(b \in (0, \infty)\). Penduga kemungkinan maksimum bagi \(b\) adalah \(V_k = \frac{1}{k} M\).
Perhatikan bahwa untuk \( x \in (0, \infty) \), \[ \ln g(x) = -\ln \Gamma(k) - k \ln b + (k - 1) \ln x - \frac{x}{b} \] sehingga fungsi log-kemungkinan yang bersesuaian dengan data \( \bs{x} = (x_1, x_2, \ldots, x_n) \in (0, \infty)^n \) adalah \[ \ln L_\bs{x}(b) = - n k \ln b - \frac{y}{b} + C, \quad b \in (0, \infty)\] dengan \( y = \sum_{i=1}^n x_i \) dan \( C = -n \ln \Gamma(k) + (k - 1) \sum_{i=1}^n \ln x_i \). Jadi, \[ \frac{d}{d b} \ln L_\bs{x}(b) = -\frac{n k}{b} + \frac{y}{b^2} \] Turunannya nol ketika \( b = \frac{y}{n k} = \frac{m}{k} \). Selanjutnya, \( \frac{d^2}{db^2} \ln L_\bs{x}(b) = n k / b^2 - 2 y / b^3 \). Pada titik kritis \( b = \frac{y}{n k} \), turunan keduanya adalah \(-(n k)^3 / y^2 \lt 0\) sehingga maksimum dicapai di titik kritis.
Ingat bahwa \(V_k\) juga merupakan penduga metode momen bagi \(b\) ketika \(k\) diketahui. Namun, ketika \(k\) tidak diketahui, penduga metode momen bagi \(b\) adalah \(V = \frac{T^2}{M}\).
Jalankan eksperimen pendugaan gamma sebanyak 1.000 kali untuk beberapa nilai ukuran sampel \(n\), parameter bentuk \(k\), dan parameter skala \(b\). Dalam setiap kasus, bandingkan penduga metode momen \(V\) bagi \(b\) ketika \(k\) tidak diketahui dengan penduga metode momen sekaligus kemungkinan maksimum \(V_k\) bagi \(b\) ketika \(k\) diketahui. Penduga mana yang tampaknya lebih baik dari segi galat kuadrat rata-rata?
Ingat bahwa distribusi beta dengan parameter kiri \(a \in (0, \infty)\) dan parameter kanan \(b = 1\) mempunyai fungsi kepadatan probabilitas \[ g(x) = a x^{a-1}, \quad x \in (0, 1) \] Distribusi beta sering digunakan untuk memodelkan proporsi acak dan variabel acak lain yang nilainya berada dalam interval terbatas.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak dari distribusi beta dengan parameter kiri tak diketahui \(a \in (0, \infty)\) dan parameter kanan \(b = 1\). Penduga kemungkinan maksimum bagi \(a\) adalah \[ W = - \frac{n}{\sum_{i=1}^n \ln X_i} = -\frac{n}{\ln(X_1 X_2 \cdots X_n)} \]
Perhatikan bahwa \( \ln g(x) = \ln a + (a - 1) \ln x \) untuk \( x \in (0, 1) \). Jadi fungsi log-kemungkinan yang bersesuaian dengan data \( \bs{x} = (x_1, x_2, \ldots, x_n) \in (0, 1)^n \) adalah \[ \ln L_\bs{x}(a) = n \ln a + (a - 1) \sum_{i=1}^n \ln x_i, \quad a \in (0, \infty) \] Karena itu, \( \frac{d}{da} \ln L_\bs{x}(a) = n / a + \sum_{i=1}^n \ln x_i \). Turunannya nol ketika \( a = -n \big/ \sum_{i=1}^n \ln x_i \). Selanjutnya, \( \frac{d^2}{da^2} \ln L_\bs{x}(a) = -n / a^2 \lt 0 \), sehingga maksimum dicapai pada titik kritis.
Ingat bahwa ketika \(b = 1\), penduga metode momen bagi \(a\) adalah \(U_1 = M \big/ (1 - M)\). Namun, ketika \(b \in (0, \infty)\) juga tidak diketahui, penduga metode momen bagi \(a\) adalah \(U = M (M - M^{(2)}) \big/ (M^{(2)} - M^2)\). Ketika \(b = 1\), mana yang lebih baik: penduga metode momen atau penduga kemungkinan maksimum?
Dalam eksperimen pendugaan beta, tetapkan \(b = 1\). Jalankan eksperimen sebanyak 1.000 kali untuk beberapa nilai ukuran sampel \(n\) dan parameter \(a\). Dalam setiap kasus, bandingkan penduga \(U\), \(U_1\), dan \(W\). Penduga mana yang tampaknya lebih baik dari segi galat kuadrat rata-rata?
Terakhir, perhatikan bahwa \( 1 / W \) adalah rata-rata sampel untuk sampel acak berukuran \( n \) dari distribusi \( -\ln X \). Distribusi tersebut adalah distribusi eksponensial dengan laju \( a \).
Ingat bahwa distribusi Pareto dengan parameter bentuk \(a \gt 0\) dan parameter skala \(b \gt 0\) mempunyai fungsi kepadatan probabilitas \[ g(x) = \frac{a b^a}{x^{a+1}}, \quad b \le x \lt \infty \] Distribusi ini dinamai menurut Vilfredo Pareto dan merupakan distribusi berekor berat yang sering digunakan untuk memodelkan pendapatan serta jenis variabel acak tertentu lainnya.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak dari distribusi Pareto dengan parameter bentuk tak diketahui \(a \in (0, \infty)\) dan parameter skala tak diketahui \(b \in (0, \infty)\). Jika sampel tidak konstan—yang berlaku hampir pasti untuk sampel kontinu berukuran sekurang-kurangnya dua—penduga kemungkinan maksimum bagi \( b \) adalah \( X_{(1)} = \min\{X_1, X_2, \ldots, X_n\} \), yaitu statistik terurut pertama. Penduga kemungkinan maksimum bagi \( a \) adalah \[ U = \frac{n}{\sum_{i=1}^n \ln X_i - n \ln X_{(1)}} = \frac{n}{\sum_{i=1}^n \left(\ln X_i - \ln X_{(1)}\right)}\]
Perhatikan bahwa \( \ln g(x) = \ln a + a \ln b - (a + 1) \ln x \) untuk \( x \in [b, \infty) \). Jadi fungsi log-kemungkinan yang bersesuaian dengan data \( \bs{x} = (x_1, x_2, \ldots, x_n) \) adalah \[ \ln L_\bs{x}(a, b) = n \ln a + n a \ln b - (a + 1) \sum_{i=1}^n \ln x_i; \quad 0 \lt a \lt \infty, \, 0 \lt b \le x_i \text{ untuk setiap } i \in \{1, 2, \ldots, n\} \] Secara ekuivalen, domainnya adalah \( 0 \lt a \lt \infty \) dan \( 0 \lt b \le x_{(1)} \). Perhatikan bahwa \( \ln L_{\bs{x}}(a, b) \) naik terhadap \( b \) untuk setiap \( a \) sehingga dimaksimumkan ketika \( b = x_{(1)} \) untuk setiap \( a \). Selanjutnya, \[ \frac{d}{d a} \ln L_{\bs{x}}\left(a, x_{(1)}\right) = \frac{n}{a} + n \ln x_{(1)} - \sum_{i=1}^n \ln x_i \] Jika penyebutnya positif, turunannya nol ketika \( a = n \big/ \left(\sum_{i=1}^n \ln x_i - n \ln x_{(1)}\right) \). Selanjutnya, \( \frac{d^2}{da^2} \ln L_\bs{x}\left(a, x_{(1)}\right) = -n / a^2 \lt 0 \), sehingga maksimum dicapai pada titik kritis. Jika semua pengamatan sama, penyebut tersebut nol dan kemungkinan tidak terbatas ketika parameter bentuk bertambah; tidak ada penduga kemungkinan maksimum berhingga.
Ingat bahwa jika \(a \gt 2\), penduga metode momen bagi \(a\) dan \( b \) adalah \[ 1 + \sqrt{\frac{M^{(2)}}{M^{(2)} - M^2}}, \; \frac{M^{(2)}}{M} \left(1 - \sqrt{\frac{M^{(2)} - M^2}{M^{(2)}}}\right)\]
Buka eksperimen pendugaan Pareto. Jalankan eksperimen sebanyak 1.000 kali untuk beberapa nilai ukuran sampel \(n\) dan parameter \(a\) serta \( b \). Bandingkan penduga metode momen dengan penduga kemungkinan maksimum. Penduga mana yang tampaknya lebih baik dari segi bias dan galat kuadrat rata-rata?
Parameter skala pada distribusi Pareto sering kali diketahui.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak dari distribusi Pareto dengan parameter bentuk tak diketahui \(a \in (0, \infty)\) dan parameter skala diketahui \(b \in (0, \infty)\). Jika jumlah log-rasio sampel terhadap skala positif, penduga kemungkinan maksimum bagi \( a \) adalah \[ U = \frac{n}{\sum_{i=1}^n \ln X_i - n \ln b} = \frac{n}{\sum_{i=1}^n \left(\ln X_i - \ln b \right)}\]
Dengan menyesuaikan bukti sebelumnya, fungsi log-kemungkinan yang bersesuaian dengan data \( \bs{x} = (x_1, x_2, \ldots, x_n) \) adalah \[ \ln L_\bs{x}(a) = n \ln a + n a \ln b - (a + 1) \sum_{i=1}^n \ln x_i, \quad 0 \lt a \lt \infty \] Turunannya adalah \[ \frac{d}{d a} \ln L_{\bs{x}}(a) = \frac{n}{a} + n \ln b - \sum_{i=1}^n \ln x_i \] Jika penyebutnya positif, turunan nol ketika \( a = n \big/ \left(\sum_{i=1}^n \ln x_i - n \ln b\right) \). Selanjutnya, \( \frac{d^2}{da^2} \ln L_\bs{x}(a) = -n / a^2 \lt 0 \), sehingga maksimum dicapai pada titik kritis. Jika semua pengamatan sama dengan batas skala, penyebutnya nol dan tidak ada pemaksimum berhingga.
Dalam subbagian ini kita mempelajari masalah pendugaan terkait distribusi seragam yang menjadi sumber wawasan dan contoh tandingan. Dalam suatu arti, masalah pertama merupakan padanan kontinu dari masalah pendugaan yang dipelajari pada bagian statistik terurut dalam bab model pensampelan berhingga. Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak dari distribusi seragam pada interval \([0, h]\), dengan \(h \in (0, \infty)\) sebagai parameter tak diketahui. Jadi, distribusi asal sampel mempunyai fungsi kepadatan probabilitas \[ g(x) = \frac{1}{h}, \quad x \in [0, h] \] Mula-mula mari kita tinjau kembali hasil dari bagian sebelumnya.
Penduga metode momen bagi \(h\) adalah \(U = 2 M\). Penduga \(U\) mempunyai sifat-sifat berikut.
Sekarang mari kita tentukan penduga kemungkinan maksimumnya.
Jika maksimum sampel positif, penduga kemungkinan maksimum bagi \(h\) adalah \(X_{(n)} = \max\{X_1, X_2, \ldots, X_n\}\), yaitu statistik terurut ke-\(n\). Penduga ini merupakan penduga kemungkinan maksimum hampir pasti; pada kejadian berprobabilitas nol ketika semua pengamatan sama dengan 0, supremum pada ruang parameter terbuka tidak dicapai. Statistik \(X_{(n)}\) mempunyai sifat-sifat berikut.
Fungsi kemungkinan yang bersesuaian dengan data \( \bs{x} = (x_1, x_2, \ldots, x_n) \) adalah \( L_\bs{x}(h) = 1 / h^n \) untuk \( h \ge x_i \) bagi setiap \( i \in \{1, 2, \ldots, n\} \), dengan parameter skala positif. Jika maksimum sampel positif, domainnya ekuivalen dengan \( h \ge x_{(n)} \). Fungsi \( h \mapsto 1 / h^n \) menurun, sehingga maksimum dicapai pada nilai terkecil, yaitu \( x_{(n)} \). Bagian (a) dan (c) menyatakan kembali hasil dari bagian statistik terurut; bagian (b) dan (d) mengikuti dari keduanya.
Karena nilai harapan \(X_{(n)}\) merupakan kelipatan yang diketahui dari parameter \(h\), kita dapat dengan mudah membangun penduga tak bias.
Misalkan \(V = \frac{n+1}{n} X_{(n)}\). Penduga \(V\) mempunyai sifat-sifat berikut.
Bagian terakhir menunjukkan bahwa versi tak bias \(V\) dari penduga kemungkinan maksimum jauh lebih baik daripada penduga metode momen \(U\). Dalam pengertian laju galat kuadrat rata-rata yang digunakan pada halaman ini, sumber menyebut penduga seperti \(V\), yang galat kuadrat rata-ratanya turun pada orde \(\frac{1}{n^2}\), super efisien; istilah superefisien dalam teori asimtotik umum mempunyai arti yang lebih khusus. Setelah memperoleh penduga yang sangat baik, mari kita cari penduga yang sangat buruk. Calon alami ialah penduga berdasarkan \(X_{(1)} = \min\{X_1, X_2, \ldots, X_n\}\), yaitu statistik terurut pertama. Hasil berikut memudahkan perhitungannya.
Sampel \(\bs{X} = (X_1, X_2, \ldots, X_n)\) mempunyai sifat-sifat berikut.
Sekarang kita dapat membangun penduga yang sangat buruk.
Misalkan \(W = (n + 1)X_{(1)}\). Maka
Jalankan eksperimen pendugaan seragam sebanyak 1.000 kali untuk beberapa nilai ukuran sampel \(n\) dan parameter \(h\). Dalam setiap kasus, bandingkan bias empiris serta galat kuadrat rata-rata penduga dengan nilai teoretisnya. Urutkan penduga berdasarkan galat kuadrat rata-rata empiris.
Rangkaian latihan berikut menunjukkan bahwa penduga kemungkinan maksimum tidak selalu unik. Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak dari distribusi seragam pada interval \([a, a + 1]\), dengan \(a \in \R\) sebagai parameter tak diketahui. Jadi, distribusi asal sampel mempunyai fungsi kepadatan probabilitas \[ g(x) = 1, \quad a \le x \le a + 1 \] Seperti biasa, mula-mula kita tinjau penduga metode momen.
Penduga metode momen bagi \(a\) adalah \(U = M - \frac{1}{2}\). Penduga \(U\) mempunyai sifat-sifat berikut.
Namun, seperti telah dijanjikan, penduga kemungkinan maksimumnya tidak unik.
Setiap statistik \(V \in \left[X_{(n)} - 1, X_{(1)}\right]\) merupakan penduga kemungkinan maksimum bagi \(a\).
Fungsi kemungkinan yang bersesuaian dengan data \( \bs{x} = (x_1, x_2, \ldots, x_n) \) adalah \( L_\bs{x}(a) = 1 \) untuk \( a \le x_i \le a + 1 \) dan \( i \in \{1, 2, \ldots, n\} \). Domainnya ekuivalen dengan \( a \le x_{(1)} \) dan \( a \ge x_{(n)} - 1 \). Karena fungsi kemungkinan konstan pada domain ini, hasilnya mengikuti.
Untuk melengkapi pembahasan, mari kita tinjau masalah pendugaan penuh. Andaikan \( \bs{X} = (X_1, X_2, \ldots, X_n) \) merupakan sampel acak berukuran \( n \) dari distribusi seragam pada \( [a, a + h] \), dengan \( a \in \R \) dan \( h \in (0, \infty) \) keduanya tidak diketahui. Berikut hasil dari bagian sebelumnya.
Misalkan \( U \) dan \( V \) masing-masing menyatakan penduga metode momen bagi \( a \) dan \( h \). Maka \[ U = M - \sqrt{3} T, \quad V = 2 \sqrt{3} T \] dengan \( M = \frac{1}{n} \sum_{i=1}^n X_i \) sebagai rata-rata sampel dan \( T^2 = \frac{1}{n} \sum_{i=1}^n (X_i - M)^2 \) sebagai versi berbias dari varians sampel; simbol T menyatakan akar kuadrat nonnegatifnya.
Pada tahap ini tidak mengherankan bahwa penduga kemungkinan maksimum merupakan fungsi dari statistik terurut terbesar dan terkecil.
Jika rentang sampel positif, penduga kemungkinan maksimum bagi \( a \) dan \( h \) masing-masing adalah \( U = X_{(1)} \) dan \( V = X_{(n)} - X_{(1)} \). Jika rentang sampel nol, nilai skala 0 berada di luar ruang parameter dan supremum kemungkinan tidak dicapai.
Fungsi kemungkinan yang bersesuaian dengan data \( \bs{x} = (x_1, x_2, \ldots, x_n) \) adalah \( L_\bs{x}(a, h) = \frac{1}{h^n} \) untuk \( a \le x_i \le a + h \) dan \( i \in \{1, 2, \ldots, n\} \). Domainnya ekuivalen dengan \( a \le x_{(1)} \) dan \( a + h \ge x_{(n)} \). Pada rentang sampel positif, fungsi kemungkinan hanya bergantung pada \( h \) dalam domain ini dan menurun terhadapnya, sehingga maksimum dicapai ketika \( a = x_{(1)} \) dan \( h = x_{(n)} - x_{(1)} \). Bagian (a)–(d) mengikuti hasil baku bagi statistik terurut dari distribusi seragam.
Dalam semua contoh sebelumnya, barisan variabel acak teramati \( \bs{X} = (X_1, X_2, \ldots, X_n) \) merupakan sampel acak dari suatu distribusi. Namun, kemungkinan maksimum adalah metode yang sangat umum dan tidak mensyaratkan variabel teramati saling bebas ataupun berdistribusi identik. Dalam model hipergeometrik, terdapat populasi berisi \( N \) objek, dengan \( r \) objek tipe 1 dan \( N - r \) objek lainnya tipe 0. Ukuran populasi \( N \) adalah bilangan bulat positif. Jumlah objek tipe 1 \( r \) adalah bilangan bulat taknegatif dengan \( r \le N \). Keduanya merupakan parameter dasar, dan biasanya salah satu atau keduanya tidak diketahui. Berikut beberapa contoh umum.
Kita mengambil sampel \( n \) objek secara acak dari populasi, tanpa pengembalian, dengan ukuran sampel sekurang-kurangnya satu dan tidak melebihi ukuran populasi. Misalkan \( X_i \) adalah tipe objek terpilih ke-\( i \) sehingga barisan variabel teramati adalah \( \bs{X} = (X_1, X_2, \ldots, X_n) \). Variabel-variabel ini merupakan indikator yang berdistribusi identik, dengan \( \P(X_i = 1) = r / N \) untuk setiap \( i \in \{1, 2, \ldots, n\} \), tetapi saling bergantung karena pensampelan tanpa pengembalian. Banyaknya objek tipe 1 dalam sampel adalah \( Y = \sum_{i=1}^n X_i \). Statistik ini mempunyai distribusi hipergeometrik dengan parameter \( N \), \( r \), dan \( n \), serta fungsi kepadatan probabilitas \[ \P(Y = y) = \frac{\binom{r}{y} \binom{N - r}{n - y}}{\binom{N}{n}} = \binom{n}{y} \frac{r^{(y)} (N - r)^{(n - y)}}{N^{(n)}}, \quad y \in \{\max\{0, n - N + r\}, \ldots, \min\{n, r\}\} \] Ingat notasi pangkat jatuh: \( x^{(k)} = x (x - 1) \cdots (x - k + 1) \) untuk \( x \in \R \) dan \( k \in \N \).
Seperti di atas, misalkan \( \bs{X} = (X_1, X_2, \ldots, X_n) \) adalah variabel teramati dalam model hipergeometrik dengan parameter \( N \) dan \( r \). Maka
Dari penerapan sederhana aturan perkalian, fungsi kepadatan probabilitas \( f \) bagi \( \bs{X} \) adalah \[ f(\bs{x}) = \frac{r^{(y)} (N - r)^{(n - y)}}{N^{(n)}}, \quad \bs{x} = (x_1, x_2, \ldots, x_n) \in \{0, 1\}^n \] dengan \( y = \sum_{i=1}^n x_i \).
Dalam contoh keandalan, biasanya \( N \) diketahui dan kita ingin menduga \( r \). Dalam contoh satwa liar, biasanya \( r \) diketahui dan kita ingin menduga \( N \). Contoh ini dikenal sebagai model tangkap–tangkap kembali.
Jelas terdapat hubungan erat antara model hipergeometrik dan model percobaan Bernoulli pada subbagian di atas. Jika pensampelan dilakukan dengan pengembalian, model percobaan Bernoulli dengan \( p = r / N \) berlaku, bukan model hipergeometrik. Selain itu, jika ukuran populasi \( N \) besar dibandingkan ukuran sampel \( n \), model hipergeometrik dihampiri dengan baik oleh model percobaan Bernoulli, kembali dengan \( p = r / N \).