Tinjau kembali model statistika dasar: sebuah eksperimen acak menghasilkan variabel acak teramati \(\bs{X}\) yang nilainya berada dalam himpunan \(S\). Eksperimen tersebut biasanya mengambil sampel \(n\) objek dari suatu populasi lalu mencatat satu atau beberapa pengukuran untuk setiap objek. Dalam hal ini, variabel acak teramati berbentuk \[ \bs{X} = (X_1, X_2, \ldots, X_n) \] dengan \(X_i\) sebagai vektor pengukuran untuk objek ke-\(i\).
Andaikan \(\theta\) merupakan parameter riil distribusi \(\bs{X}\), dengan nilai dalam himpunan parameter \(T\). Misalkan \(f_\theta\) menyatakan fungsi kepadatan probabilitas bagi \(\bs{X}\) untuk \(\theta \in T\). Perhatikan bahwa operator nilai harapan, varians, dan kovarians juga bergantung pada \(\theta\), meskipun subskripnya kadang dihilangkan agar notasi tidak terlalu rumit.
Andaikan sekarang \(\lambda = \lambda(\theta)\) merupakan parameter sasaran yang diturunkan dari \(\theta\). (Tentu saja, \(\lambda\) dapat sama dengan \(\theta\), tetapi secara umum dapat pula berupa fungsi dari \(\theta\).) Pada bagian ini kita membahas masalah umum untuk mencari penduga terbaik bagi \(\lambda\) di antara suatu kelas penduga tak bias. Ingat bahwa jika \(U\) merupakan penduga tak bias bagi \(\lambda\), maka \(\var_\theta(U)\) adalah galat kuadrat rata-ratanya. Galat kuadrat rata-rata menjadi ukuran mutu penduga tak bias, sehingga definisi berikut bersifat alami.
Andaikan \(U\) dan \(V\) merupakan penduga tak bias bagi \(\lambda\).
Untuk penduga tak bias \( U \) dan \( V \) bagi \( \lambda \), varians \(U\) mungkin lebih kecil pada sebagian nilai \(\theta\), sedangkan varians \(V\) lebih kecil pada nilai \(\theta\) lainnya. Dalam keadaan itu tidak satu pun lebih baik secara seragam daripada yang lain. Penduga tak bias bervarians minimum adalah mutu terbaik yang dapat kita harapkan.
Kita akan menunjukkan bahwa, dengan syarat regularitas yang dinyatakan di bawah, varians setiap penduga tak bias bagi parameter \(\lambda\) mempunyai batas bawah. Jadi, jika suatu penduga mencapai batas itu untuk setiap \(\theta\), penduga tersebut harus merupakan UMVUE bagi \(\lambda\). Turunan fungsi log-kemungkinan, yang kadang disebut skor, berperan utama dalam analisis ini. Negatif turunan keduanya berperan lebih kecil, tetapi tetap penting. Kita beri nama kedua fungsi tersebut agar pembahasan lebih ringkas.
Untuk \(\bs{x} \in S\) dan \(\theta \in T\), definisikan \begin{align} L_1(\bs{x}, \theta) & = \frac{d}{d \theta} \ln\left[f_\theta(\bs{x})\right] \\ L_2(\bs{x}, \theta) & = -\frac{d}{d \theta} L_1(\bs{x}, \theta) = -\frac{d^2}{d \theta^2} \ln\left[f_\theta(\bs{x})\right] \end{align}
Pada sisa subbagian ini, kita meninjau statistik \(h(\bs{X})\) dengan \(h: S \to \R\) (jadi, khususnya, \(h\) tidak bergantung pada \(\theta\)). Kita memerlukan asumsi pokok berikut.
Kita hanya meninjau statistik \( h(\bs{X}) \) yang memenuhi \(\E_\theta\left[h^2(\bs{X})\right] \lt \infty\) untuk \(\theta \in T\). Kita juga mengasumsikan bahwa \[ \frac{d}{d \theta} \E_\theta\left[h(\bs{X})\right] = \E_\theta\left[h(\bs{X}) L_1(\bs{X}, \theta)\right] \] Artinya, operator turunan \(d / d\theta\) boleh dipertukarkan dengan operator nilai harapan \(\E_\theta\).
Perhatikan terlebih dahulu bahwa \[\frac{d}{d \theta} \E_\theta\left[h(\bs{X})\right]= \frac{d}{d \theta} \int_S h(\bs{x}) f_\theta(\bs{x}) \, d \bs{x}\] Di sisi lain, \begin{align} \E_\theta\left[h(\bs{X}) L_1(\bs{X}, \theta)\right] & = \E_\theta\left[h(\bs{X}) \frac{d}{d \theta} \ln\left[f_\theta(\bs{X})\right] \right] = \int_S h(\bs{x}) \frac{d}{d \theta} \ln\left[f_\theta(\bs{x})\right] f_\theta(\bs{x}) \, d \bs{x} \\ & = \int_S h(\bs{x}) \frac{\frac{d}{d \theta} f_\theta(\bs{x})}{f_\theta(\bs{x})} f_\theta(\bs{x}) \, d \bs{x} = \int_S h(\bs{x}) \frac{d}{d \theta} f_\theta(\bs{x}) \, d \bs{x} = \int_S \frac{d}{d \theta}\left[h(\bs{x}) f_\theta(\bs{x})\right] \, d \bs{x} \end{align} Jadi, kedua ungkapan itu sama tepat ketika operator turunan dan integral boleh dipertukarkan.
Secara umum, pertukaran dalam asumsi pokok di atas dapat dijamin apabila \(f_\theta(\bs{x})\) terdiferensialkan terhadap \(\theta\) dan, pada suatu lingkungan setiap nilai parameter, nilai mutlak hasil kali fungsi statistik dengan turunan tersebut didominasi oleh fungsi terintegralkan. Kekontinuan bersama terhadap \(\bs{x}\) dan \(\theta\) membantu memeriksa syarat itu. Himpunan dukungan \(\left\{\bs{x} \in S: f_\theta(\bs{x}) \gt 0 \right\}\) juga tidak boleh bergantung pada \(\theta\). Kekontinuan saja tidak menggantikan syarat dominasi. Untuk memakai bentuk batas yang membagi dengan informasi Fisher, informasi tersebut juga harus positif dan berhingga.
\(\E_\theta\left[L_1(\bs{X}, \theta)\right] = 0\) untuk \(\theta \in T\).
Jika \(h(\bs{X})\) merupakan statistik, maka
\[ \cov_\theta\left[h(\bs{X}), L_1(\bs{X}, \theta)\right] = \frac{d}{d \theta} \E_\theta\left[h(\bs{X})\right] \]\(\var_\theta\left[L_1(\bs{X}, \theta)\right] = \E_\theta\left[L_1^2(\bs{X}, \theta)\right]\)
Teorema berikut memberikan batas bawah Cramér-Rao umum untuk varians suatu statistik. Batas ini dinamai menurut Harold Cramér dan CR Rao.
Jika \(h(\bs{X})\) merupakan statistik, maka \[ \var_\theta\left[h(\bs{X})\right] \ge \frac{\left[\frac{d}{d \theta} \E_\theta\left[h(\bs{X})\right] \right]^2}{\E_\theta\left[L_1^2(\bs{X}, \theta)\right]} \]
Dari ketaksamaan korelasi, \[\cov_\theta^2\left[h(\bs{X}), L_1(\bs{X}, \theta)\right] \le \var_\theta\left[h(\bs{X})\right] \var_\theta\left[L_1(\bs{X}, \theta)\right]\] Hasilnya sekarang mengikuti teorema dan .
Sekarang kita dapat memberikan bentuk pertama batas bawah Cramér-Rao bagi penduga tak bias suatu parameter.
Andaikan \(\lambda(\theta)\) merupakan parameter sasaran dan \(h(\bs{X})\) merupakan penduga tak bias bagi \(\lambda\). Maka \[ \var_\theta\left[h(\bs{X})\right] \ge \frac{\left[d\lambda / d\theta\right]^2}{\E_\theta\left[L_1^2(\bs{X}, \theta)\right]} \]
Penduga bagi \(\lambda\) yang mencapai batas bawah Cramér-Rao untuk setiap nilai parameter merupakan penduga tak bias dengan varians minimum seragam (UMVUE) bagi \(\lambda\).
Pada setiap nilai parameter yang tetap, kesamaan dalam berlaku tepat ketika \(h(\bs{X})\) dapat ditulis memakai suatu fungsi \(u(\theta)\) sebagai berikut, dengan probabilitas 1. Jika hubungan berikut berlaku untuk setiap nilai parameter, batas tercapai di seluruh ruang parameter dan penduga tersebut merupakan UMVUE: \[ h(\bs{X}) = \lambda(\theta) + u(\theta) L_1(\bs{X}, \theta) \]
Kesamaan dalam ketaksamaan korelasi berlaku tepat ketika kedua variabel acak merupakan transformasi linear satu sama lain. Ingat pula bahwa \(L_1(\bs{X}, \theta)\) mempunyai rata-rata 0.
Kuantitas \(\E_\theta\left[L_1^2(\bs{X}, \theta)\right]\) yang muncul pada penyebut batas bawah dalam teorema dan disebut bilangan informasi Fisher bagi \(\bs{X}\), dinamai menurut Sir Ronald Fisher. Teorema berikut memberikan bentuk alternatif bilangan informasi Fisher yang biasanya lebih mudah dihitung.
Jika turunan yang diperlukan ada dan pertukaran operator yang diperlukan sah, maka \[ \E_\theta\left[L_1^2(\bs{X}, \theta)\right] = \E_\theta\left[L_2(\bs{X}, \theta)\right] \]
Teorema berikut memberikan bentuk kedua batas bawah Cramér-Rao bagi penduga tak bias suatu parameter.
Jika \(\lambda(\theta)\) merupakan parameter sasaran dan \(h(\bs{X})\) merupakan penduga tak bias bagi \(\lambda\), maka
\[ \var_\theta\left[h(\bs{X})\right] \ge \frac{\left[d\lambda / d\theta\right]^2}{\E_\theta\left[L_2(\bs{X}, \theta)\right]} \]Andaikan sekarang \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi variabel acak \(X\) yang mempunyai fungsi kepadatan probabilitas \(g_\theta\) dan bernilai dalam himpunan \(R\). Jadi, \(S = R^n\). Kita memakai huruf kecil untuk turunan fungsi log-kemungkinan satu pengamatan \(X\) dan negatif turunan kedua fungsi log-kemungkinan \(X\).
Untuk \(x \in R\) dan \(\theta \in T\), definisikan \begin{align} l(x, \theta) & = \frac{d}{d\theta} \ln\left[g_\theta(x)\right] \\ l_2(x, \theta) & = -\frac{d^2}{d\theta^2} \ln\left[g_\theta(x)\right] \end{align}
\(L_1^2\) dapat ditulis dalam \(l^2\), sedangkan \(L_2\) dapat ditulis dalam \(l_2\):
Teorema berikut memberikan bentuk kedua batas bawah Cramér-Rao umum bagi varians suatu statistik, yang dikhususkan untuk sampel acak.
Jika \( h(\bs{X}) \) merupakan statistik, maka
\[ \var_\theta\left[h(\bs{X})\right] \ge \frac{\left[\frac{d}{d\theta} \E_\theta\left[h(\bs{X})\right] \right]^2}{n \E_\theta\left[l^2(X, \theta)\right]} \]Teorema berikut memberikan bentuk ketiga batas bawah Cramér-Rao bagi penduga tak bias suatu parameter, yang dikhususkan untuk sampel acak.
Andaikan \(\lambda(\theta)\) merupakan parameter sasaran dan \(h(\bs{X})\) merupakan penduga tak bias bagi \(\lambda\). Maka \[ \var_\theta\left[h(\bs{X})\right] \ge \frac{(d\lambda / d\theta)^2}{n \E_\theta\left[l^2(X, \theta)\right]} \]
Perhatikan bahwa batas bawah Cramér-Rao berbanding terbalik dengan ukuran sampel \(n\). Bentuk berikut memberikan versi keempat batas bawah tersebut bagi penduga tak bias suatu parameter, sekali lagi khusus untuk sampel acak.
Jika turunan yang diperlukan ada dan pertukaran operator yang diperlukan sah, maka \[ \var_\theta\left[h(\bs{X})\right] \ge \frac{\left[d\lambda / d\theta\right]^2}{n \E_\theta\left[l_2(X, \theta)\right]} \]
Ringkasnya, terdapat empat bentuk batas bawah Cramér-Rao bagi varians penduga tak bias untuk \(\lambda\): dan untuk kasus umum, serta dan ketika \(\bs{X}\) merupakan sampel acak dari distribusi \(X\). Jika penduga tak bias bagi \(\lambda\) mencapai batas yang berlaku untuk setiap nilai parameter, penduga itu merupakan UMVUE.
Kita akan menerapkan hasil di atas pada beberapa keluarga distribusi parametrik. Mula-mula, ingat kembali notasi baku berikut. Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi variabel acak bernilai riil \(X\) dengan rata-rata \(\mu\) dan varians \(\sigma^2\). Rata-rata sampel adalah \[ M = \frac{1}{n} \sum_{i=1}^n X_i \] Ingat bahwa \(\E(M) = \mu\) dan \(\var(M) = \sigma^2 / n\). Varians sampel khusus ketika \(\mu\) diketahui dan varians sampel baku masing-masing adalah \begin{align} W^2 & = \frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2 \\ S^2 & = \frac{1}{n - 1} \sum_{i=1}^n (X_i - M)^2 \end{align}
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi Bernoulli dengan parameter keberhasilan tak diketahui \(p \in (0, 1)\). Dalam bahasa keandalan yang lazim, \(X_i = 1\) berarti berhasil pada percobaan ke-\(i\) dan \(X_i = 0\) berarti gagal pada percobaan ke-\(i\); distribusi ini dinamai menurut Jacob Bernoulli. Ingat bahwa fungsi kepadatan probabilitas Bernoulli adalah \[ g_p(x) = p^x (1 - p)^{1-x}, \quad x \in \{0, 1\} \] Asumsi terpenuhi. Ingat pula bahwa rata-rata distribusi Bernoulli adalah \(p\), sedangkan variansnya \(p (1 - p)\).
Rata-rata sampel \(M\) (yaitu proporsi keberhasilan) mencapai batas dalam , sehingga merupakan UMVUE bagi \(p\).
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi Poisson dengan parameter \(\theta \in (0, \infty)\). Distribusi ini sering dipakai untuk memodelkan banyaknya titik acak
dalam suatu wilayah waktu atau ruang, khususnya dalam konteks proses Poisson. Distribusi Poisson dinamai menurut Simeon Poisson dan mempunyai fungsi kepadatan probabilitas
\[ g_\theta(x) = e^{-\theta} \frac{\theta^x}{x!}, \quad x \in \N \]
Asumsi terpenuhi. Ingat pula bahwa rata-rata dan varians distribusi tersebut sama-sama \(\theta\).
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi normal dengan rata-rata \(\mu \in \R\) dan varians \(\sigma^2 \in (0, \infty)\). Distribusi normal sangat penting dalam statistika, antara lain karena teorema limit pusat. Distribusi ini banyak dipakai untuk memodelkan besaran fisik yang dipengaruhi banyak galat acak kecil dan mempunyai fungsi kepadatan probabilitas \[ g_{\mu,\sigma^2}(x) = \frac{1}{\sqrt{2 \, \pi} \sigma} \exp\left[-\frac{1}{2}\left[\frac{x - \mu}{\sigma}\right]^2 \right], \quad x \in \R\]
Asumsi terpenuhi untuk kedua parameter. Pendugaan rata-rata dan varians secara bersama memakai matriks informasi Fisher; pada model normal, informasi silang keduanya nol sehingga unsur diagonal invers matriks menghasilkan batas skalar yang sama seperti yang ditampilkan di bawah. Ingat pula bahwa momen pusat keempat adalah \(\E\left[(X - \mu)^4\right] = 3 \, \sigma^4\).
\(\frac{2 \sigma^4}{n}\) merupakan batas bawah Cramér-Rao bagi varians penduga tak bias untuk \(\sigma^2\).
Varians sampel \(S^2\) mempunyai varians \(\frac{2 \sigma^4}{n-1}\), sehingga tidak mencapai batas dalam .
Jika \(\mu\) diketahui, varians sampel khusus \(W^2\) mencapai batas dalam , sehingga merupakan UMVUE bagi \(\sigma^2\).
Jika \(\mu\) tidak diketahui, tidak ada penduga tak bias bagi \(\sigma^2\) yang mencapai batas bawah Cramér-Rao dalam .
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi gamma dengan parameter bentuk diketahui \(k \gt 0\) dan parameter skala tak diketahui \(b \gt 0\). Distribusi gamma sering dipakai untuk memodelkan waktu acak dan jenis variabel acak positif tertentu lainnya. Fungsi kepadatan probabilitasnya adalah \[ g_b(x) = \frac{1}{\Gamma(k) b^k} x^{k-1} e^{-x/b}, \quad x \in (0, \infty) \] Asumsi dalam terpenuhi terhadap \(b\). Selain itu, rata-rata dan varians distribusi gamma masing-masing adalah \(k b\) dan \(k b^2\).
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi beta dengan parameter kiri \(a \gt 0\) dan parameter kanan \(b = 1\). Distribusi beta banyak dipakai untuk memodelkan proporsi acak dan variabel acak lain yang nilainya berada dalam interval terbatas. Dalam kasus khusus ini, fungsi kepadatan probabilitas satu pengamatan dari distribusi asal sampel adalah \[ g_a(x) = a \, x^{a-1}, \quad x \in (0, 1) \] Asumsi terpenuhi terhadap \(a\).
Rata-rata dan varians distribusi tersebut adalah
Batas bawah Cramér-Rao bagi varians penduga tak bias untuk \(\mu\) adalah \(\frac{a^2}{n \, (a + 1)^4}\).
Rata-rata sampel \(M\) tidak mencapai batas bawah Cramér-Rao dalam . Untuk ukuran sampel satu, penduga tersebut sama dengan pengamatan tunggal dan merupakan UMVUE bagi \(\mu\). Untuk ukuran sampel sekurang-kurangnya dua, penduga itu bukan UMVUE: negatif jumlah logaritma pengamatan merupakan statistik cukup dan lengkap, dan pengondisian rata-rata sampel pada statistik itu menurut Rao–Blackwell menurunkan varians secara ketat.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n\) dari distribusi seragam pada \([0, a]\), dengan \(a \gt 0\) sebagai parameter tak diketahui. Jadi, fungsi kepadatan probabilitas satu pengamatan dari distribusi asal sampel adalah \[ g_a(x) = \frac{1}{a}, \quad x \in [0, a] \]
Substitusi formal ke ungkapan berbasis skor dalam bagi penduga tak bias untuk \(a\) menghasilkan \(\frac{a^2}{n}\). Substitusi formal ke bentuk berbasis turunan kedua menghasilkan negatif dari nilai tersebut. Namun, kedua nilai itu bukan batas bawah Cramér-Rao yang sah karena teoremanya tidak berlaku, sebagaimana dinyatakan dalam .
Dari bagian tentang penduga kemungkinan maksimum, ingat bahwa \(V = \frac{n+1}{n} \max\{X_1, X_2, \ldots, X_n\}\) tak bias dan mempunyai varians \(\frac{a^2}{n (n + 2)}\). Varians ini lebih kecil daripada nilai formal dalam ; hal itu menegaskan kegagalan syarat regularitas, bukan pelanggaran suatu batas bawah yang sah.
Asumsi gagal karena himpunan dukungan \(\left\{x \in \R: g_a(x) \gt 0\right\}\) bergantung pada parameter \(a\).
Sekarang kita meninjau masalah yang agak khusus, tetapi tetap sesuai dengan tema umum bagian ini. Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan barisan variabel acak teramati bernilai riil yang saling tak berkorelasi dan mempunyai rata-rata tak diketahui yang sama, \(\mu \in \R\), tetapi simpangan bakunya dapat berbeda. Misalkan \(\bs{\sigma} = (\sigma_1, \sigma_2, \ldots, \sigma_n)\), dengan \(\sigma_i = \sd(X_i)\) untuk \(i \in \{1, 2, \ldots, n\}\). Jika salah satu simpangan baku nol, variabel hasil yang bersesuaian sama dengan rata-rata itu hampir pasti dan sudah menjadi penduga tepat; bobot invers-varians di bawah tidak terdefinisi. Karena itu, rumus berikut mengasumsikan semua simpangan baku positif.
Kita meninjau penduga bagi \(\mu\) yang merupakan fungsi linear dari variabel hasil. Secara khusus, penduganya berbentuk berikut, dengan vektor koefisien \(\bs{c} = (c_1, c_2, \ldots, c_n)\) yang harus ditentukan: \[ Y = \sum_{i=1}^n c_i X_i \]
\(Y\) tak bias tepat ketika \(\sum_{i=1}^n c_i = 1\).
Varians \(Y\) adalah \[ \var(Y) = \sum_{i=1}^n c_i^2 \sigma_i^2 \]
Dengan kendala tak bias, varians diminimumkan ketika \[ c_j = \frac{1 / \sigma_j^2}{\sum_{i=1}^n 1 / \sigma_i^2}, \quad j \in \{1, 2, \ldots, n\} \]
Gunakan metode pengali Lagrange (dinamai menurut Joseph-Louis Lagrange).
Latihan menunjukkan cara membentuk Penduga Linear Tak Bias Terbaik (BLUE) bagi \(\mu\) jika vektor simpangan baku positif \(\bs{\sigma}\) diketahui.
Andaikan sekarang \(\sigma_i = \sigma\) untuk \(i \in \{1, 2, \ldots, n\}\), sehingga semua variabel hasil mempunyai simpangan baku yang sama. Hal ini khususnya berlaku jika variabel hasil membentuk sampel acak berukuran \(n\) dari distribusi dengan rata-rata \(\mu\) dan simpangan baku \(\sigma\).
Dalam kasus ini, varians diminimumkan ketika \(c_i = 1 / n\) untuk setiap \(i\), sehingga \(Y = M\), yaitu rata-rata sampel.
Latihan menunjukkan bahwa rata-rata sampel \(M\) merupakan penduga linear tak bias terbaik bagi \(\mu\) ketika semua simpangan baku sama; selain itu, nilai simpangan baku tersebut tidak perlu diketahui.