Seperti biasa, titik awal kita adalah suatu percobaan acak dengan ruang probabilitas yang mendasarinya, \((\Omega, \mathscr F, \P)\). Dalam model statistika dasar, kita mempunyai variabel acak teramati \(\bs{X}\) yang bernilai dalam suatu himpunan \(S\). Secara umum, struktur \(\bs{X}\) dapat cukup rumit. Misalnya, jika percobaannya mengambil sampel \(n\) objek dari suatu populasi dan mencatat berbagai pengukuran yang diminati, maka \[ \bs{X} = (X_1, X_2, \ldots, X_n) \] dengan \(X_i\) sebagai vektor pengukuran untuk objek ke-\(i\). Kasus khusus terpenting terjadi ketika \((X_1, X_2, \ldots, X_n)\) saling independen dan berdistribusi identik. Dalam kasus ini, kita mempunyai sampel acak berukuran \(n\) dari distribusi yang sama tersebut.
Pada bagian-bagian sebelumnya, kita membangun uji parameter berdasarkan statistik uji yang alami. Namun, dalam kasus lain, ujinya mungkin tidak parametrik atau mungkin tidak ada statistik awal yang jelas. Karena itu, kita memerlukan metode yang lebih umum untuk membangun statistik uji. Selain itu, kita belum mengetahui apakah uji-uji yang telah dibangun merupakan yang terbaik dalam arti memaksimumkan kuasa pada himpunan alternatif. Pada bagian ini dan bagian berikutnya, kita menyelidiki kedua gagasan tersebut. Fungsi kemungkinan, serupa dengan yang digunakan dalam pendugaan kemungkinan maksimum, akan memainkan peran utama.
Andaikan \(\bs{X}\) mempunyai salah satu dari dua distribusi yang sama-sama didominasi oleh suatu ukuran bersama. Hipotesis sederhana kita adalah
Kita menggunakan subskrip pada ukuran probabilitas \(\P\) untuk menunjukkan kedua hipotesis. Fungsi \( f_0 \) dan \( f_1 \) dipahami terhadap ukuran pendominasi yang sama; titik tempat keduanya nol dapat dikeluarkan dari \( S \) tanpa mengubah kedua distribusi. Uji yang akan dibangun berlandaskan gagasan sederhana berikut: jika kita mengamati \(\bs{X} = \bs{x}\), kondisi \(f_1(\bs{x}) \gt f_0(\bs{x})\) merupakan bukti yang mendukung hipotesis alternatif, sedangkan pertidaksamaan sebaliknya merupakan bukti yang menentangnya.
Fungsi rasio kemungkinan \( L: S \to [0, \infty] \) didefinisikan oleh \[ L(\bs{x}) = \frac{f_0(\bs{x})}{f_1(\bs{x})}, \quad \bs{x} \in S \] Jika penyebutnya nol sedangkan pembilangnya positif, rasio ditetapkan tak hingga; jika pembilangnya nol sedangkan penyebutnya positif, rasio ditetapkan nol. Statistik \(L(\bs{X})\) disebut statistik rasio kemungkinan.
Dengan menyatakan kembali pengamatan sebelumnya, perhatikan bahwa nilai kecil \(L\) merupakan bukti yang mendukung \(H_1\). Karena itu, statistik rasio kemungkinan layak dipertimbangkan sebagai statistik uji.
Pertimbangkan uji nonacak yang menolak \(H_0\) jika dan hanya jika \(L \le l\), dengan \(l\) suatu konstanta positif yang akan ditentukan. Tingkat signifikansi uji tersebut ialah \(\alpha = \P_0(L \le l)\).
Seperti biasa, kita dapat mencoba membangun uji dengan memilih \(l\) agar \(\alpha\) sama dengan nilai yang ditetapkan. Jika \(\bs{X}\) berdistribusi diskret, kesamaan eksak ini hanya mungkin ketika \(\alpha\) merupakan nilai fungsi distribusi \(L(\bs{X})\); tingkat antara dua nilai yang dapat dicapai dapat diperoleh dengan mengacak keputusan pada batas daerah rasio kemungkinan. Kasus khusus penting model ini terjadi ketika distribusi \(\bs{X}\) bergantung pada parameter \(\theta\) yang mempunyai dua nilai yang mungkin.
Andaikan himpunan parameternya \(\{\theta_0, \theta_1\}\), dan \(f_0\) menyatakan fungsi kepadatan atau massa \(\bs{X}\) ketika \(\theta = \theta_0\), sedangkan \(f_1\) menyatakan fungsi kepadatan atau massa \(\bs{X}\) ketika \(\theta = \theta_1\). Hipotesis pada ekuivalen dengan
Seperti telah disebutkan, kasus khusus penting lainnya terjadi ketika \(\bs X\) merupakan sampel acak dari suatu distribusi.
Andaikan \( \bs X = (X_1, X_2, \ldots, X_n) \) merupakan sampel acak berukuran \( n \) dari distribusi variabel acak dasar \( X \) yang bernilai dalam himpunan \( R \) dan mempunyai fungsi kepadatan atau massa \(g\). Dalam kasus ini, \( S = R^n \) dan fungsi kepadatan atau massa \( f \) bagi \( \bs X \) berbentuk \[ f(x_1, x_2, \ldots, x_n) = g(x_1) g(x_2) \cdots g(x_n), \quad (x_1, x_2, \ldots, x_n) \in S \] Hipotesis pada menyederhana menjadi
Statistik rasio kemungkinannya ialah \[ L(X_1, X_2, \ldots, X_n) = \prod_{i=1}^n \frac{g_0(X_i)}{g_1(X_i)} \]
Dalam kasus khusus ini, di bawah \( H_1 \), statistik rasio kemungkinan sebagai fungsi ukuran sampel \( n \) merupakan sebuah martingal.
Teorema berikut adalah Lemma Neyman–Pearson, yang dinamai menurut Jerzy Neyman dan Egon Pearson. Teorema ini menunjukkan bahwa uji rasio kemungkinan di atas paling kuat pada ukurannya; jika tingkat target berada di antara ukuran-ukuran diskret yang dapat dicapai, uji dengan tingkat eksak mengacak keputusan pada himpunan batas. Misalkan \[ R = \{\bs{x} \in S: L(\bs{x}) \le l\} \] dan ingat bahwa ukuran suatu daerah penolakan adalah tingkat signifikansi uji dengan daerah penolakan tersebut.
Pertimbangkan uji dengan daerah penolakan \(R\) di atas dan sembarang \(A \subseteq S\). Jika ukuran \(R\) sekurang-kurangnya sebesar ukuran \(A\), maka uji dengan daerah penolakan \(R\) lebih kuat daripada uji dengan daerah penolakan \(A\). Dengan kata lain, jika \(\P_0(\bs{X} \in R) \ge \P_0(\bs{X} \in A)\), maka \(\P_1(\bs{X} \in R) \ge \P_1(\bs{X} \in A) \).
Pertama, dari definisi \( L \) dan \( R \), perhatikan bahwa pertidaksamaan berikut berlaku: \begin{align} \P_0(\bs{X} \in A) & \le l \, \P_1(\bs{X} \in A) \text{ untuk } A \subseteq R\\ \P_0(\bs{X} \in A) & \ge l \, \P_1(\bs{X} \in A) \text{ untuk } A \subseteq R^c \end{align} Sekarang, untuk sembarang \( A \subseteq S \), tuliskan \(R = (R \cap A) \cup (R \setminus A)\) dan \(A = (A \cap R) \cup (A \setminus R)\). Dari sifat aditif probabilitas dan pertidaksamaan di atas, diperoleh \[ \P_1(\bs{X} \in R) - \P_1(\bs{X} \in A) \ge \frac{1}{l} \left[\P_0(\bs{X} \in R) - \P_0(\bs{X} \in A)\right] \] Karena itu, jika \(\P_0(\bs{X} \in R) \ge \P_0(\bs{X} \in A)\), maka \(\P_1(\bs{X} \in R) \ge \P_1(\bs{X} \in A) \).
Lemma Neyman–Pearson jauh lebih berguna daripada yang mungkin tampak pada awalnya. Dalam banyak kasus penting, uji paling kuat yang sama berlaku untuk suatu rentang alternatif dan karena itu seragam paling kuat pada rentang tersebut. Kesimpulan seragam ini memerlukan struktur yang membuat aturan yang sama tetap paling kuat untuk setiap alternatif; lemma untuk sepasang hipotesis sederhana saja tidak memberikannya secara otomatis. Beberapa kasus khusus dibahas di bawah.
Statistik rasio kemungkinan dapat digeneralisasi ke hipotesis majemuk. Andaikan kembali bahwa fungsi kepadatan atau massa \(f_\theta\) dari variabel data \(\bs{X}\) bergantung pada parameter \(\theta\) yang bernilai dalam himpunan parameter \(T\). Pertimbangkan hipotesis \(\theta \in \Theta_0\) melawan \(\theta \notin \Theta_0\), dengan \(\Theta_0 \subseteq T\).
Definisikan \[ L(\bs{x}) = \frac{\sup\left\{f_\theta(\bs{x}): \theta \in \Theta_0\right\}}{\sup\left\{f_\theta(\bs{x}): \theta \in T\right\}} \] Fungsi \(L\) disebut fungsi rasio kemungkinan, dan \(L(\bs{X})\) disebut statistik rasio kemungkinan. Definisi ini digunakan pada titik data ketika supremum penyebut positif dan hingga; supremum tidak harus dicapai. Kasus nol atau tak hingga memerlukan konvensi rasio diperluas yang sama seperti di atas.
Dengan alasan yang sama seperti sebelumnya, nilai kecil \(L(\bs{x})\) merupakan bukti yang mendukung hipotesis alternatif.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \( n \in \N_+ \) dari distribusi eksponensial dengan parameter skala \(b \in (0, \infty)\). Variabel sampel tersebut, misalnya, dapat menyatakan masa pakai sampel perangkat dari jenis tertentu.
Pertimbangkan hipotesis sederhana \(H_0: b = b_0\) melawan \(H_1: b = b_1\), dengan \(b_0, \, b_1 \in (0, \infty)\) merupakan dua nilai tertentu yang berbeda.
Ingat bahwa jumlah variabel merupakan statistik cukup bagi \(b\): \[ Y = \sum_{i=1}^n X_i \] Ingat pula bahwa \(Y\) mempunyai distribusi gamma dengan parameter bentuk \(n\) dan parameter skala \(b\). Untuk \(\alpha \in (0, 1)\), kita menuliskan kuantil berorde \(\alpha\) dari distribusi ini sebagai \(\gamma_{n, b}(\alpha)\).
Statistik rasio kemungkinannya ialah \[ L = \left(\frac{b_1}{b_0}\right)^n \exp\left[\left(\frac{1}{b_1} - \frac{1}{b_0}\right) Y \right] \]
Ingat bahwa fungsi kepadatan \( g \) bagi distribusi eksponensial dengan parameter skala \( b \in (0, \infty) \) diberikan oleh \( g(x) = (1 / b) e^{-x / b} \) untuk \( x \in (0, \infty) \). Jika \( g_j \) menyatakan fungsi kepadatan ketika \( b = b_j \) untuk \( j \in \{0, 1\} \), maka \[ \frac{g_0(x)}{g_1(x)} = \frac{(1/b_0) e^{-x / b_0}}{(1/b_1) e^{-x/b_1}} = \frac{b_1}{b_0} e^{(1/b_1 - 1/b_0) x}, \quad x \in (0, \infty) \] Karena itu, fungsi rasio kemungkinannya ialah \[ L(x_1, x_2, \ldots, x_n) = \prod_{i=1}^n \frac{g_0(x_i)}{g_1(x_i)} = \left(\frac{b_1}{b_0}\right)^n e^{(1/b_1 - 1/b_0) y}, \quad (x_1, x_2, \ldots, x_n) \in (0, \infty)^n\] dengan \( y = \sum_{i=1}^n x_i \).
Uji-uji berikut merupakan uji paling kuat pada tingkat \(\alpha\):
Di bawah \( H_0 \), \( Y \) mempunyai distribusi gamma dengan parameter \( n \) dan \( b_0 \).
Perhatikan bahwa uji-uji ini tidak bergantung pada nilai \(b_1\). Fakta tersebut, bersama monotonisitas fungsi kuasa, menunjukkan bahwa uji-uji itu seragam paling kuat untuk uji satu sisi yang lazim.
Andaikan \( b_0 \in (0, \infty) \).
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \(n \in \N_+\) dari distribusi Bernoulli dengan parameter sukses \(p\). Sampel tersebut dapat menyatakan hasil pelemparan koin sebanyak \(n\) kali, dengan \(p\) sebagai probabilitas munculnya sisi kepala.
Pertimbangkan hipotesis sederhana \(H_0: p = p_0\) melawan \(H_1: p = p_1\), dengan \(p_0, \, p_1 \in (0, 1)\) merupakan dua nilai tertentu yang berbeda.
Dalam model pelemparan koin, kita mengetahui bahwa probabilitas kepala adalah \(p_0\) atau \(p_1\), tetapi tidak mengetahui yang mana. Ingat bahwa banyaknya sukses merupakan statistik cukup bagi \(p\): \[ Y = \sum_{i=1}^n X_i \] Ingat pula bahwa \(Y\) mempunyai distribusi binomial dengan parameter \(n\) dan \(p\). Untuk \(\alpha \in (0, 1)\), kita menuliskan kuantil berorde \(\alpha\) dari distribusi ini sebagai \(b_{n, p}(\alpha)\). Kuantil tersebut terdefinisi untuk setiap \(\alpha\), tetapi karena distribusinya diskret, hanya tingkat penolakan nonacak tertentu yang dapat dicapai secara eksak; tingkat antara dua nilai dapat dicapai melalui pengacakan pada batas.
Statistik rasio kemungkinannya ialah \[ L = \left(\frac{1 - p_0}{1 - p_1}\right)^n \left[\frac{p_0 (1 - p_1)}{p_1 (1 - p_0)}\right]^Y\]
Ingat bahwa fungsi massa \( g \) bagi distribusi Bernoulli dengan parameter \( p \in (0, 1) \) diberikan oleh \( g(x) = p^x (1 - p)^{1 - x} \) untuk \( x \in \{0, 1\} \). Jika \( g_j \) menyatakan fungsi massa ketika \( p = p_j \) untuk \( j \in \{0, 1\} \), maka \[ \frac{g_0(x)}{g_1(x)} = \frac{p_0^x (1 - p_0)^{1-x}}{p_1^x (1 - p_1)^{1-x}} = \left(\frac{p_0}{p_1}\right)^x \left(\frac{1 - p_0}{1 - p_1}\right)^{1 - x} = \left(\frac{1 - p_0}{1 - p_1}\right) \left[\frac{p_0 (1 - p_1)}{p_1 (1 - p_0)}\right]^x, \quad x \in \{0, 1\} \] Karena itu, fungsi rasio kemungkinannya ialah \[ L(x_1, x_2, \ldots, x_n) = \prod_{i=1}^n \frac{g_0(x_i)}{g_1(x_i)} = \left(\frac{1 - p_0}{1 - p_1}\right)^n \left[\frac{p_0 (1 - p_1)}{p_1 (1 - p_0)}\right]^y, \quad (x_1, x_2, \ldots, x_n) \in \{0, 1\}^n \] dengan \( y = \sum_{i=1}^n x_i \).
Daerah penolakan berikut mempunyai arah uji paling kuat. Karena distribusi binomial diskret, untuk tingkat target \(\alpha\) pilih ambang bilangan bulat yang membuat ukuran nonacak tidak melebihi tingkat tersebut; tingkat eksak diperoleh, bila diperlukan, dengan pengacakan pada titik batas. Ambang kuantil yang ditampilkan merupakan notasi nominal dan peluang ekor aktual harus diperiksa.
Di bawah \( H_0 \), \( Y \) mempunyai distribusi binomial dengan parameter \( n \) dan \( p_0 \).
Perhatikan bahwa arah daerah penolakan ini tidak bergantung pada nilai \(p_1\). Fakta tersebut, bersama monotonisitas fungsi kuasa, menunjukkan bahwa aturan satu sisi yang telah dikalibrasi—termasuk pengacakan batas bila tingkat eksak diminta—seragam paling kuat pada tingkat yang dipilih.
Andaikan \( p_0 \in (0, 1) \).
Di antara uji satu sisi yang diturunkan dalam model normal, uji untuk \(\mu\) ketika \(\sigma\) diketahui memang seragam paling kuat. Ketika terdapat parameter pengganggu—\(\mu\) dengan \(\sigma\) tidak diketahui, atau \(\sigma\) dengan \(\mu\) tidak diketahui—klaim seragam paling kuat tanpa pembatasan perlu dikualifikasi: uji baku mempunyai sifat optimal dalam kelas relevan seperti uji invarian, uji dengan ukuran konstan terhadap parameter pengganggu (similar), atau uji tak bias di bawah model normal, tetapi tidak otomatis seragam paling kuat di antara semua uji. Tidak satu pun uji dua sisi tersebut seragam paling kuat tanpa pembatasan tambahan.
Andaikan \(\bs{X} = (X_1, X_2, \ldots, X_n)\) merupakan sampel acak berukuran \( n \in \N_+ \), baik dari distribusi Poisson berparameter 1 maupun dari distribusi geometrik pada \(\N\) dengan parameter \(p = \frac{1}{2}\). Perhatikan bahwa kedua distribusi mempunyai rata-rata 1, meskipun distribusi Poisson mempunyai varians 1 sedangkan distribusi geometrik mempunyai varians 2.
Pertimbangkan hipotesis sederhana
Statistik rasio kemungkinannya ialah \[ L = 2^n e^{-n} \frac{2^Y}{U} \text{ dengan } Y = \sum_{i=1}^n X_i \text{ dan } U = \prod_{i=1}^n X_i! \]
Perhatikan bahwa \[ \frac{g_0(x)}{g_1(x)} = \frac{e^{-1} / x!}{(1/2)^{x+1}} = 2 e^{-1} \frac{2^x}{x!}, \quad x \in \N \] Karena itu, fungsi rasio kemungkinannya ialah \[ L(x_1, x_2, \ldots, x_n) = \prod_{i=1}^n \frac{g_0(x_i)}{g_1(x_i)} = 2^n e^{-n} \frac{2^y}{u}, \quad (x_1, x_2, \ldots, x_n) \in \N^n \] dengan \( y = \sum_{i=1}^n x_i \) dan \( u = \prod_{i=1}^n x_i! \).
Uji paling kuat berbentuk berikut, dengan \(d\) suatu konstanta: tolak \(H_0\) jika dan hanya jika \(\ln(2) Y - \ln(U) \le d\).
Daerah penolakan berbentuk \( L(\bs X) \le l \) ekuivalen dengan \[\frac{2^Y}{U} \le \frac{l e^n}{2^n}\] Dengan mengambil logaritma natural, bentuk ini ekuivalen dengan \( \ln(2) Y - \ln(U) \le d \), dengan \( d = n + \ln(l) - n \ln(2) \).