Seperti biasa, titik awal kita adalah sebuah eksperimen acak yang dimodelkan oleh ruang probabilitas \((\Omega, \ms F, \P)\). Dalam model statistik dasar, kita mempunyai variabel acak teramati \(\bs{X}\) yang nilainya berada dalam suatu himpunan \(S\). Secara umum, struktur \(\bs{X}\) dapat cukup rumit. Misalnya, jika eksperimennya adalah mengambil sampel \(n\) objek dari suatu populasi dan mencatat berbagai pengukuran yang diminati, maka \[ \bs{X} = (X_1, X_2, \ldots, X_n) \] dengan \(X_i\) sebagai vektor pengukuran untuk objek ke-\(i\). Kasus khusus terpenting terjadi ketika \((X_1, X_2, \ldots, X_n)\) saling bebas dan berdistribusi identik. Dalam hal ini, kita mempunyai sampel acak berukuran \(n\) dari distribusi yang sama tersebut.
Bagian ini bertujuan mendefinisikan dan membahas konsep-konsep dasar pengujian hipotesis statistik. Secara kolektif, konsep-konsep ini kadang-kadang disebut kerangka Neyman–Pearson, untuk menghormati Jerzy Neyman dan Egon Pearson, yang pertama kali memformalkannya.
Sebuah hipotesis statistik adalah pernyataan tentang distribusi \(\bs{X}\). Secara ekuivalen, hipotesis statistik menentukan suatu himpunan distribusi yang mungkin bagi \(\bs{X}\), yakni himpunan distribusi yang membuat pernyataan tersebut benar. Hipotesis yang menentukan tepat satu distribusi bagi \(\bs{X}\) disebut sederhana; hipotesis yang menentukan lebih dari satu distribusi bagi \(\bs{X}\) disebut majemuk.
Dalam pengujian hipotesis, tujuannya adalah menilai apakah terdapat bukti statistik yang cukup untuk menolak hipotesis nol yang diasumsikan, demi hipotesis alternatif yang diajukan. Hipotesis nol biasanya dilambangkan dengan \(H_0\), sedangkan hipotesis alternatif biasanya dilambangkan dengan \(H_1\).
Uji hipotesis merupakan suatu keputusan statistik; kesimpulannya adalah menolak hipotesis nol demi hipotesis alternatif atau gagal menolak hipotesis nol. Keputusan tersebut tentu harus didasarkan pada nilai amatan \(\bs{x}\) dari vektor data \(\bs{X}\). Karena itu, kita mencari himpunan bagian \(R\) yang sesuai dari ruang sampel \(S\), lalu menolak \(H_0\) jika dan hanya jika \(\bs{x} \in R\). Himpunan \(R\) dikenal sebagai daerah penolakan atau daerah kritis. Perhatikan asimetri antara hipotesis nol dan hipotesis alternatif. Asimetri ini timbul karena, dalam suatu pengertian, kita mengasumsikan hipotesis nol, kemudian memeriksa apakah bukti dalam \(\bs{x}\) cukup kuat untuk menggugurkan asumsi tersebut demi hipotesis alternatif.
Dalam suatu pengertian, uji hipotesis merupakan analogi statistik bagi pembuktian dengan kontradiksi. Misalkan sejenak bahwa \(H_1\) adalah sebuah pernyataan dalam teori matematika dan \(H_0\) adalah negasinya. Salah satu cara membuktikan \(H_1\) ialah mengasumsikan \(H_0\), lalu menurunkan suatu kontradiksi secara logis. Tentu saja kita tidak membuktikan
apa pun dalam uji hipotesis, tetapi terdapat kemiripan: kita mengasumsikan \(H_0\), lalu menilai apakah data \(\bs{x}\) cukup bertentangan dengan asumsi itu sehingga kita beralasan untuk menolak \(H_0\) demi \(H_1\).
Daerah kritis sering didefinisikan melalui suatu statistik \(w(\bs{X})\), yang disebut statistik uji, dengan \(w\) sebagai fungsi dari \(S\) ke himpunan lain \(T\). Kita mencari daerah penolakan \(R_T \subseteq T\) yang sesuai, lalu menolak \(H_0\) ketika nilai amatan \(w(\bs{x}) \in R_T\). Dengan demikian, daerah penolakan dalam \(S\) adalah \(R = w^{-1}(R_T) = \left\{\bs{x} \in S: w(\bs{x}) \in R_T\right\}\). Seperti biasa, penggunaan statistik sering memungkinkan reduksi data yang berarti ketika dimensi statistik uji jauh lebih kecil daripada dimensi vektor data.
Keputusan akhir dapat benar atau keliru. Terdapat dua jenis galat, bergantung pada hipotesis mana yang sebenarnya benar.
Jenis galat:
Demikian pula, terdapat dua cara untuk membuat keputusan yang benar: kita dapat menolak \(H_0\) ketika \(H_1\) benar, atau gagal menolak \(H_0\) ketika \(H_0\) benar. Kemungkinan-kemungkinan itu dirangkum dalam tabel berikut.
| Keadaan | Keputusan | Gagal menolak \(H_0\) | Menolak \(H_0\) |
|---|---|---|
| \(H_0\) Benar | Benar | Galat tipe I |
| \(H_1\) Benar | Galat tipe II | Benar |
Tentu saja, setelah mengamati \(\bs{X} = \bs{x}\) dan mengambil keputusan, kita telah membuat keputusan yang benar atau melakukan galat, dan biasanya kita tidak akan pernah mengetahui mana yang terjadi. Namun, sebelum data dikumpulkan, kita dapat meninjau probabilitas berbagai galat tersebut.
Jika \(H_0\) benar—artinya distribusi \(\bs{X}\) ditentukan oleh \(H_0\)—maka \(\P(\bs{X} \in R)\) adalah probabilitas galat tipe I bagi distribusi tersebut. Jika \(H_0\) majemuk, maka \(H_0\) menentukan beragam distribusi bagi \(\bs{X}\), sehingga terdapat suatu himpunan probabilitas galat tipe I.
Supremum probabilitas galat tipe I atas himpunan distribusi yang ditentukan oleh \( H_0 \) adalah tingkat signifikansi uji tersebut atau ukuran daerah kritisnya.
Tingkat signifikansi sering dilambangkan dengan \(\alpha\). Biasanya, daerah penolakan dibangun agar tingkat signifikansinya sama dengan suatu nilai kecil yang ditetapkan (umumnya 0,1; 0,05; atau 0,01).
Jika \(H_1\) benar—artinya distribusi \(\bs{X}\) ditentukan oleh \(H_1\)—maka \(\P(\bs{X} \notin R)\) adalah probabilitas galat tipe II bagi distribusi tersebut. Sekali lagi, jika \(H_1\) majemuk, maka \(H_1\) menentukan beragam distribusi bagi \(\bs{X}\), sehingga terdapat suatu himpunan probabilitas galat tipe II. Secara umum, terdapat kompromi antara probabilitas galat tipe I dan tipe II. Jika probabilitas galat tipe I dikurangi dengan memperkecil daerah penolakan \(R\), probabilitas galat tipe II pasti meningkat karena daerah komplemennya \(S \setminus R\) menjadi lebih besar.
Kasus-kasus ekstrem memberi sedikit pemahaman. Pertama, tinjau aturan keputusan yang tidak pernah menolak \(H_0\), apa pun bukti \(\bs{x}\). Aturan ini bersesuaian dengan daerah penolakan \(R = \emptyset\). Galat tipe I mustahil terjadi, sehingga tingkat signifikansinya 0. Sebaliknya, probabilitas galat tipe II adalah 1 untuk setiap distribusi yang ditentukan oleh \(H_1\). Pada ekstrem lain, tinjau aturan keputusan yang selalu menolak \(H_0\), apa pun bukti \(\bs{x}\). Aturan ini bersesuaian dengan daerah penolakan \(R = S\). Galat tipe II mustahil terjadi, tetapi kini probabilitas galat tipe I adalah 1 untuk setiap distribusi yang ditentukan oleh \(H_0\). Di antara kedua uji yang tidak berguna ini terdapat uji-uji bermakna yang mempertimbangkan bukti \(\bs{x}\).
Jika \(H_1\) benar, sehingga distribusi \(\bs{X}\) ditentukan oleh \(H_1\), maka \(\P(\bs{X} \in R)\), yakni probabilitas menolak \(H_0\), adalah kuasa uji bagi distribusi tersebut.
Dengan demikian, kuasa uji bagi suatu distribusi yang ditentukan oleh \( H_1 \) adalah probabilitas membuat keputusan yang benar.
Misalkan terdapat dua uji yang masing-masing bersesuaian dengan daerah penolakan \(R_1\) dan \(R_2\), serta masing-masing mempunyai tingkat signifikansi \(\alpha\). Uji dengan daerah \(R_1\) disebut lebih berkuasa secara seragam daripada uji dengan daerah \(R_2\) jika \[ \P(\bs{X} \in R_1) \ge \P(\bs{X} \in R_2) \text{ untuk setiap distribusi } \bs{X} \text{ yang ditentukan oleh } H_1 \]
Dalam hal ini, tentu kita lebih memilih uji pertama. Namun, dua uji sering kali tidak terurut secara seragam: satu uji lebih berkuasa bagi sebagian distribusi yang ditentukan oleh \(H_1\), sedangkan uji lain lebih berkuasa bagi distribusi lain yang ditentukan oleh \(H_1\).
Jika suatu uji mempunyai tingkat signifikansi \(\alpha\) dan lebih berkuasa secara seragam daripada setiap uji lain yang juga mempunyai tingkat signifikansi \(\alpha\), uji tersebut disebut uji paling berkuasa secara seragam pada tingkat \(\alpha\).
Jelas bahwa uji paling berkuasa secara seragam adalah yang terbaik yang dapat kita capai.
Dalam kebanyakan kasus, terdapat prosedur umum untuk membangun sebuah uji—yakni daerah penolakan \(R_\alpha\)—bagi setiap tingkat signifikansi \(\alpha \in (0, 1)\) yang diberikan. Biasanya, \(R_\alpha\) mengecil dalam arti relasi himpunan bagian ketika \(\alpha\) mengecil.
Nilai-\(P\) dari nilai amatan \(\bs{x}\) bagi \(\bs{X}\), yang dilambangkan dengan \(P(\bs{x})\), didefinisikan sebagai nilai \(\alpha\) terkecil yang memenuhi \(\bs{x} \in R_\alpha\); dengan kata lain, tingkat signifikansi terkecil yang membuat \(H_0\) ditolak ketika \(\bs{X} = \bs{x}\).
Mengetahui \(P(\bs{x})\) memungkinkan kita menguji \(H_0\) pada tingkat signifikansi mana pun untuk data \(\bs{x}\) yang diberikan: jika \(P(\bs{x}) \le \alpha\), kita menolak \(H_0\) pada tingkat signifikansi \(\alpha\); jika \(P(\bs{x}) \gt \alpha\), kita gagal menolak \(H_0\) pada tingkat signifikansi \(\alpha\). Perhatikan bahwa \(P(\bs{X})\) adalah sebuah statistik. Secara informal, \(P(\bs{x})\) sering dapat dipandang sebagai probabilitas hasil yang sama ekstrem atau lebih ekstrem
daripada nilai amatan \(\bs{x}\), dengan makna ekstrem ditafsirkan relatif terhadap hipotesis nol \(H_0\).
Terdapat analogi yang membantu antara pengujian hipotesis statistik dan sistem peradilan pidana di Amerika Serikat serta berbagai negara lain. Tinjau seseorang yang didakwa melakukan tindak pidana. Hipotesis nol yang diasumsikan adalah bahwa orang tersebut tidak bersalah; hipotesis alternatif yang diajukan adalah bahwa orang tersebut bersalah. Pengujian kedua hipotesis itu berupa persidangan, dengan bukti yang diajukan oleh kedua pihak berperan sebagai data. Setelah menimbang bukti, juri memberikan putusan tidak bersalah atau bersalah. Perhatikan bahwa tidak melakukan tindak pidana bukanlah putusan tersendiri dari juri, sebab tujuan persidangan bukanlah membuktikan orang tersebut tidak melakukan tindak pidana. Tujuannya adalah menilai apakah bukti cukup kuat untuk menggugurkan hipotesis nol bahwa orang tersebut tidak bersalah demi hipotesis alternatif bahwa ia bersalah. Galat tipe I adalah menyatakan bersalah seseorang yang sebenarnya tidak bersalah; galat tipe II adalah membebaskan seseorang yang sebenarnya bersalah. Secara umum, galat tipe I dianggap lebih serius, sehingga untuk menahan peluangnya pada tingkat yang sangat rendah, standar pemidanaan dalam perkara pidana serius adalah melampaui keraguan yang beralasan.
Pengujian hipotesis merupakan konsep yang sangat umum, tetapi sebuah kelas khusus yang penting muncul ketika distribusi variabel data \(\bs{X}\) bergantung pada parameter \(\theta\) yang nilainya berada dalam ruang parameter \(\Theta\). Parameter dapat bernilai vektor, sehingga \(\bs{\theta} = (\theta_1, \theta_2, \ldots, \theta_k)\) dan \(\Theta \subseteq \R^k\) untuk suatu \(k \in \N_+\). Hipotesis umumnya berbentuk \[ H_0: \theta \in \Theta_0 \text{ melawan } H_1: \theta \notin \Theta_0 \] dengan \(\Theta_0\) sebagai himpunan bagian yang ditetapkan dari ruang parameter \(\Theta\). Dalam kerangka ini, probabilitas membuat galat atau keputusan benar bergantung pada nilai sebenarnya dari \(\theta\). Jika \(R\) adalah daerah penolakan, maka fungsi kuasa \( Q \) diberikan oleh \[ Q(\theta) = \P_\theta(\bs{X} \in R), \quad \theta \in \Theta \] Fungsi kuasa memberikan banyak informasi tentang uji tersebut.
Fungsi kuasa memenuhi sifat-sifat berikut:
Jika terdapat dua uji, kita dapat membandingkannya melalui fungsi kuasanya.
Misalkan terdapat dua uji yang masing-masing bersesuaian dengan daerah penolakan \(R_1\) dan \(R_2\), serta masing-masing mempunyai tingkat signifikansi \(\alpha\). Uji dengan daerah penolakan \(R_1\) lebih berkuasa secara seragam daripada uji dengan daerah penolakan \(R_2\) jika \( Q_1(\theta) \ge Q_2(\theta)\) untuk semua \( \theta \notin \Theta_0 \).
Kebanyakan uji hipotesis untuk parameter riil tak diketahui \(\theta\) termasuk dalam tiga kasus khusus berikut.
Misalkan \( \theta \) adalah parameter riil dan \( \theta_0 \in \Theta \) adalah nilai yang ditetapkan. Ketiga uji berikut berturut-turut disebut uji dua sisi, uji berekor kiri, dan uji berekor kanan.
Dengan demikian, uji-uji tersebut dinamai menurut hipotesis alternatif yang diajukan. Tentu saja, selain \(\theta\) mungkin terdapat parameter tak diketahui lain yang disebut parameter pengganggu.
Terdapat ekuivalensi antara uji hipotesis dan himpunan kepercayaan bagi parameter \(\theta\).
Misalkan \(C(\bs{X})\) adalah himpunan kepercayaan dengan peluang cakupan sekurang-kurangnya \(1 - \alpha\) bagi \(\theta\). Uji berikut mempunyai tingkat signifikansi paling tinggi \(\alpha\) untuk hipotesis \( H_0: \theta = \theta_0 \) melawan \( H_1: \theta \ne \theta_0 \): tolak \(H_0\) jika dan hanya jika \(\theta_0 \notin C(\bs{x})\).
Menurut asumsi, \(\P_{\theta_0}[\theta_0 \in C(\bs{X})] \ge 1 - \alpha\). Karena itu, jika \(H_0\) benar sehingga \(\theta = \theta_0\), probabilitas galat tipe I adalah \(\P_{\theta_0}[\theta_0 \notin C(\bs{X})] \le \alpha\).
Secara ekuivalen, kita gagal menolak \(H_0\) dalam uji dengan tingkat signifikansi paling tinggi \(\alpha\) jika dan hanya jika \(\theta_0\) berada dalam himpunan kepercayaan dengan tingkat kepercayaan sekurang-kurangnya \(1 - \alpha\) yang bersesuaian. Secara khusus, ekuivalensi ini berlaku bagi pendugaan interval parameter riil \(\theta\) dan uji-uji umum untuk \(\theta\) pada .
Dalam setiap kasus berikut, interval kepercayaan mempunyai tingkat kepercayaan sekurang-kurangnya \(1 - \alpha\), dan uji mempunyai tingkat signifikansi paling tinggi \(\alpha\).
Ingat bahwa himpunan kepercayaan bagi parameter tak diketahui \(\theta\) sering dibangun melalui variabel pivot, yakni variabel acak \(W(\bs{X}, \theta)\) yang bergantung pada vektor data \(\bs{X}\) dan parameter \(\theta\), tetapi distribusinya diketahui dan tidak bergantung pada \(\theta\). Dalam hal ini, statistik uji yang wajar bagi uji-uji dasar pada definisi adalah \(W(\bs{X}, \theta_0)\).