12 Regresi Linear Sederhana
Regresi
Gambaran Umum
Regresi linear sederhana merupakan cara untuk mengevaluasi hubungan antara dua peubah kontinu. Satu peubah dipandang sebagai peubah prediktor, peubah penjelas, atau peubah bebas (x). Peubah lainnya dipandang sebagai peubah respons, peubah hasil, atau peubah terikat (y).
Sebagai contoh, kita mungkin tertarik untuk menyelidiki hubungan (linear?) antara:
- tinggi badan dan berat badan
- indeks prestasi kumulatif di sekolah menengah dan indeks prestasi kumulatif di perguruan tinggi
- kecepatan dan efisiensi bahan bakar
- suhu luar ruang dan laju penguapan
- indeks rata-rata industri Dow Jones dan indeks kepercayaan konsumen
Tujuan
Setelah menyelesaikan pelajaran ini, Anda diharapkan mampu:
- Merumuskan dan menafsirkan model regresi linear untuk memprediksi hasil berdasarkan satu peubah prediktor;
- Menentukan distribusi parameter kuadrat terkecil;
- Melakukan uji hipotesis atau membangun selang kepercayaan untuk parameter kuadrat terkecil; dan
- Membangun selang kepercayaan atau melakukan uji hipotesis untuk parameter korelasi \(\rho\).
12.1 Jenis Hubungan
Sebelum membahas metode regresi linear sederhana, kita perlu membedakan dua jenis hubungan, yaitu:
- hubungan deterministik
- hubungan statistis
Seperti akan segera kita lihat, regresi linear sederhana membahas hubungan statistis.
12.1.1 Hubungan Deterministik (atau Fungsional)
Sebuah hubungan deterministik (atau hubungan fungsional) — merupakan hubungan eksak antara prediktor \(x\) dan respons \(y\). Sebagai contoh, perhatikan hubungan konversi antara suhu dalam derajat Celsius (\(C\)) dan suhu dalam derajat Fahrenheit (\(F\)). Kita mengetahui bahwa hubungannya adalah:
\[F=\dfrac{9}{5}C+32\]
Karena itu, jika suhunya 10 derajat Celsius, kita juga mengetahui bahwa suhunya 50 derajat Fahrenheit:
\[F=\dfrac{9}{5}(10)+32=50\]
Secara grafis, beginilah bentuk hubungan (linear) eksak antara derajat Celsius dan derajat Fahrenheit:
Contoh lain hubungan deterministik mencakup
hubungan antara diameter (\(d\)) dan keliling lingkaran (\(C\)): \(C=\pi d\)
hubungan antara beban yang diberikan (\(X\)) dan pertambahan panjang pegas (\(Y\)) (dikenal sebagai Hukum Hooke): \(Y=\alpha+\beta X\)
hubungan antara tegangan yang diberikan (\(V\)), hambatan (\(r\)), dan arus (\(I\)) (dikenal sebagai Hukum Ohm): \(I=\dfrac{V}{r}\)
dan, pada suhu tetap, hubungan antara tekanan (\(P\)) dan volume gas (\(V\)) (dikenal sebagai Hukum Boyle): \(P=\dfrac{\alpha}{V}\) dengan \(\alpha\) merupakan konstanta yang diketahui untuk setiap gas.
12.1.2 Hubungan Statistis
Sebuah hubungan statistis, sebaliknya, bukanlah hubungan eksak. Hubungan ini memiliki suatu “tren” antara prediktor \(x\) dan respons \(y\), tetapi juga memiliki sejumlah “pencaran”. Berikut grafik yang menggambarkan kemungkinan bentuk hubungan statistis:
Dalam kasus ini, peneliti menyelidiki hubungan antara garis lintang (dalam derajat) pada pusat masing-masing dari 50 negara bagian Amerika Serikat dan mortalitas akibat kanker kulit (dalam kematian per 10 juta penduduk) di setiap negara bagian tersebut. Barangkali tidak mengherankan bahwa terdapat tren menurun, tetapi bukan hubungan eksak, antara garis lintang dan mortalitas kanker kulit. Artinya, ketika garis lintang meningkat menuju negara bagian yang lebih utara—tempat paparan sinar matahari lebih jarang dan kurang kuat—mortalitas akibat kanker kulit menurun, tetapi tidak secara sempurna.
Contoh lain hubungan statistis mencakup:
- hubungan positif antara tinggi badan dan berat badan
- hubungan positif antara jumlah alkohol yang dikonsumsi dan kadar alkohol dalam darah
- hubungan negatif antara kapasitas vital paru-paru dan pak-tahun merokok
- hubungan negatif antara kecepatan berkendara dan efisiensi bahan bakar
Jenis hubungan statistis yang tidak sempurna inilah yang menjadi perhatian kita ketika menyelidiki metode regresi linear sederhana.
12.2 Kuadrat Terkecil: Gagasan
Sebelum mendalami teori kuadrat terkecil, mari kita bangun intuisi mengenai metode kuadrat terkecil melalui sebuah contoh.
Contoh 12.1 Seorang mahasiswa ingin mengukur hubungan (linear) antara tinggi badan (dalam inci) dan berat badan (dalam pon). Ia mengukur tinggi dan berat sepuluh mahasiswa yang dipilih secara acak dari kelasnya. Setelah pengukuran, ia membuat diagram pencar di samping dari data tinggi dan berat yang diperoleh. Untuk merangkum hubungan antara tinggi dan berat, ia memperkirakan secara visual dua garis yang dianggap baik (garis utuh dan garis putus-putus), tetapi tidak dapat memilih di antara keduanya:
\(\text{weight} = −266.5 + 6.1\times \text{height}\)
\(\text{weight} = −331.2 + 7.1\times \text{height}\)
Manakah “garis dengan suaian terbaik” tersebut?
Solusi
Untuk memudahkan pencarian garis dengan suaian terbaik, mari kita tetapkan beberapa notasi. Ingat bahwa unit eksperimen adalah objek yang diukur (dalam kasus ini, seorang mahasiswa):
misalkan \(y_i\) menyatakan respons teramati untuk unit eksperimen ke- \(i^{th}\) ;
misalkan \(x_i\) menyatakan nilai prediktor untuk unit eksperimen ke- \(i^{th}\) ;
misalkan \(\hat{y}_i\) menyatakan respons terprediksi (atau nilai suaian) untuk unit eksperimen ke- \(i^{th}\) .
Dengan demikian, untuk titik data yang dilingkari merah:
kita memperoleh:
\[x_i=75 \text{ and }y_i=208\]
Dengan menggunakan versi tak dibulatkan dari garis yang diusulkan, berat terprediksi bagi mahasiswa yang dipilih secara acak dan memiliki tinggi 75 inci adalah:
\[\hat{y}_i=-266.534+6.13758(75)=193.8\text{ pounds}\]
Tentu saja, garis hasil pendugaan tersebut tidak memprediksi berat mahasiswa setinggi 75 inci dengan sempurna. Dalam kasus ini, prediksinya 193,8 pon, sedangkan berat sebenarnya 208 pon. Prediksi kita memiliki galat. Artinya, ketika menggunakan \(\hat{y_i}\) untuk memprediksi respons aktual \(y_i\) kita menghasilkan galat prediksi (atau galat sisaan) sebesar: \[ e_i=y_i-\hat{y}_i \] Garis yang menyuai data dengan baik adalah garis yang \(n\) galat prediksinya (satu untuk setiap \(n\) titik data— \(n=10\)dalam kasus ini) sekecil mungkin menurut suatu ukuran keseluruhan. Gagasan ini disebut “kriteria kuadrat terkecil”. Singkatnya, kriteria kuadrat terkecil menyatakan bahwa untuk menemukan persamaan garis dengan suaian terbaik:
\[\hat{y}_i=a_1+bx_i\]
kita perlu memilih nilai \(a_1\) dan \(b\) yang meminimumkan jumlah kuadrat galat prediksi. Artinya, carilah \(a_1\) dan \(b\) yang meminimumkan:
\[Q=\sum\limits_{i=1}^n (y_i-\hat{y}_i)^2=\sum\limits_{i=1}^n (y_i-(a_1+bx_i))^2\]
Jadi, untuk menentukan dengan kriteria kuadrat terkecil garis mana di antara dua garis berikut:
\(\text{weight} = −266.5 + 6.1 \times\text{height}\)
\(\text{weight} = −331.2 + 7.1 \times \text{height}\)
yang paling baik menyuai data, kita hanya perlu menentukan \(Q\), yaitu jumlah kuadrat galat prediksi untuk masing-masing garis, lalu memilih garis dengan nilai \(Q\)terkecil. Untuk garis putus-putus, yaitu garis:
\[\text{weight} = −331.2 + 7.1\times\text{height}\]
perhitungannya adalah sebagai berikut:
| \(i\) | \(x_i\) | \(y_i\) | \(\hat{y}_i\) | \((y_i - \hat{y}_i)\) | \((y_i - \hat{y}_i)^2 \) |
|---|---|---|---|---|---|
| 1 | 63 | 127 | 116.1 | 10.9 | 118.8 |
| 2 | 64 | 121 | 123.2 | -2.2 | 4.8 |
| 3 | 66 | 142 | 137.4 | 4.6 | 21.2 |
| 4 | 69 | 157 | 158.7 | -1.7 | 2.9 |
| 5 | 69 | 162 | 158.7 | 3.3 | 10.9 |
| 6 | 71 | 156 | 172.9 | -16.9 | 285.6 |
| 7 | 71 | 169 | 172.9 | -3.9 | 15.2 |
| 8 | 72 | 165 | 180 | -15 | 225.0 |
| 9 | 73 | 181 | 187.1 | -6.1 | 37.2 |
| 10 | 75 | 208 | 201.3 | 6.7 | 44.9 |
| Total | 766.5 |
Kolom pertama yang berlabel \(i\) sekadar mencatat indeks titik data, \(i=1, 2, \ldots, 10\). Kolom yang berlabel \(x_i\) dan \(y_i\) memuat titik data asli. Sebagai contoh, mahasiswa pertama yang diukur memiliki tinggi 64 inci dan berat 121 pon. Kolom keempat, berlabel \(\hat{y}_i\), memuat berat terprediksi setiap mahasiswa. Sebagai contoh, berat terprediksi mahasiswa kedua, yang tingginya 64 inci, adalah:
\[\hat{y}_2=-331.2+7.1(64)=123.2 \text{ pounds}\]
Kolom kelima memuat galat ketika \(\hat{y}_i\) digunakan untuk memprediksi \(y_i\). Untuk mahasiswa kedua, galat prediksinya adalah:
\[e_2=121-123.2=-2.2\]
Kolom terakhir memuat kuadrat galat prediksi. Kuadrat galat prediksi untuk mahasiswa kedua adalah:
\[e^2_2=(-2.2)^2=4.84\]
Dengan menjumlahkan kolom terakhir, yakni kolom kuadrat galat prediksi, kita memperoleh \(Q=766.51\) untuk garis putus-putus. Sekarang, untuk garis utuh, yaitu garis:
\[\text{weight} = −266.5 + 6.1\times\text{height}\]
perhitungannya adalah sebagai berikut:
| \(i\) | \(x_i\) | \(y_i\) | \(\hat{y}_i\) | \((y_i - \hat{y}_i)\) | \((y_i - \hat{y}_i)^2 \) |
|---|---|---|---|---|---|
| 1 | 63 | 127 | 117.8 | 9.2 | 84.6 |
| 2 | 64 | 121 | 123.9 | -2.9 | 8.4 |
| 3 | 66 | 142 | 136.1 | 5.9 | 34.8 |
| 4 | 69 | 157 | 154.4 | 2.6 | 6.8 |
| 5 | 69 | 162 | 154.4 | 7.6 | 57.8 |
| 6 | 71 | 156 | 166.6 | -10.6 | 112.4 |
| 7 | 71 | 169 | 166.6 | 2.4 | 5.8 |
| 8 | 72 | 165 | 172.7 | -7.7 | 59.3 |
| 9 | 73 | 181 | 178.8 | 2.2 | 4.8 |
| 10 | 75 | 208 | 191 | 17 | 289.0 |
| Total | 663.7 |
Perhitungan setiap kolom sama seperti yang telah dijelaskan. Dalam kasus ini, jumlah kolom terakhir, yaitu jumlah kuadrat galat prediksi untuk garis utuh, adalah \(Q= 663.7\). Dengan memilih persamaan yang meminimumkan \(Q\), kita dapat menyimpulkan bahwa garis utuh, yaitu:
\[\text{weight} = −266.5 + 6.1\times\text{height}\]
merupakan garis dengan suaian terbaik.
Contoh sebelumnya menyisakan satu masalah besar jika kita menyimpulkan bahwa garis utuh adalah garis dengan suaian terbaik: kita hanya mempertimbangkan dua kandidat. Padahal, terdapat tak terhingga banyak kandidat garis dengan suaian terbaik. Pendekatan di atas jelas tidak dapat digunakan dalam praktik. Pada halaman berikutnya, kita akan menurunkan rumus kemiringan dan intersep garis regresi kuadrat terkecil.
12.3 Kuadrat Terkecil: Teori
Setelah memahami gagasan kuadrat terkecil, mari kita buat metodenya lebih praktis dengan mencari rumus intersep \(a_1\) dan kemiringan \(b\). Kita telah mempelajari bahwa untuk menemukan garis regresi kuadrat terkecil, kita perlu meminimumkan jumlah kuadrat galat prediksi, yaitu:
\[Q=\sum\limits_{i=1}^n (y_i-\hat{y}_i)^2\]
Kita hanya perlu mengganti \(\hat{y}_i\) tersebut dengan rumus persamaan garis:
\[\hat{y}_i=a_1+bx_i\]
sehingga diperoleh:
\[Q=\sum\limits_{i=1}^n (y_i-\hat{y}_i)^2=\sum\limits_{i=1}^n (y_i-(a_1+bx_i))^2\]
Kita dapat langsung meminimumkan \(Q\) dalam bentuk itu, tetapi penulis buku teks memilih bentuk lain persamaan garis, yaitu:
\[\hat{y}_i=a+b(x_i-\bar{x})\]
Setiap bentuk persamaan garis memiliki kelebihan dan kekurangan. Perangkat lunak statistik, seperti R atau Minitab, biasanya menghitung garis regresi kuadrat terkecil menggunakan bentuk: \[\hat{y}_i=a_1+bx_i\]
Hal ini jelas menguntungkan jika komputer dapat mengerjakan perhitungannya. Namun, salah satu kekurangan kecil bentuk ini adalah bahwa intersep \(a_1\) merupakan nilai respons terprediksi \(y\) ketika prediktor \(x=0\), yang biasanya tidak terlalu bermakna. Sebagai contoh, jika \(x\) adalah tinggi mahasiswa (dalam inci) dan \(y\) adalah berat mahasiswa (dalam pon), intersepnya merupakan berat terprediksi seorang mahasiswa yang tingginya 0 inci—Anda tentu memahami persoalannya. Sebaliknya, jika kita menggunakan persamaan:
\[\hat{y}_i=a+b(x_i-\bar{x})\]
maka intersep \(a\) merupakan nilai respons terprediksi \(y\) ketika prediktor \(x_i=\bar{x}\), yaitu rata-rata nilai \(x\) . Sebagai contoh, jika \(x\) adalah tinggi mahasiswa (dalam inci) dan \(y\) adalah berat mahasiswa (dalam pon), maka intersep \(a\) merupakan berat terprediksi mahasiswa dengan tinggi rata-rata. Jauh lebih baik dan lebih bermakna. Kabar baiknya, perangkat lunak statistik seperti R atau Minitab juga mudah digunakan untuk menghitung garis regresi kuadrat terkecil dalam bentuk ini.
Baiklah, setelah penjelasan tersebut, sekarang kita sampai pada hasil utamanya.
12.3.1 Nilai Dugaan Kuadrat Terkecil
Perhatikan bahwa perhitungan aljabar di atas tidak memerlukan asumsi bahwa hubungan antara respons \(y\) dan prediktor \(x\) benar-benar linear; keberadaan kemiringan hanya memerlukan Sxx > 0, sedangkan linearitas diperlukan untuk interpretasi model dan inferensi.
Hal lain yang dapat diperhatikan adalah bahwa rumus kemiringan \(b\) mudah digunakan jika tersedia perangkat lunak statistik untuk melakukan perhitungannya. Namun, apa yang akan Anda lakukan jika terdampar di pulau terpencil dan perlu mencari garis regresi kuadrat terkecil bagi hubungan antara kedalaman pasang dan waktu? Anda mungkin menginginkan rumus perhitungan yang lebih sederhana. Anda mungkin juga ingin memahami hubungan antara kemiringan \(b\) dan koefisien korelasi sampel \(r\).
. Dengan motivasi tersebut, mari kita turunkan rumus perhitungan alternatif untuk kemiringan \(b\).
12.4 Model
12.4.1 Apa yang Diduga oleh \(a\) dan \(b\) ?
Sejauh ini, kita telah merumuskan gagasan dan teori di balik pendugaan kuadrat terkecil. Namun, kini muncul sebuah persoalan. Ketika menurunkan rumus nilai dugaan kuadrat terkecil untuk intersep \(a\) dan kemiringan \(b\), kita belum membahas parameter apa yang diduga oleh \(a\) dan \(b\) . Topik penting ini perlu diperhatikan. Mari kita selidiki jawabannya dengan mempertimbangkan hubungan (linear) antara indeks prestasi kumulatif (IPK) sekolah menengah dan skor ujian masuk perguruan tinggi, seperti ujian ACT. Kita pusatkan IPK sekolah menengah: jika \(x\) menyatakan IPK sekolah menengah, maka \(x-\bar{x}\) adalah IPK sekolah menengah terpusat. Diagram \(x-\bar{x}\), yakni IPK sekolah menengah terpusat, terhadap \(y\), yakni skor ujian masuk perguruan tinggi, dapat berbentuk seperti berikut:
Diagram tersebut memerlukan penjelasan:
Padanan teks luring untuk Video 12.3
Untuk prediktor terpusat, rataan bersyarat skor ujian adalah α+β(xᵢ−x̄). Intersep α adalah rataan skor pada xᵢ=x̄, sedangkan β adalah perubahan rataan skor untuk setiap kenaikan satu unit prediktor. Pengamatan individual berbeda dari rataan itu sebesar εᵢ. Garis sampel mengganti α dan β dengan nilai dugaan kuadrat terkecil a dan b.
\[E(Y_i\mid x_i)=\alpha+\beta(x_i-\bar{x}),\qquad Y_i=E(Y_i\mid x_i)+\epsilon_i\]
Tautan provenance ke rekaman sumber eksternal; byte video tidak disalin atau didistribusikan dalam edisi ini.
Ringkasnya, sejauh ini kita membuat dua asumsi. Pertama, dalam seluruh populasi mahasiswa terdapat suatu hubungan linear tak diketahui antara \(\mu_y\)(atau, sebagai alternatif, \(E(Y)\)), yaitu rata-rata skor ujian masuk perguruan tinggi, dan \(x-\bar{x}\), yaitu IPK sekolah menengah terpusat. Artinya:
\[\mu_Y=E(Y)=\alpha+\beta(x-\bar{x})\]
Kedua, setiap mahasiswa menyimpang dari skor ujian masuk perguruan tinggi rata-rata pada populasi mahasiswa dengan IPK sekolah menengah terpusat yang sama sebesar suatu nilai tak diketahui \(\epsilon_i\). Artinya, jika \(Y_i\) menyatakan skor ujian masuk perguruan tinggi untuk mahasiswa ke- \(i\), maka:
\[Y_i=\alpha+\beta(x_i-\bar{x})+\epsilon_i\]
Sayangnya, kita tidak mungkin mengumpulkan data seluruh mahasiswa dalam populasi. Karena itu, kita tidak pernah dapat mengetahui intersep populasi \(\alpha\) atau kemiringan populasi \(\beta\). Hal terbaik yang dapat dilakukan adalah menduga \(\alpha\) dan \(\beta\) dengan mengambil sampel acak dari populasi mahasiswa. Misalkan kita memilih secara acak lima belas mahasiswa: tiga mahasiswa memiliki IPK sekolah menengah terpusat −2, tiga mahasiswa memiliki IPK terpusat −1, dan seterusnya. Kelima belas titik data tersebut dapat digunakan untuk menentukan garis dengan suaian terbaik (kuadrat terkecil):
\[\hat{y}_i=a+b(x_i-\bar{x})\]
Garis kuadrat terkecil kita tidak akan sempurna, tetapi semestinya menduga garis populasi sejati yang tak diketahui dengan cukup baik:
PentingCatatan penyunting sumber: perbaiki persamaan parameter di atas agar sesuai dengan catatan lama.
Itulah inti pembahasannya. Intersep \(a\) dan kemiringan \(b\) garis regresi kuadrat terkecil masing-masing menduga intersep \(\alpha\) dan kemiringan \(\beta\) garis populasi yang tak diketahui. Untuk menghitung garis kuadrat terkecil, kita tidak perlu mengasumsikan bahwa hubungan antara prediktor \(x\) dan respons \(y\) benar-benar linear; syarat aljabarnya adalah Sxx > 0. Model linear diperlukan untuk menafsirkan parameter populasi dan melakukan inferensi.
Jika kita hendak menurunkan selang kepercayaan untuk \(\alpha\) dan \(\beta\), seperti yang akan dilakukan pada halaman berikutnya, kita perlu membuat beberapa asumsi tambahan. Di sinilah model regresi linear sederhana berperan.
12.4.2 Model Regresi Linear Sederhana
Agar kurva normal dapat digambar dengan baik, mari kita gunakan sebuah contoh dari buku Applied Linear Regression Models (edisi keempat, oleh Kutner, Nachtsheim, dan Neter). Pertimbangkan hubungan antara \(x\), yaitu jumlah proposal penawaran yang disiapkan perusahaan kontraktor, dan \(y\), yaitu jumlah jam yang diperlukan untuk menyiapkan proposal tersebut:
Ada beberapa hal yang perlu diperhatikan pada grafik ini. Sekali lagi, rata-rata jumlah jam, \(E(Y)\), diasumsikan berhubungan secara linear dengan \(X\), jumlah proposal yang disiapkan. Itulah asumsi pertama. Penulis buku teks bahkan menetapkan nilai \(\alpha\) dan \(\beta\)yang biasanya tidak diketahui. Dalam kasus ini, \(\alpha\) adalah 9,5 dan \(\beta\) adalah 2,1.
Perhatikan bahwa jika \(X=45\) proposal disiapkan, jumlah jam yang diharapkan untuk menyiapkannya adalah: \[ \mu_Y=E(Y)=9.5+2.1(45)=104 \] Dalam satu kasus, sebuah perusahaan kontraktor memerlukan 108 jam untuk menyiapkan 45 proposal. Dalam kasus tersebut, suku galat \(\epsilon_i\) bernilai 4. Artinya:
\[Y_i=108=E(Y)+\epsilon_i=104+4\]
Kurva normal yang digambar untuk setiap nilai \(X\) dimaksudkan untuk menunjukkan bahwa suku galat \(\epsilon_i\), dan karena itu respons \(Y_i\), berdistribusi normal. Itulah asumsi kedua.
Apakah Anda juga memperhatikan bahwa kedua kurva normal dalam diagram digambar dengan bentuk yang sama? Hal itu menunjukkan bahwa setiap populasi (yang ditentukan oleh \(X\)) memiliki varians yang sama. Itulah asumsi ketiga. Artinya, suku galat \(\epsilon_i\), dan karena itu respons \(Y_i\), memiliki varians yang sama untuk semua nilai \(x\) .
Masih ada satu asumsi yang sulit digambarkan dalam grafik, yaitu kebebasan suku galat. Mari kita rangkum.
Singkatnya, model regresi linear sederhana menyatakan bahwa empat kondisi berikut harus dipenuhi:
- Rataan respons, \(E(Y_i)\), merupakan fungsi \(\textcolor{red}{L}\)inear terhadap \(x_i\).
- Suku galat, \(\epsilon_i\), dan karenanya respons \(Y_i\), bersifat \(\textcolor{red}{I}\)ndependen.
- Suku galat, \(\epsilon_i\), dan karenanya respons \(Y_i\), berdistribusi \(\textcolor{red}{N}\)ormal.
- Suku galat, \(\epsilon_i\), dan karenanya respons \(Y_i\), mempunyai \(\textcolor{red}{E}\)qual variances, yakni varians yang sama (\(\sigma^2\)) untuk semua nilai \(x\) .
Apakah Anda memperhatikan bahwa keempat kondisi tersebut diawali huruf kapital dan ditandai merah? Huruf awalnya membentuk kata \(\textcolor{red}{L-I-N-E}\). Kita sedang menyelidiki garis regresi kuadrat terkecil, dan modelnya mengeja kata LINE. Mnemonik ini dapat membantu Anda mengingat keempat kondisi tersebut.
12.4.3 Penduga Kemungkinan Maksimum bagi \(\alpha\) dan \(\beta\)
Kita mengetahui bahwa \(a\) dan \(b\):
\[\displaystyle{a=\bar{y} \text{ and } b=\dfrac{\sum\limits_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum\limits_{i=1}^n (x_i-\bar{x})^2}}\]
merupakan penduga (“kuadrat terkecil”) bagi \(\alpha\) dan \(\beta\) yang meminimumkan jumlah kuadrat galat prediksi. Ternyata, \(a\) dan \(b\) juga merupakan penduga kemungkinan maksimum bagi \(\alpha\) dan \(\beta\) asalkan keempat kondisi model regresi linear sederhana berlaku.
12.4.4 Bagaimana dengan Varians (Tak Diketahui) \(\sigma^2\)?
Singkatnya, varians \(\sigma^2\) mengukur seberapa besar respons (\(y\)) bervariasi di sekitar garis regresi rataan (tak diketahui) \(E(Y)\). Mengapa besar varians \(\sigma^2\)perlu diperhatikan? Contoh berikut dapat membantu menjawab pertanyaan tersebut.
Contoh 12.2 Kita mengetahui adanya hubungan sempurna antara derajat Celsius (\(C\)) dan derajat Fahrenheit (\(F\)), yaitu:
\[F=\dfrac{9}{5}C+32\]
Namun, andaikan kita tidak mengetahui hubungan tersebut. Kita dapat mencoba mempelajarinya dengan mengumpulkan data suhu dan menghitung garis regresi kuadrat terkecil. Setelah itu, merek termometer mana yang menurut Anda akan menghasilkan prediksi suhu Fahrenheit mendatang yang lebih presisi: termometer yang datanya diplot di kiri atau di kanan?
Solusi
Seperti terlihat, pada diagram kiri suhu Fahrenheit tidak banyak bervariasi atau “memantul” di sekitar garis regresi hasil pendugaan. Sebaliknya, pada diagram kanan suhu Fahrenheit cukup banyak bervariasi di sekitar garis regresi hasil pendugaan. Karena itu, wajar disimpulkan bahwa merek termometer di kiri akan memberikan prediksi suhu Fahrenheit mendatang yang lebih presisi.
Tentu saja, varians \(\sigma^2\) merupakan parameter populasi yang tidak diketahui. Satu-satunya cara untuk mengukur varians itu adalah dengan menduganya. Dalam kasus satu populasi, misalnya populasi (normal) skor IQ:
kita akan menduga varians populasi \(\sigma^2\) menggunakan varians sampel:
\[s^2=\dfrac{\sum\limits_{i=1}^n (Y_i-\bar{Y})^2}{n-1}\]
Kita telah mempelajari bahwa \(s^2\) merupakan penduga tak bias bagi \(\sigma^2\), varians satu populasi tersebut. Namun, bagaimana jika kita tidak lagi hanya memiliki satu populasi, melainkan banyak populasi? Dalam contoh proposal dan jam kerja, terdapat satu populasi untuk setiap nilai \(x\):
Dalam kasus ini, kita harus menduga \(\sigma^2\), yaitu varians (bersama) dari banyak populasi. Ada dua kemungkinan: satu penduga bias dan satu penduga tak bias.
Def. 12.1 (Rataan Kuadrat Galat) Sebaliknya, rataan kuadrat galat:
\[MSE=\dfrac{\sum\limits_{i=1}^n(Y_i-\hat{Y}_i)^2}{n-2}\]
merupakan penduga tak bias bagi \(\sigma^2\), yaitu varians bersama dari banyak populasi.
Kita perlu menggunakan penduga \(\sigma^2\) ini ketika menurunkan selang kepercayaan untuk \(\alpha\) dan \(\beta\) pada bagian berikutnya.
12.5 Selang Kepercayaan bagi Parameter Regresi
Sebelum menurunkan selang kepercayaan untuk \(\alpha\) dan \(\beta\), pertama-tama kita perlu menurunkan distribusi peluang \(a\), \(b\) dan \(\hat{\sigma}^2\). Selama proses ini, mari gunakan notasi penduga yang lebih tradisional dengan menambahkan topi pada huruf Yunani. Jadi, di sini kita menggunakan:
\[a=\hat{\alpha} \text{ and }b=\hat{\beta}\]
Contoh 12.3 Tabel berikut menunjukkan \(x\), yaitu hasil tangkapan ikan teri Peru (dalam juta ton metrik), dan \(y\), yaitu harga tepung ikan (dalam dolar berjalan per ton) selama 14 tahun berturut-turut. (Data dari Bardach, J. E. dan Santerre, R. M., “Climate and the Fish in the Sea”, Bioscience 31(3), 1981.)
| Baris | Harga | Tangkapan |
|---|---|---|
| 1 | 190 | 7.23 |
| 2 | 160 | 8.53 |
| 3 | 134 | 9.82 |
| 4 | 129 | 10.26 |
| 5 | 172 | 8.96 |
| 6 | 197 | 12.27 |
| 7 | 167 | 10.28 |
| 8 | 239 | 4.45 |
| 9 | 542 | 1.87 |
| 10 | 372 | 4.00 |
| 11 | 245 | 3.30 |
| 12 | 376 | 4.30 |
| 13 | 454 | 0.80 |
| 14 | 410 | 0.50 |
Tentukan selang kepercayaan 95% bagi parameter kemiringan \(\beta\).
Solusi
Bagian keluaran berikut diperoleh menggunakan paket analisis regresi Minitab, dengan komponen yang berguna bagi kita ditandai (\(\hat{\beta} = -29.39\) dan \(MSE = 5202\)):
Persamaan Regresi
Harga = 452,3 − 29,39 Tangkapan
Koefisien
| Suku | Koef | GB Koef | Nilai-t | Nilai-p | VIF |
|---|---|---|---|---|---|
| Konstanta | 452.3 | 37.1 | 12.18 | 0.000 | |
| Tangkapan | -29.39 | 5.13 | -5.73 | 0.000 | 1.00 |
Ringkasan Model
| S | R-kuadrat | R-kuadrat (disesuaikan) | R-kuadrat (prediksi) |
|---|---|---|---|
| 72.1265 | 73.22% | 70.98% | 61.97% |
Analisis Varians
| Sumber | DK | JK Disesuaikan | RK Disesuaikan | Nilai-F | Nilai-p |
|---|---|---|---|---|---|
| Regresi | 1 | 170655 | 170655 | 32.80 | 0.000 |
| Tangkapan | 1 | 170655 | 170655 | 32.80 | 0.000 |
| Galat | 12 | 62427 | 5202 | ||
| Total | 13 | 233082 |
Analisis deskriptif dasar Minitab juga dapat menghitung simpangan baku nilai \(x\), yaitu 3,91. Karena itu, rumus varians sampel memberi:
\[\sum\limits_{i=1}^n (x_i-\bar{x})^2=197.5043214285714\]
Dengan menggabungkan semua komponen tersebut dan menggunakan fakta bahwa \(t_{0.025, 12}=2.179\), diperoleh:
\[-29.3948251765 \pm 2.178812829 \sqrt{\dfrac{5202.2296650893}{197.5043214286}}\]
yang menyederhana menjadi: \(-29.3948251765 \pm 11.182177536\) Artinya, kita dapat yakin 95% bahwa parameter kemiringan berada di antara −40,5770 dan −18,2126. Dengan kata lain, prosedur ini menghasilkan selang yang menyatakan penurunan harga rata-rata tepung ikan antara 18,2126 dan 40,5770 dolar per ton untuk setiap kenaikan satu unit (satu juta ton metrik) hasil tangkapan ikan teri Peru.
Reproduksi terbuka untuk data ikan teri yang ditampilkan
catch <- c(7.23,8.53,9.82,10.26,8.96,12.27,10.28,4.45,1.87,4.00,3.30,4.30,0.80,0.50)
price <- c(190,160,134,129,172,197,167,239,542,372,245,376,454,410)
fit <- lm(price ~ catch)
sxx <- sum((catch - mean(catch))^2)
mse <- deviance(fit) / df.residual(fit)
tc <- qt(0.975, df.residual(fit))
c(slope=coef(fit)[2], Sxx=sxx, MSE=mse, slope_lo=coef(fit)[2]-tc*sqrt(mse/sxx), slope_hi=coef(fit)[2]+tc*sqrt(mse/sxx), intercept_lo=mean(price)-tc*sqrt(mse/length(price)), intercept_hi=mean(price)+tc*sqrt(mse/length(price)))
Kontrak keluaran Base R: slope = −29,3948251765; Sxx = 197,5043214286; MSE = 5202,2296650893; selang kemiringan [−40,577002713; −18,212647640]; selang intersep terpusat [228,499866913; 312,500133087]. Perhitungan deterministik ini tidak memakai bilangan acak sehingga seed tidak diperlukan.
Contoh 12.4 Tentukan selang kepercayaan 95% bagi parameter intersep \(\alpha\).
Solusi
Kita dapat menggunakan Minitab (atau kalkulator) untuk menentukan bahwa rataan 14 respons adalah:
\[\dfrac{190+160+\cdots +410}{14}=270.5\]
Dengan menggunakan nilai tersebut dan \(MSE = 5202.2296650893\) yang diperoleh dari keluaran di atas, serta fakta bahwa \(t_{0.025,12} = 2.179\), diperoleh:
\[270.5 \pm 2.178812829 \sqrt{\dfrac{5202.2296650893}{14}}\]
yang menyederhana menjadi \(270.5 \pm 42.000133087\) Artinya, kita dapat yakin 95% bahwa parameter intersep berada di antara 228,4999 dan 312,5001 dolar per ton.
12.6 Uji Hipotesis Mengenai Kemiringan
Sebelumnya, kita telah mempelajari cara menghitung nilai dugaan titik dan selang bagi parameter intersep dan kemiringan, \(\alpha\) dan \(\beta\), dari model regresi linear sederhana:
\[Y_i=\alpha+\beta(x_i-\bar{x})+\epsilon_i\]
dengan galat acak \(\epsilon_i\) mengikuti distribusi normal dengan rataan 0 dan varians \(\sigma^2\). Dalam pelajaran ini, kita akan mempelajari cara melakukan uji hipotesis untuk menguji hipotesis nol bahwa parameter kemiringan sama dengan suatu nilai, misalnya \(\beta_0\). Secara khusus, kita akan mempelajari cara menguji hipotesis nol \(H_0:\beta=\beta_0\) menggunakan statistik \(T\)-t.
Sekali lagi, sebagian besar landasan teoretis untuk mengembangkan uji hipotesis bagi parameter kemiringan \(\beta\) dari model regresi linear sederhana telah dikerjakan ketika kita mengembangkan selang kepercayaan \((1-\alpha)100\%\) bagi \(\beta\). Saat itu, kita telah menunjukkan bahwa:
\[T=\dfrac{\hat{\beta}-\beta}{\sqrt{\frac{MSE}{\sum(x_i-\bar{x})^2}}}\]
mengikuti distribusi \(t_{n-2}\) . Karena itu, jika kita ingin menguji hipotesis nol:
\[H_0:\beta=\beta_0\]
terhadap salah satu hipotesis alternatif:
\[H_A:\beta > \beta_0, \qquad H_A:\beta < \beta_0,\qquad H_A:\beta \ne \beta_0\]
kita dapat menggunakan statistik uji:
\[t=\dfrac{\hat{\beta}-\beta_0}{\sqrt{\frac{MSE}{\sum(x_i-\bar{x})^2}}}\]
dan mengikuti prosedur pengujian hipotesis baku.
12.7 Ringkasan
Pelajaran ini membahas pokok-pokok regresi linear sederhana, yaitu metode untuk memodelkan hubungan linear antara prediktor (x) dan respons (y).
Pokok-pokok pentingnya meliputi:
- Memodelkan tren linear yang memiliki pencaran dengan metode kuadrat terkecil untuk menemukan garis dengan suaian terbaik.
- Menduga intersep (a) dan kemiringan (b) untuk menghampiri parameter populasi \(\alpha\) dan \(\beta\).
- Asumsi (LINE): (L)inearitas, (I)ndependensi, (N)ormalitas, dan (E)qual variances atau varians yang sama.
- Menggunakan selang kepercayaan dan uji-t untuk inferensi parameter regresi.
- Menggunakan alat seperti R atau Minitab untuk menganalisis data dunia nyata dan menafsirkan hasilnya.
Provenance, hak, dan perubahan
Sumber resmi: Penn State STAT 415, Pelajaran 12, “Simple Linear Regression”, laman sumber. Isi tingkat laman berlisensi CC BY-NC 4.0 kecuali jika dinyatakan lain; setiap pengecualian komponen tetap berlaku.
Edisi Bahasa Indonesia ini merupakan karya turunan: struktur, rumus, tabel, gambar, sitasi, dan identitas sumber dipertahankan; 24 koreksi atau disposisi target-only dicatat secara terpisah. Tidak ada dukungan atau pengesahan oleh sumber yang tersirat.
Provenance terjemahan dan rekonstruksi: OpenAI Codex gpt-5.6-sol, Ultra. Kredit sumber dan kontributor manusia tetap dipertahankan.