4 Pendugaan Kemungkinan Maksimum (MLE) (Bagian I)
Gambaran Umum
Pada pelajaran sebelumnya, kita memperkenalkan cara menentukan penduga dengan Metode Momen. Pada pelajaran ini, kita akan memperkenalkan cara lain untuk menentukan penduga, yaitu dengan memaksimumkan fungsi kemungkinan.
Tujuan
Setelah menyelesaikan pelajaran ini, Anda diharapkan mampu:
- Menuliskan fungsi kemungkinan dan fungsi log-kemungkinan untuk data dari suatu model peluang tertentu,
- Menghitung secara analitik nilai dugaan kemungkinan maksimum (MLE) untuk berbagai model berparameter tunggal ketika nilai datanya diberikan,
- Menghitung secara analitik penduga kemungkinan maksimum untuk berbagai model berparameter tunggal ketika data dipandang sebagai peubah acak yang belum teramati,
- Menghitung secara analitik nilai dugaan kemungkinan maksimum (MLE) untuk berbagai model berparameter tunggal ketika nilai datanya diberikan (misalnya, x=(1.6,3.1,7.8)),
- Menghitung secara analitik penduga kemungkinan maksimum untuk model multiparameter ketika data dipandang sebagai peubah acak yang belum teramati, dan
- Menghitung secara analitik penduga kemungkinan maksimum untuk berbagai model berparameter tunggal ketika data dipandang sebagai peubah acak yang belum teramati dan himpunan dukungannya bergantung pada parameter.
4.1 Gagasan Dasar
Wajar jika nilai dugaan yang baik bagi parameter tak diketahui \(\theta\) adalah nilai \(\theta\) yang memaksimumkan fungsi massa atau kepadatan peluang bersama pada data yang kita amati—yakni fungsi kemungkinannya. Dari sinilah nama ‘kemungkinan maksimum’ berasal.
Definisi 4.1 (Fungsi Kemungkinan) Misalkan \(X_1, X_2, \ldots, X_n\) merupakan sampel acak dari suatu distribusi dengan parameter tak diketahui, \(\theta_1, \theta_2, \ldots, \theta_m\). Misalkan fungsi kepadatan peluang (atau fungsi massa peluang) dinotasikan dengan \(f(x_i|\theta_1, \theta_2, \ldots, \theta_m)\). Misalkan \((\theta_1, \theta_2, \ldots, \theta_m)\) dibatasi pada suatu ruang parameter tertentu \(\Omega\). fungsi kemungkinan, \(L(\theta_1, \theta_2, \ldots, \theta_m)\), adalah fungsi massa atau kepadatan peluang bersama sampel yang dievaluasi pada data teramati dan kemudian dipandang sebagai fungsi dari parameter. Jadi:
\[\begin{align*} L(\theta_1, \theta_2, \ldots, \theta_m)=\prod_{i=1}^n f(x_i|\theta_1, \theta_2, \ldots, \theta_m)=f(x_1|\theta_1, \theta_2, \ldots, \theta_m)f(x_2|\theta_1, \theta_2, \ldots, \theta_m)\cdots f(x_n|\theta_1, \theta_2, \ldots, \theta_m) \end{align*}\]
Contoh 4.1 Misalkan \(X_i\overset{iid}{\sim} \text{Bin}(10, p)\) untuk \(i=1, 2, 3, 4, 5\). Dengan kata lain, misalkan \(X_1, X_2, \ldots, X_5\) merupakan sampel yang saling bebas dan berdistribusi identik dari distribusi binomial dengan parameter \(n=10\) dan \(p\). Tentukan fungsi kemungkinan (yang sering disingkat sebagai kemungkinan).
Penyelesaian
Fungsi kemungkinan adalah hasil kali fungsi massa peluang masing-masing pengamatan. Oleh karena itu, \[\begin{align*} L(p)=\prod_{i=1}^n f(x_i|p)=\prod_{i=1}^n {10\choose x_i}p^{x_i}(1-p)^{10-x_i}=\left[\prod_{i=1}^n {10\choose x_i}\right]p^{\sum_{i=1}^n x_i}(1-p)^{10n-\sum_{i=1}^n x_i} \end{align*}\]
Sekarang, setelah memiliki definisi formal tentang kemungkinan, gagasan dasar pendugaan kemungkinan maksimum adalah memperlakukan fungsi kemungkinan \(L(\theta)\) sebagai fungsi dari \(\theta\) lalu menentukan nilai \(\theta\) yang memaksimumkannya. Untuk sementara, mari kita tinjau kasus dengan satu parameter tak diketahui saja, \(\theta\). Ingat kembali dari kalkulus bahwa untuk menentukan maksimum dari \(L(\theta)\) (atau \(\text{argmax}(L(\theta))\)), mula-mula kita ambil turunan fungsi tersebut terhadap \(\theta\). Berikutnya, kita samakan turunannya dengan 0 dan selesaikan terhadap \(\theta\). Dengan demikian kita memperoleh titik kritis; untuk menentukan apakah titik tersebut merupakan maksimum, kita masih harus menelaah bentuk fungsi—misalnya melalui turunan kedua—serta batas ruang parameter.
Contoh 4.2 Tinjau kembali contoh sebelumnya, dengan \(X_i\overset{iid}{\sim} \text{Bin}(10, p)\) untuk \(i=1, 2, 3, 4, 5\). Kita telah memperoleh fungsi kemungkinan: \[\begin{align*} L(p)=\left[\prod_{i=1}^n {10\choose x_i}\right]p^{\sum_{i=1}^n x_i}(1-p)^{10n-\sum_{i=1}^n x_i} \end{align*}\]
Penyelesaian
Langkah pertama adalah menentukan fungsi kemungkinan, yang sudah kita miliki. Berikutnya, kita tentukan turunan pertama fungsi kemungkinan terhadap \(p\). Sekarang saatnya menggunakan kalkulus.
\[\begin{align*} \frac{d}{dp}L(p)=\left[\prod_{i=1}^n {10\choose x_i}\right]\left(\sum x_i\right)p^{\sum x_i-1}(1-p)^{10n-\sum x_i}-\left[\prod_{i=1}^n {10\choose x_i}\right]p^{\sum x_i}\left(10n-\sum x_i\right)(1-p)^{10n-\sum x_i-1} \end{align*}\]
Langkah berikutnya adalah menyamakan turunan dengan 0 dan menyelesaikannya terhadap \(p\). Tunggu—adakah cara yang lebih mudah untuk menyelesaikan masalah ini?
Kita akan menggunakan sebuah ‘trik’ yang sering mempermudah proses diferensiasi. Perhatikan bahwa logaritma natural merupakan fungsi yang naik tegas pada \(x\).
Artinya, untuk dua nilai positif dengan \(x_1<x_2\), logaritma natural mempertahankan urutan; demikian pula, jika suatu fungsi positif memenuhi \(f(x_1)<f(x_2)\) maka logaritma fungsi itu mempertahankan urutan tersebut bagi setiap \(x\). Karena itu, nilai \(x\) yang memaksimumkan \(f(x)\) juga akan memaksimumkan logaritma natural fungsi tersebut. Sekarang, mari kita terapkan gagasan ini pada contoh sebelumnya.
Contoh 4.3 Sekali lagi, kita memiliki \(X_i\overset{iid}{\sim} \text{Bin}(10, p)\) untuk \(i=1, 2, 3, 4, 5\) dan fungsi kemungkinan:
\[\begin{align*} L(p)=\left[\prod_{i=1}^n {10\choose x_i}\right]p^{\sum_{i=1}^n x_i}(1-p)^{10n-\sum_{i=1}^n x_i} \end{align*}\]
Tentukan nilai \(p\) yang memaksimumkan fungsi kemungkinan.
Penyelesaian
Mari kita tinjau logaritma natural dari \(L(p)\), yang disebut fungsi log-kemungkinan.
\[\begin{align*} \ell(p)=\ln L(p)=\ln \prod_{i=1}^n f(x_i|p) \end{align*}\]
Dengan aturan logaritma, kita memperoleh
\[\begin{align*} \ell(p)=\ln \prod_{i=1}^n f(x_i|p)=\sum_{i=1}^n \ln f(x_i|p)=\sum_{i=1}^n\left[\ln {10\choose x_i} +x_i\ln p+(10-x_i)\ln (1-p)\right] \end{align*}\]
Sekarang, ambil turunan \(\ell(p)\) terhadap \(p\).
\[\begin{align*} \frac{d}{dp}\ell(p)=\sum_{i=1}^n \left[0+\frac{x_i}{p}-\frac{(10-x_i)}{1-p}\right]=\frac{\sum x_i}{p}-\frac{\sum (10-x_i)}{1-p} \end{align*}\]
Langkah berikutnya adalah menyamakan turunan dengan 0 dan menyelesaikannya terhadap \(p\).
\[\begin{align*} & 0=\frac{\sum x_i}{p}-\frac{\sum (10-x_i)}{1-p}, \qquad \Rightarrow \frac{\sum (10-x_i)}{1-p}=\frac{\sum x_i}{p}\\ & \Rightarrow p\sum (10-x_i)=(1-p)\sum x_i\\ & \Rightarrow 10np-\sum x_ip=\sum x_i -\sum x_ip\\ & \Rightarrow 10np=\sum x_i\\ & \Rightarrow p=\frac{\sum x_i}{10n} \end{align*}\]
Akhirnya, kita periksa bahwa nilai yang diperoleh merupakan maksimum. Kita ambil turunan kedua terhadap \(p\).
\[\begin{align*} \frac{d^2}{dp^2}\ell(p)=-\frac{\sum x_i}{p^2}-\frac{\sum (10-x_i)}{(1-p)^2} \end{align*}\]
Agar \(p=\frac{\sum x_i}{10n}\) merupakan maksimum interior, nilai turunan kedua pada titik tersebut harus kurang dari 0.
\[\begin{align*} -\frac{\sum x_i}{\left(\frac{\sum x_i}{10n}\right)^2}-\frac{\sum (10-x_i)}{\left(1-\frac{\sum x_i}{10n}\right)^2} \end{align*}\]
Karena setiap \(x_i\) berada di antara 0 dan 10, turunan kedua bernilai negatif selama sampel bukan seluruhnya 0 dan bukan seluruhnya 10, sehingga nilai di atas merupakan maksimum interior. Jika seluruh pengamatan bernilai 0 atau 10, maksimum dicapai masing-masing pada batas parameter 0 atau 1. Jika data masih dipandang sebagai peubah acak, kaidah ini membentuk penduga kemungkinan maksimum (MLE); setelah data diamati, hasilnya adalah nilai dugaan kemungkinan maksimum. Keduanya dilambangkan dengan simbol ‘topi’. Untuk data teramati, nilai dugaannya adalah \(\hat{p}=\frac{\sum x_i}{10n}\).
Sekarang kita nyatakan definisi formal Penduga Kemungkinan Maksimum (MLE).
Definisi 4.2 (Penduga Kemungkinan Maksimum) Misalkan \(X_1, X_2, \ldots, X_n\) merupakan sampel acak dari suatu distribusi dengan parameter tak diketahui, \(\theta_1, \theta_2, \ldots, \theta_m\). Misalkan fungsi kepadatan peluang (atau fungsi massa peluang) dinotasikan dengan \(f(x_i|\theta_1, \theta_2, \ldots, \theta_m)\). Misalkan \((\theta_1, \theta_2, \ldots, \theta_m)\) dibatasi pada suatu ruang parameter tertentu \(\Omega\). Fungsi kemungkinan adalah fungsi massa atau kepadatan peluang bersama sampel yang dievaluasi pada data teramati dan dipandang sebagai fungsi parameter. Jadi: \[\begin{align*} L(\theta_1, \theta_2, \ldots, \theta_m)=\prod_{i=1}^n f(x_i|\theta_1, \theta_2, \ldots, \theta_m) \end{align*}\] Jika \(\left[u_1(X_1, X_2, \ldots, X_n), u_2(X_1, X_2, \ldots, X_n), \ldots, u_m(X_1, X_2, \ldots, X_n)\right]\) merupakan \(m\)-tuple yang memaksimumkan fungsi kemungkinan, maka: \[\begin{align*} \hat{\theta}_i=u_i(X_1, X_2, \ldots, X_n), \qquad i=1, 2, \ldots, m \end{align*}\] adalah penduga kemungkinan maksimum bagi \(\theta_i\). Nilai statistik tersebut yang bersesuaian setelah sampel diamati, yaitu, \[\begin{align*} \left[u_1(x_1, x_2, \ldots, x_n), u_2(x_1, x_2, \ldots, x_n), \ldots, u_m(x_1, x_2, \ldots, x_n)\right] \end{align*}\] disebut nilai dugaan kemungkinan maksimum bagi \(\theta_i\), untuk \(i=1, 2, \ldots, m\).
4.2 Kasus Satu Parameter
Pada bagian ini, kita merangkum langkah-langkah untuk menentukan penduga kemungkinan maksimum pada kasus satu parameter.
Langkah-Langkah Menentukan MLE (Kasus Satu Parameter)
- Diberikan sampel acak \(X_1, X_2, \ldots, X_n\) dari suatu distribusi dengan parameter tak diketahui, \(\theta\), tentukan fungsi kemungkinan: \[\begin{align*} L(\theta)=\prod_{i=1}^n f(x_i|\theta) \end{align*}\]
- Tentukan fungsi log-kemungkinan: \[\begin{align*} \ell(\theta)=\ln L(\theta)=\ln \prod_{i=1}^n f(x_i|\theta)=\sum_{i=1}^n \ln f(x_i|\theta) \end{align*}\]
- Ambil turunan pertama fungsi log-kemungkinan: \[\begin{align*} \ell^\prime(\theta)=\frac{d}{d\theta}\ell(\theta) \end{align*}\]
- Samakan \(\ell^\prime(\theta)=0\) dan selesaikan terhadap \(\theta\). Langkah ini menghasilkan sebuah titik kritis; titik tersebut baru menjadi kandidat MLE dan masih harus diperiksa terhadap bentuk fungsi serta batas ruang parameter.
- Nilai kritis yang telah diverifikasi sebagai maksimum merupakan MLE bagi \(\theta\), yang dinotasikan dengan \(\hat{\theta}\).
Setelah definisi formal dan langkah-langkahnya jelas, mari kita kerjakan beberapa contoh.
Contoh 4.4 Misalkan \(X_1, X_2, \ldots, X_n\) merupakan sampel acak dari distribusi Geometrik dengan parameter tak diketahui \(p\). Carilah penduga kemungkinan maksimum (MLE).
Penyelesaian
Fungsi massa peluang (PMF) peubah acak Geometrik adalah \(f(x)=(1-p)^{x-1}p\) untuk \(x=1, 2, 3, \ldots\). Ikuti langkah-langkah di atas untuk mencari MLE.
Fungsi kemungkinannya adalah: \[\begin{align*} L(p)=\prod_{i=1}^n (1-p)^{x_i-1}p=(1-p)^{\sum_{i=1}^n (x_i-1)}p^n \end{align*}\]
Carilah fungsi log-kemungkinannya: \[\begin{align*} \ell(p)=\sum (x_i-1)\ln (1-p)+n\ln p \end{align*}\]
Ambil turunan pertama dari \(\ell(p)\) terhadap \(p\). \[\begin{align*} \frac{d}{dp}\ell(p)=-\frac{\sum (x_i-1)}{1-p}+\frac{n}{p} \end{align*}\]
Samakan turunan tersebut dengan 0 dan selesaikan terhadap \(p\).
\[\begin{align} & 0=-\frac{\sum (x_i-1)}{1-p}+\frac{n}{p}, \qquad \Rightarrow 0=\frac{-p\sum (x_i-1)+n(1-p)}{p(1-p)}=\frac{-p\sum x_i+np+n-np}{p(1-p)}\\ & \Rightarrow 0=-p\sum x_i+n, \qquad \Rightarrow -n=-p\sum x_i\\ & \Rightarrow p=\frac{n}{\sum x_i}\end{align}\]
MLE untuk \(p\) adalah \(\hat{p}=\frac{n}{\sum x_i}\)
Contoh 4.5 Misalkan \(X_1, X_2, \ldots, X_n\) merupakan sampel acak dari distribusi Gamma dengan parameter tak diketahui \(\theta\) dan parameter diketahui \(\alpha\). Carilah MLE untuk \(\theta\).
Penyelesaian
Fungsi kepadatan peluang (PDF) peubah acak Gamma adalah \(f(x)=\frac{1}{\Gamma(\alpha)\theta^{\alpha}}x^{\alpha-1}e^{-x/\theta}\) untuk \(x>0\). Ikuti langkah-langkah tersebut untuk mencari MLE.
Fungsi kemungkinannya adalah:
\[\begin{align*} L(\theta)=\prod_{i=1}^n \frac{1}{\Gamma(\alpha)\theta^\alpha}x_i^{\alpha-1}e^{-x_i/\theta}=\left(\frac{1}{\Gamma(\alpha)\theta^\alpha}\right)^n\left(\prod_{i=1}^n x_i\right)^{\alpha-1}e^{-\frac{\sum x_i}{\theta}} \end{align*}\]
Carilah fungsi log-kemungkinannya:
\[\begin{align*} \ell(\theta)=-n\ln \Gamma(\alpha)-n\alpha\ln \theta+(\alpha-1)\sum_{i=1}^n\ln x_i-\frac{\sum_{i=1}^n x_i}{\theta} \end{align*}\]
Ambil turunan pertama dari \(\ell(\theta)\) terhadap \(\theta\). \[\begin{align*} \frac{d}{d\theta}\ell(\theta)=-\frac{n\alpha}{\theta}+\frac{\sum x_i}{\theta^2} \end{align*}\]
Samakan turunan tersebut dengan 0 dan selesaikan terhadap \(\theta\). \[\begin{align*} & 0=-\frac{n\alpha}{\theta}+\frac{\sum x_i}{\theta^2}=\frac{-n\alpha\theta+\sum x_i}{\theta^2}\\ & \Rightarrow 0=-n\alpha\theta+\sum x_i, \qquad \Rightarrow n\alpha\theta=\sum x_i\\ & \Rightarrow \theta=\frac{\sum x_i}{n\alpha} \end{align*}\]
MLE untuk \(\theta\) adalah \(\hat{\theta}=\frac{\sum x_i}{n\alpha}\)
Pada dua contoh terakhir, kita diberi sampel acak dan memperoleh penduga kemungkinan maksimum bagi parameter yang tidak diketahui. Sekarang mari kita lihat beberapa contoh untuk mencari nilai dugaan kemungkinan maksimum ketika sekumpulan nilai pengamatan diberikan.
Contoh 4.6 Misalkan kita mempunyai tiga nilai pengamatan dari distribusi Geometrik. Nilai-nilai pengamatan itu adalah \(x_1=12, x_2=19, x_3=10\). Carilah nilai dugaan kemungkinan maksimum untuk \(p\).
Penyelesaian
Pada contoh sebelumnya, MLE yang kita peroleh adalah \(\hat{p}=\frac{n}{\sum x_i}\). Jadi, nilai dugaan kemungkinan maksimumnya adalah:
\[\begin{align*} \hat{p}=\frac{n}{\sum x_i}=\frac{3}{12+19+10}=\frac{3}{41} \end{align*}\]
Contoh 4.7 Misalkan kita mempunyai tiga nilai pengamatan dari distribusi Gamma dengan \(\alpha=3\) dan parameter tak diketahui \(\theta\). Nilai-nilai pengamatannya adalah \(x_1=3.4, x_2=8.1, x_3=5.5\). Carilah nilai dugaan kemungkinan maksimum untuk \(\theta\).
Penyelesaian
Pada contoh sebelumnya, MLE yang kita peroleh adalah \(\hat{\theta}=\frac{\sum x_i}{n\alpha}\). Jadi, nilai dugaan kemungkinan maksimumnya adalah:
\[\begin{align*} \hat{\theta}=\frac{\sum x_i}{n\alpha}=\frac{3.4+8.1+5.5}{3(3)}=\frac{17}{9}\approx1.8889 \end{align*}\]
Contoh 4.8 Misalkan kita mempunyai nilai-nilai pengamatan berikut dari distribusi Poisson dengan parameter \(\lambda\). \[\begin{align*} & 14, \qquad 21, \qquad 17\\ & 11, \qquad 22 \end{align*}\] Carilah nilai dugaan kemungkinan maksimum untuk \(\lambda\).
Penyelesaian
Pertama-tama, kita perlu mencari MLE dengan langkah-langkah biasa. Fungsi kemungkinannya adalah:
\[\begin{align*} L(\lambda)=\prod_{i=1}^n \frac{e^{-\lambda}\lambda^{x_i}}{x_i!}=\frac{e^{-n\lambda}\lambda^{\sum x_i}}{\prod x_i!} \end{align*}\]
Fungsi log-kemungkinannya adalah:
\[\begin{align*} \ell(\lambda)=-n\lambda +\left(\sum x_i\right)\ln \lambda-\sum_{i=1}^n\ln(x_i!) \end{align*}\]
Turunan pertamanya adalah:
\[\begin{align*} \frac{d\ell(\lambda)}{d\lambda}=-n+\frac{\sum_i x_i}{\lambda} \end{align*}\]
Dengan menyamakan turunan tersebut dengan 0 dan menyelesaikannya terhadap \(\lambda\), kita memperoleh MLE berikut:
\[\begin{align*} & 0=-n+\frac{\sum x_i}{\lambda}, \qquad \Rightarrow n=\frac{\sum x_i}{\lambda}\\ & \Rightarrow \hat{\lambda}=\frac{\sum x_i}{n}=\bar{x} \end{align*}\]
Jadi, nilai dugaan kemungkinan maksimum untuk \(\lambda\) adalah \(\hat{\lambda}=\frac{14+21+17+11+22}{5}=\frac{85}{5}=17\).
4.3 Maksimalkan Fungsi Kemungkinan secara Langsung: Himpunan Dukungan yang Bergantung pada Parameter
Pada bagian ini, kita akan melanjutkan pembahasan pendugaan kemungkinan maksimum. Perhatikan contoh berikut.
Contoh 4.9 Misalkan kita mempunyai sampel acak berukuran \(n\) dari distribusi Uniform pada interval \((0, a)\), dengan \(a\) merupakan bilangan real yang tidak diketahui. Apa MLE untuk \(a\)?
Penyelesaian
Mari kita telaah masalah ini dengan langkah-langkah biasa. Fungsi kepadatan peluang (PDF) distribusi Uniform ini adalah \(f(x)=\frac{1}{a}\), untuk \(0<x<a\). Fungsi kemungkinannya adalah:
\[\begin{align*} L(a)=\prod_{i=1}^n \frac{1}{a}=\frac{1}{a^n}=a^{-n} \end{align*}\]
Fungsi log-kemungkinannya adalah:
\[\begin{align*} \ell(a)=-n\ln a \end{align*}\]
Turunannya adalah:
\[\begin{align*} \frac{d}{da}\ell(a)=-\frac{n}{a} \end{align*}\]
Namun, apa yang terjadi jika kita menyamakan turunan dengan 0 dan mencoba menyelesaikannya terhadap \(a\)? Jika kita menetapkan \(-\frac{n}{a}=0\), persamaan tersebut tidak memiliki penyelesaian; jadi MLE-nya bukan \(\hat{a}=\infty\).
Apa yang membedakan contoh ini dari contoh-contoh MLE sebelumnya? Fungsi kemungkinan tersebut monoton turun, bukan monoton naik, sehingga tidak memiliki titik kritis interior. Maksimum atau supremumnya ditentukan oleh batas himpunan dukungan yang bergantung pada parameter.
Pada contoh di atas, kita belum memperhitungkan kendala yang ditetapkan oleh \(a\) terhadap data. Dalam contoh-contoh sebelumnya, himpunan dukungan tidak bergantung pada parameter yang tidak diketahui. Sebagai contoh, himpunan dukungan \(X\) sebagai peubah acak Normal adalah \(-\infty<x<\infty\). Pada contoh Gamma, himpunan dukungan \(X\) adalah \(x>0\), dan seterusnya.
Namun, untuk distribusi Uniform, himpunan dukungan bergantung pada parameter \(a\) dan kita belum memperhitungkan kendala yang ditetapkan oleh \(a\) terhadap data. Jadi, apa yang harus kita lakukan?
Mari kita definisikan dahulu fungsi indikator.
Def. 4.3 (Fungsi indikator) Misalkan terdapat suatu kejadian \(A\). Fungsi indikator untuk \(A\) didefinisikan sebagai:
\[ \begin{align*} \mathbf{1}_{A}=\begin{cases} 1, & \text{ if $A$ occurs}\\ 0, & \text{ if $A$ does not occur} \end{cases} \end{align*} \]
Mari kita lihat contoh penggunaan fungsi indikator untuk mencari penduga kemungkinan maksimum.
Contoh 4.10 Misalkan \(Y_1, \ldots, Y_n\) merupakan sampel acak dari distribusi Bernoulli dengan parameter \(p\). Fungsi massa peluang (PMF) dari \(Y\) adalah:
\[\begin{align*} f(y)=\begin{cases} p^y(1-p)^{1-y} & y=0, 1\\ 0 & \text{otherwise} \end{cases} \end{align*}\]
PMF tersebut dapat ditulis dengan cara lain. Salah satu bentuknya adalah
\[\begin{align*} f(y)=\begin{cases} p & y=1\\ 1-p & y=0 \end{cases} \end{align*}\]
Bentuk lainnya menggunakan fungsi indikator:
\[\begin{align*} f(y)=p^y(1-p)^{1-y}\mathbf{1}_{\{y\in \{0, 1\}\}} \end{align*}\]
dengan
\[\begin{align*} \mathbf{1}_{\{y \in \{0,1\}\}}=\begin{cases} 1 & \text{ if $y=0$ or $y=1$}\\ 0 & \text{otherwise} \end{cases} \end{align*}\]
Dengan menggunakan bentuk PMF ini, carilah penduga kemungkinan maksimum untuk \(p\).
Penyelesaian
Fungsi kemungkinannya adalah:
\[\begin{align*} L(p)=\prod_{i=1}^n p^{y_i}(1-p)^{1-y_i}\mathbf{1}_{\{y_i\in \{0,1\}\}}=p^{\sum_i y_i}(1-p)^{n-\sum_i y_i}\prod_{i=1}^n\mathbf{1}_{\{y_i\in \{0,1\}\}} \end{align*}\]
Fungsi log-kemungkinannya adalah:
\[\begin{align*} \ell(p)=\sum y_i\ln p+(n-\sum y_i)\ln (1-p)+\sum \ln \left(\mathbf{1}_{\{y\in \{0, 1\}\}}\right) \end{align*}\]
Selanjutnya, ambil turunan terhadap \(p\).
\[\begin{align*} \frac{d\ell(p)}{dp}=\frac{\sum_i y_i}{p}-\frac{n-\sum_i y_i}{1-p} \end{align*}\]
Pada tahap ini, perhatikan bahwa fungsi indikator tidak muncul lagi karena konstan terhadap \(p\). Sekarang, lanjutkan untuk mencari MLE.
\[\begin{align*} & \frac{\sum_i y_i}{p}=\frac{n-\sum_i y_i}{1-p}, \qquad \Rightarrow \sum_i y_i-p\sum_i y_i=np-p\sum_i y_i\\ & \Rightarrow \sum_i y_i=np, \qquad \Rightarrow \hat{p}=\frac{\sum_i y_i}{n} \end{align*}\]
Bagaimana hal ini membantu kita dalam kasus Uniform \((0, a)\) tersebut? Pada contoh di atas, kita tahu bahwa \(X\) merupakan peubah acak Uniform pada interval \((0, a)\). Jadi, alih-alih menuliskan PDF sebagai
\[\begin{align*} f(x)=\begin{cases} \frac{1}{a}, & 0<x<a\\ 0, & \text{otherwise} \end{cases} \end{align*}\]
kita dapat menulisnya ulang dengan fungsi indikator.
\[\begin{align*} f(x)=\frac{1}{a}\times\mathbf{1}_{x\in (0, a)} \end{align*}\]
dengan
\[\begin{align*} \mathbf{1}_{x\in (0, a)}=\begin{cases} 1, & \text{ if $x\in (0, a)$}\\ 0, & \text{ if $x\notin (0, a)$} \end{cases} \end{align*}\]
Contoh 4.11 Carilah penduga kemungkinan maksimum untuk \(a\) pada contoh Uniform tersebut.
Penyelesaian
Sekali lagi, kita mulai dengan fungsi kemungkinan
\[\begin{align*} L(a)=\prod_{i=1}^n \frac{1}{a}\mathbf{1}_{\{x_i\in(0,a)\}}=a^{-n}\prod_{i=1}^n\mathbf{1}_{\{x_i\in(0,a)\}} \end{align*}\]
Perhatikan bahwa jika \(x_i>a\), maka fungsi kemungkinan bernilai 0. Dengan kata lain, \(a\) tidak boleh lebih kecil daripada satu pun \(x_i\). Oleh karena itu, untuk memaksimalkan \(L(a)\), kita harus membuat \(a\) sekecil mungkin sambil tetap lebih besar daripada maksimum sampel. Karena batas kanan himpunan dukungan ditulis terbuka, maksimum tidak tercapai; nilai berikut adalah batas supremumnya:
\[\begin{align*} a\downarrow X_{(n)}=Y_n \end{align*}\]
Jadi, untuk model dengan batas terbuka sebagaimana ditulis, batas supremum bagi \(a\) diberikan oleh statistik urutan maksimum, \(Y_n\), karena supremum fungsi kemungkinan didekati ketika \(a\downarrow\max_i x_i\).
Contoh 4.12 Misalkan kita mempunyai \(X_i\sim \text{Pareto}(m, \alpha=2)\) merupakan sampel iid berukuran \(n\), dan misalkan parameter \(\alpha=2\). PDF distribusi Pareto adalah:
\[\begin{align*} f(x)=\frac{\alpha m^\alpha}{x^{\alpha+1}}=\frac{2m^2}{x^3}, \qquad x\ge m \end{align*}\]
Tentukan penduga kemungkinan maksimum bagi \(m\).
Penyelesaian
Seperti biasa, langkah pertama adalah menentukan fungsi kemungkinan:
\[\begin{align*} L(m)=\prod_{i=1}^n \frac{2m^2}{x_i^3}\mathbf{1}_{\{x_i\ge m\}}=\frac{2^nm^{2n}}{\prod x_i^3}\prod_{i=1}^n\mathbf{1}_{\{x_i\ge m\}} \end{align*}\]
Untuk memaksimumkan fungsi kemungkinan, kita meninjau suku-suku yang memuat \(m\). Yaitu,
\[\begin{align*} m^{2n}\prod_{i=1}^n\mathbf{1}_{\{x_i\ge m\}} \end{align*}\]
Hasil kali fungsi indikator sama dengan 1 hanya jika \(x_1\ge m\), \(x_2\ge m\), …, \(x_n\ge m\). Ini setara dengan menyatakan bahwa statistik urutan minimum lebih besar daripada atau sama dengan \(m\). Dengan kata lain, jika \(Y_1\) (statistik urutan pertama atau minimum) lebih besar daripada atau sama dengan \(m\), maka semua pengamatan lebih besar daripada atau sama dengan \(m\). Oleh karena itu, penduga kemungkinan maksimum bagi \(m\) adalah statistik urutan pertama, \(Y_1\).
Contoh 4.13 Misalkan kita mempunyai sampel acak \(X_1, \ldots, X_4\) dari distribusi Seragam pada \([3c,10]\). Tentukan nilai dugaan kemungkinan maksimum bagi \(c\) dengan menggunakan pengamatan berikut.
\[\begin{align*} & x_1=-5, \qquad x_2=6\\ & x_3=-1, \qquad x_4=2 \end{align*}\]
Penyelesaian
Langkah pertama adalah menentukan PDF dari \(X_i\).
\[\begin{align*} f(x_i|c)=\frac{1}{10-3c}\mathbf{1}_{\{3c\le x_i\le10\}},\qquad i=1,2,3,4,\quad c<\frac{10}{3}. \end{align*}\]
Selanjutnya, kita menentukan fungsi kemungkinan.
\[\begin{align*} L(c)&=\prod_{i=1}^4 \frac{1}{10-3c}\mathbf{1}_{\{3c\le x_i\le10\}}\\ & =\left(\frac{1}{10-3c}\right)^4\mathbf{1}_{\{3c\le x_1\le 10, 3c\le x_2\le 10, 3c\le x_3\le 10, 3c\le x_4\le 10\}} \end{align*}\]
Kita dapat menunjukkan bahwa \(\left(\frac{1}{10-3c}\right)^4\) merupakan fungsi yang monoton naik. Sekarang, mari kita cermati fungsi indikatornya.
\[\begin{align*} \mathbf{1}_{\{3c\le x_1\le 10, 3c\le x_2\le 10, 3c\le x_3\le 10, 3c\le x_4\le 10\}} \end{align*}\]
Cobalah yakinkan diri Anda bahwa fungsi indikator tersebut juga dapat ditulis sebagai:
\[\begin{align*} \mathbf{1}_{\{3c\le x_1, 3c\le x_2, 3c\le x_3, 3c\le x_4\}}\times\mathbf{1}_{\{x_1\le 10, x_2\le 10, x_3\le 10, x_4\le 10\}} \end{align*}\]
Suku kedua bukan fungsi dari \(c\). Karena itu, suku tersebut dapat kita abaikan. Mari kita berfokus pada suku pertama yang merupakan fungsi dari \(c\).
\[\begin{align*} \mathbf{1}_{\{3c\le x_1, 3c\le x_2, 3c\le x_3, 3c\le x_4\}} \end{align*}\]
Seperti sebelumnya, kita dapat menulis ulang fungsi indikator sebagai:
\[\begin{align*} \mathbf{1}_{\{3c\le \min(x_1, \ldots, x_4)\}}=\mathbf{1}_{\{c\le \frac{\min(x_1, \ldots, x_4)}{3}\}} \end{align*}\]
Oleh karena itu, penduga kemungkinan maksimum bagi \(c\) adalah
\[\begin{align*} \hat{c}=\frac{\min(x_i)}{3} \end{align*}\]
Dengan menggunakan data kita, nilai dugaan kemungkinan maksimumnya adalah \(\hat{c}=\frac{-5}{3}\).
4.4 Kasus Multiparameter
Sejauh ini, kita telah mempelajari penduga kemungkinan maksimum untuk distribusi berparameter tunggal. Sebagai contoh, \(\text{Unif}(0, \theta)\) dan \(\text{Bin}(10, p)\). Kita juga telah meninjau distribusi Normal ketika hanya satu parameternya yang tidak diketahui. Dalam bagian ini, kita akan mempelajari cara menentukan penduga ketika terdapat lebih dari satu parameter yang tidak diketahui. Sebagai contoh, \(N(\mu, \sigma^2)\), \(\text{Gamma}(\alpha, \beta)\), dan sebagainya…
Secara umum, untuk model multiparameter kita dapat mengikuti pendekatan yang serupa dengan pendekatan pada kasus berparameter tunggal.
Notasi
Kita akan menggunakan notasi vektor dalam bagian ini. Skalar tidak diberi garis bawah, sedangkan vektor diberi garis bawah. Sebagai contoh, skalar ditulis seperti
\[\begin{align*} & a\in \mathbb{R}\\ & \theta\in \mathbb{R} \end{align*}\]
Ketika merujuk pada vektor, kita menggunakan notasi bergaris bawah. Sebagai contoh,
\[\begin{align*} & \underline{x}\in \mathbb{R}^n, \qquad \underline{x}=(x_1, x_2, \ldots, x_n)\\ & \underline{\theta}\in \mathbb{R}^p, \qquad \underline{\theta}=(\theta_1, \theta_2, \ldots, \theta_p) \end{align*}\]
Jika terdapat lebih dari satu parameter, kita dapat menulis PDF (atau PMF) sebagai:
\[\begin{align*} f(x|\underline{\theta}) \end{align*}\]
fungsi kemungkinannya sebagai:
\[\begin{align*} L(\underline{\theta})=\prod_{i=1}^n f(x_i|\underline{\theta}) \end{align*}\]
Fungsi log-kemungkinannya adalah:
\[\begin{align*} & \ell(\underline{\theta})=\sum_{i=1}^n \log f(x_i|\underline{\theta})\\ &=\ell(\theta_1, \ldots, \theta_p)=\sum_{i=1}^n \log f(x_i|\theta_1, \ldots, \theta_p) \end{align*}\]
Titik-titik kritis terjadi ketika
\[\begin{align*} & \frac{d}{d\theta_1}\ell(\underline{\theta})=0\\ & \frac{d}{d\theta_2}\ell(\underline{\theta})=0\\ & \vdots\\ & \frac{d}{d\theta_p}\ell(\underline{\theta})=0 \end{align*}\]
Oleh karena itu, kita mempunyai \(p\) persamaan dan \(p\) peubah yang tidak diketahui. Penyelesaian sistem persamaan ini menghasilkan \(\hat{\underline{\theta}}=(\hat{\theta}_1,\ldots,\hat{\theta}_p)\).
Mari kita lihat contoh penentuan MLE untuk beberapa parameter.
Contoh 4.14 Misalkan kita mempunyai sampel acak berukuran \(n\) dari distribusi Normal dengan parameter yang tidak diketahui \(\mu\) dan \(\sigma^2\). Tentukan MLE bagi \(\underline{\theta}=(\mu, \sigma^2)\).
Penyelesaian
Fungsi kemungkinannya adalah:
\[\begin{align*} L(\underline{\theta})=\prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{1}{2\sigma^2}(x_i-\mu)^2}=\left(2\pi\sigma^2\right)^{-n/2}e^{\sum -\frac{1}{2\sigma^2}(x_i-\mu)^2} \end{align*}\]
Fungsi log-kemungkinannya adalah:
\[\begin{align*} \ell(\underline{\theta})=-\frac{n}{2}\ln (2\pi)-\frac{n}{2}\ln (\sigma^2)-\sum_{i=1}^n \frac{1}{2\sigma^2}(x_i-\mu)^2 \end{align*}\]
Misalkan \(\nu=\sigma^2\). Kita mempunyai:
\[\begin{align*} \ell(\mu, \nu)=-\frac{n}{2}\ln (2\pi)-\frac{n}{2}\ln (\nu)-\sum_{i=1}^n \frac{1}{2\nu}(x_i-\mu)^2 \end{align*}\]
Sekarang, ambil turunan terhadap \(\mu\) dan \(\nu\).
\[\begin{align*} & \frac{d\ell(\mu, \nu)}{d\mu}=-2\frac{1}{2\nu}\sum (x_i-\mu)(-1)=\frac{\sum x_i-n\mu}{\nu} \\ & \frac{d\ell(\mu, \nu)}{d\nu}=-\frac{n}{2\nu}+\frac{\sum (x_i-\mu)^2}{2\nu^2}=\frac{-n\nu+\sum(x_i-\mu)^2}{2\nu^2} \end{align*}\]
Dengan menyamakan turunan-turunan tersebut dengan 0 lalu menyelesaikannya, kita memperoleh:
\[\begin{align*} & 0=\frac{\sum x_i-n\mu}{\nu}, \qquad \Rightarrow \mu=\frac{\sum x_i}{n}=\bar{x}\\ & 0=\frac{-n\nu+\sum(x_i-\mu)^2}{2\nu^2}, \qquad \Rightarrow \nu=\frac{\sum (x_i-\mu)^2}{n} \end{align*}\]
Kita mempunyai dua persamaan dan dua peubah yang tidak diketahui. Oleh karena itu, MLE yang diperoleh adalah:
\[\begin{align*} & \hat{\mu}=\bar{x}\\ & \hat{\nu}=\hat{\sigma^2}=\frac{\sum_{i=1}^n (x_i-\bar{x})^2}{n} \end{align*}\]
Contoh 4.15 Misalkan \(X_i\overset{iid}{\sim} \text{Laplace}(\mu, b)\), untuk \(i=1, \ldots, n\). Tentukan MLE bagi \(\underline{\theta}=(\mu, b)\).
Penyelesaian
PDF dari \(X\) adalah:
\[\begin{align*} f(x|\underline{\theta})=\frac{1}{2b}e^{-\frac{|x-\mu|}{b}}, \qquad -\infty<x<\infty \end{align*}\] Fungsi kemungkinannya adalah:
\[\begin{align*} L(\underline{\theta})=\prod_{i=1}^n \frac{1}{2b}e^{-\frac{|x_i-\mu|}{b}}=(2b)^{-n}e^{-\frac{\sum_i|x_i-\mu|}{b}} \end{align*}\]
Fungsi log-kemungkinannya adalah:
\[\begin{align*} \ell(\underline{\theta})=-n\ln 2-n\ln b-\frac{\sum |x_i-\mu|}{b} \end{align*}\]
Mari kita mulai dengan mengambil turunan terhadap \(b\).
\[\begin{align*} \frac{d\ell(\underline{\theta})}{db}=-\frac{n}{b}+\frac{\sum |x_i-\mu|}{b^2}=\frac{-nb+\sum |x_i-\mu|}{b^2} \end{align*}\]
Dengan menyamakan turunan tersebut dengan 0, kita memperoleh:
\[\begin{align*} 0=\frac{-nb+\sum |x_i-\mu|}{b^2}, \qquad \Rightarrow \hat{b}=\frac{\sum |x_i-\mu|}{n} \end{align*}\]
Selanjutnya, mari kita tentukan turunan dari \(\ell(\underline{\theta})\) terhadap \(\mu\).
\[\begin{align*} & \frac{d\ell(\underline{\theta})}{d\mu}=-\sum_{i=1}^n \left(\frac{1}{b}\right)\frac{d}{d\mu} |x_i-\mu| \end{align*}\]
Namun, bagaimana bentuk \(\frac{d}{d\mu} |x_i-\mu|\)? Di luar titik tekuk, kita mengetahui bahwa
\[\begin{align*} |x_i-\mu|=\begin{cases} x_i-\mu & \text{if }x_i\ge \mu\\ -x_i+\mu & \text{if }x_i\le \mu \end{cases} \end{align*}\]
Dengan demikian, jauh dari titik tekuk, turunannya adalah
\[\partial_\mu|x_i-\mu|=\begin{cases}-1,&\mu<x_i,\\[-2pt] [-1,1],&\mu=x_i,\\[-2pt] 1,&\mu>x_i.\end{cases}\]
Kita dapat merangkum kedua sisi dengan fungsi indikator berikut; pada titik tekuk, ekspresi ini harus dipahami melalui subgradien:
\[\begin{align*} \frac{d}{d\mu}|x_i-\mu|=\mathbf{1}_{\{x_i<\mu\}}-\mathbf{1}_{\{x_i>\mu\}} \end{align*}\]
Dengan memasukkan kondisi subgradien ini ke dalam fungsi log-kemungkinan, kita memperoleh:
\[\begin{align*} \frac{d}{d\mu}\ell(\underline{\theta})=-\frac{1}{b}\sum_{i=1}^n\left(\mathbf{1}_{\{x_i<\mu\}}-\mathbf{1}_{\{x_i>\mu\}}\right) \end{align*}\]
Dengan memilih subgradien yang sama dengan 0, kita memperoleh:
\[\begin{align*} 0\in\sum_{i=1}^n\partial_\mu|x_i-\mu|\quad\Longleftrightarrow\quad \#\{i:x_i<\mu\}\le\frac n2,\ \#\{i:x_i>\mu\}\le\frac n2. \end{align*}\]
Perhatikan setiap suku pada persamaan terakhir. \(\sum \mathbf{1}_{\{x_i<\mu\}}\) menyatakan banyaknya \(x_i\), yang nilainya lebih kecil daripada \(\mu\). Demikian pula, \(\sum \mathbf{1}_{\{x_i>\mu\}}\) menyatakan banyaknya \(x_i\), yang nilainya lebih besar daripada \(\mu\). Kondisi subgradien nol terpenuhi apabila \(\mu\) merupakan salah satu median sampel; untuk ukuran sampel genap, setiap nilai di antara dua statistik urutan tengah dapat memaksimumkan fungsi kemungkinan. Dengan demikian, MLE bagi \(\mu\) dapat dipilih sebagai \(\hat\mu\in\operatorname{Median}(x_1,\ldots,x_n)\).
Oleh karena itu, dengan kedua syarat optimalitas dan kedua parameter yang tidak diketahui tersebut, kita memperoleh MLE bagi \(\underline{\theta}\) sebagai:
\[\begin{align*} \hat\mu&\in\operatorname{Median}(x_1,\ldots,x_n),\\ \hat b&=\frac1n\sum_{i=1}^n|x_i-\hat\mu|. \end{align*}\]
Satu contoh terakhir…
Contoh 4.16 Misalkan \(X_1, X_2, \ldots, X_n\) merupakan sampel acak dari distribusi Gamma dengan parameter \(\alpha\) dan \(\theta\). Misalkan kita hendak menentukan MLE bagi \(\underline{\theta}=(\alpha,\theta)\). Seperti biasa, kita mulai dengan fungsi kemungkinan.
\[\begin{align*} L(\underline{\theta})=\prod_{i=1}^n \frac{1}{\Gamma(\alpha)\theta^\alpha}x_i^{\alpha-1}e^{-\frac{x_i}{\theta}}=\left(\Gamma(\alpha)\right)^{-n}\left(\theta\right)^{-n\alpha}\left(\prod_{i=1}^n x_i^{\alpha-1}\right)e^{-\frac{\sum x_i}{\theta}} \end{align*}\]
Fungsi log-kemungkinannya adalah:
\[\begin{align*} \ell(\underline{\theta})=-n\ln \Gamma(\alpha)-n\alpha \ln \theta+(\alpha-1)\sum \ln x_i-\frac{\sum x_i}{\theta} \end{align*}\]
Langkah berikutnya adalah mengambil turunan terhadap \(\alpha\) dan \(\theta\).
\[\begin{align*} \frac{\partial\ell}{\partial\theta}&=-\frac{n\alpha}{\theta}+\frac{\sum_i x_i}{\theta^2},\\ \frac{\partial\ell}{\partial\alpha}&=-n\psi(\alpha)-n\ln\theta+\sum_i\ln x_i. \end{align*}\]
Langkah berikutnya tentu menyamakan turunan-turunan tersebut dengan nol lalu menyelesaikan parameter, sebab kita mempunyai dua persamaan dan dua peubah yang tidak diketahui. Namun, sebelum melakukannya, mari kita tinjau \(\frac{d}{d\alpha}\Gamma(\alpha)\). Ingat bahwa fungsi gamma pada \(a\) adalah
\[\begin{align*} \Gamma(a)=\int_0^\infty t^{a-1}e^{-t}dt \end{align*}\]
Fungsi gamma dan turunannya terdefinisi dengan baik, tetapi persamaan skor bagi parameter bentuk melibatkan fungsi digamma dan pada umumnya tidak mempunyai solusi bentuk tertutup elementer. Karena itu, setelah hubungan bagi parameter skala diturunkan, persamaan satu dimensi bagi parameter bentuk perlu diselesaikan secara numerik untuk memperoleh MLE.
Kita akan membahas pendugaan kemungkinan maksimum numerik selanjutnya; untuk menentukan MLE secara numerik, kita menggunakan perangkat lunak. Sebelum itu, kita berhenti sejenak dari penentuan MLE untuk memperkenalkan R.
4.5 Ringkasan
Dalam pelajaran ini, kita diperkenalkan pada metode pendugaan kemungkinan maksimum (MLE) sebagai perangkat dasar dalam inferensi statistik. Kita mempelajari cara membentuk fungsi kemungkinan dan fungsi log-kemungkinan berdasarkan model peluang tertentu, serta, apabila memungkinkan, cara menentukan secara analitik nilai parameter yang memaksimumkan fungsi kemungkinan. Kita berlatih menurunkan MLE untuk distribusi diskret maupun kontinu dan meninjau kasus ketika pembatasan himpunan dukungan harus ditangani secara cermat menggunakan fungsi indikator.
Pokok-Pokok Penting:
- Fungsi kemungkinan \(L(\theta_1, \theta_2, \ldots, \theta_m)\) adalah fungsi massa atau kepadatan peluang bersama yang dievaluasi pada sampel teramati dan dipandang sebagai fungsi parameter; fungsi ini bukan distribusi peluang atas parameter.
- Penduga kemungkinan maksimum (MLE) adalah statistik yang, sebagai fungsi sampel acak, memilih nilai parameter \(\theta\) yang memaksimumkan fungsi kemungkinan \(L(\theta)\).
- Sering kali lebih mudah memaksimumkan \(\ell(\theta)=\ln L(\theta)\).