3. Rantai Markov Waktu Diskret

Dalam bagian ini dan beberapa bagian berikutnya, kita membahas proses Markov dengan ruang waktu diskret \( \N \) dan ruang keadaan diskret (terhitung). Ingat bahwa proses Markov dengan ruang keadaan diskret disebut rantai Markov, sehingga yang kita pelajari adalah rantai Markov waktu diskret.

Tinjauan

Kita akan meninjau definisi dan konsep dasar dalam pendahuluan umum. Ketika waktu dan ruang sama-sama diskret, banyak definisi dan konsep tersebut menjadi jauh lebih sederhana. Seperti biasa, titik awal kita adalah ruang probabilitas \( (\Omega, \mathscr{F}, \P) \), dengan \( \Omega \) sebagai ruang sampel, \( \mathscr{F} \) sebagai \( \sigma \)-aljabar kejadian, dan \( \P \) sebagai ukuran probabilitas pada \( (\Omega, \mathscr{F}) \). Misalkan \( \bs{X} = (X_0, X_1, X_2, \ldots)\) adalah proses stokastik yang didefinisikan pada ruang probabilitas tersebut, dengan ruang waktu \( \N \) dan ruang keadaan terhitung \( S \). Dalam konteks pendahuluan umum, \( S \) dilengkapi dengan himpunan kuasa \( \mathscr{P}(S) \) sebagai \( \sigma \)-aljabarnya, sehingga semua himpunan bagian \( S \) terukur, demikian pula semua fungsi dari \( S \) ke ruang terukur lain. Ukuran pencacahan \( \# \) adalah ukuran alami pada \( S \), sehingga integral atas \( S \) hanyalah penjumlahan. Hal yang sama berlaku untuk ruang waktu \( \N \): semua himpunan bagian \( \N \) terukur dan ukuran pencacahan \( \# \) adalah ukuran alami pada \( \N \).

Ruang vektor \( \mathscr{B} \) yang terdiri atas fungsi-fungsi terbatas \( f: S \to \R \) akan memainkan peran penting. Norma yang kita gunakan adalah norma supremum yang didefinisikan oleh \[ \|f\| = \sup\{\left|f(x)\right|: x \in S\}, \quad f \in \mathscr{B} \]

Untuk \( n \in \N \), misalkan \( \mathscr{F}_n = \sigma\{X_0, X_1, \ldots, X_n\} \), yaitu \( \sigma \)-aljabar yang dibangkitkan oleh proses hingga waktu \( n \). Dengan demikian, \( \mathfrak{F} = \{\mathscr{F}_0, \mathscr{F}_1, \mathscr{F}_2, \ldots\} \) adalah filtrasi alami yang berkaitan dengan \( \bs{X} \). Kita juga menetapkan \( \mathscr{G}_n = \sigma\{X_n, X_{n+1}, \ldots\} \), yaitu \( \sigma \)-aljabar yang dibangkitkan oleh proses sejak waktu \( n \) dan seterusnya. Jadi, jika \( n \in \N \) menyatakan waktu sekarang, \( \mathscr{F}_n \) memuat kejadian-kejadian di masa lalu dan \( \mathscr{G}_n \) memuat kejadian-kejadian di masa depan.

Definisi

Kita mulai dengan definisi dasar sifat Markov: masa lalu dan masa depan independen secara bersyarat jika keadaan sekarang diketahui.

Terdapat sejumlah perumusan yang ekuivalen untuk sifat Markov pada rantai Markov waktu diskret. Berikut beberapa di antaranya.

Bagian (a) menyatakan bahwa, untuk \( n \in \N \), fungsi kepadatan probabilitas bersyarat dari \( X_{n+1} \) jika \( \mathscr{F}_n \) diketahui sama dengan fungsi kepadatan probabilitas bersyarat dari \( X_{n+1} \) jika \( X_n \) diketahui. Dalam bentuk nilai harapan, bagian (b) juga menyatakan bahwa distribusi bersyarat dari \( X_{n+1} \) jika \( \mathscr{F}_n \) diketahui sama dengan distribusi bersyarat dari \( X_{n+1} \) jika \( X_n \) diketahui. Kedua bagian tersebut menyatakan sifat Markov untuk satu langkah ke depan. Dalam waktu diskret, sifat satu-langkah ini ekuivalen dengan sifat Markov untuk seluruh masa depan.

Bagian (a) menyatakan bahwa, untuk \( n, \, k \in \N \), fungsi kepadatan probabilitas bersyarat dari \( X_{n+k} \) jika \( \mathscr{F}_n \) diketahui sama dengan fungsi kepadatan probabilitas bersyarat dari \( X_{n+k} \) jika \( X_n \) diketahui. Dalam bentuk nilai harapan, bagian (b) juga menyatakan bahwa distribusi bersyarat dari \( X_{n+k} \) jika \( \mathscr{F}_n \) diketahui sama dengan distribusi bersyarat dari \( X_{n+k} \) jika \( X_n \) diketahui. Dalam waktu dan ruang diskret, sifat Markov juga dapat dinyatakan tanpa merujuk secara eksplisit pada \( \sigma \)-aljabar. Jika Anda belum mengenal teori ukuran, Anda dapat menggunakan pernyataan berikut sebagai definisi awal.

Teori rantai Markov waktu diskret menjadi jauh lebih sederhana jika kita menambahkan satu asumsi lagi.

Artinya, di bawah keluarga ukuran peluang Markov \((\P_x)_{x\in S}\), hukum rantai setelah waktu \(k\) hanya bergantung pada keadaan saat ini dan selang waktu berikutnya. Jadi, hukum masa depan dari keadaan \(x\) diberikan secara konsisten oleh \(\P_x\), tanpa bergantung pada cara rantai mencapai \(x\). Karena itu, distribusi awal sering tidak ditentukan dalam kajian rantai Markov—jika rantai berada pada keadaan \( x \in S \) pada suatu waktu tertentu \( k \in \N \), cara rantai tersebut mencapai keadaan \( x \) sebenarnya tidak penting; proses pada hakikatnya dimulai kembali, secara independen dari masa lalu. Sebagian sumber lama memakai istilah stasioner untuk sifat ini; di sini istilah homogen terhadap waktu dipertahankan agar tidak tertukar dengan stasioneritas distribusi proses.

Mulai sekarang, biasanya kita akan mengasumsikan bahwa rantai Markov yang dibahas bersifat homogen. Hilangnya keumuman akibat asumsi ini tidak sebesar yang mungkin Anda bayangkan. Rantai Markov tak homogen dapat diubah menjadi proses Markov homogen dengan memperbesar ruang keadaan, seperti ditunjukkan dalam pendahuluan tentang proses Markov umum, tetapi dengan konsekuensi memperbesar ruang keadaan menjadi \(S\times\N\), yang tetap terhitung jika \(S\) terhitung. Untuk rantai Markov homogen, jika \(k,n\in\N\) dan \(f\in\mathscr B\), maka, dengan \(P_nf(x)=\E_x[f(X_n)]\), \[ \E[f(X_{k+n})\mid\mathscr F_k]=P_nf(X_k)\quad\text{hampir pasti}. \]

Waktu Henti dan Sifat Markov Kuat

Pertimbangkan kembali proses stokastik \( \bs{X} = (X_0, X_1, X_2, \ldots) \) dengan ruang keadaan terhitung \( S \) dan filtrasi alami \( \mathfrak{F} = (\mathscr{F}_0, \mathscr{F}_1, \mathscr{F}_2, \ldots) \) sebagaimana diberikan di atas. Ingat bahwa peubah acak \( \tau \) yang mengambil nilai dalam \( \N \cup \{\infty\} \) adalah waktu henti atau waktu Markov bagi \( \bs{X} \) jika \( \{\tau = n\} \in \mathscr{F}_n \) untuk setiap \( n \in \N \). Secara intuitif, kita dapat menentukan apakah \( \tau = n \) dengan mengamati rantai hingga waktu \( n \). Dalam suatu pengertian, waktu henti adalah waktu acak yang tidak mengharuskan kita melihat ke masa depan. Hasil berikut memberikan contoh paling khas dari waktu henti.

Contoh waktu acak yang secara umum bukan waktu henti adalah waktu terakhir proses berada di \( A \): \[\zeta_A=\sup\bigl(\{n\in\N_+:X_n\in A\}\cup\{0\}\bigr)\in\N\cup\{\infty\}.\] Kita tidak dapat menentukan \(\zeta_A\) tanpa melihat ke masa depan. Untuk \(n\in\N_+\), \[\{\zeta_A=n\}=\{X_n\in A,X_{n+1}\notin A,X_{n+2}\notin A,\ldots\},\] sedangkan \(\{\zeta_A=0\}=\{X_1\notin A,X_2\notin A,\ldots\}\).

Jika \( \tau \) adalah waktu henti bagi \( \bs{X} \), \( \sigma \)-aljabar yang berkaitan dengan \( \tau \) adalah \[\mathscr F_\tau=\{A\in\mathscr F:A\cap\{\tau=n\}\in\mathscr F_n\ \text{untuk semua }n\in\N\}.\] Secara intuitif, \( \mathscr{F}_\tau \) memuat kejadian-kejadian yang dapat dideskripsikan oleh proses hingga waktu acak \( \tau \), sebagaimana \( \mathscr{F}_n \) memuat kejadian-kejadian yang dapat dideskripsikan oleh proses hingga waktu deterministik \( n \in \N \). Untuk keterangan lebih lanjut, lihat bagian mengenai filtrasi dan waktu henti.

Sifat Markov kuat menyatakan bahwa masa depan independen dari masa lalu jika keadaan sekarang diketahui, ketika waktu sekarang merupakan waktu henti. Untuk rantai Markov waktu diskret yang homogen, sifat Markov biasa menyiratkan sifat Markov kuat.

Bagian (a) menyatakan bahwa fungsi kepadatan probabilitas bersyarat dari \( X_{\tau + k} \) jika \( \mathscr{F}_\tau \) diketahui sama dengan fungsi kepadatan probabilitas bersyarat dari \( X_{\tau + k} \) jika hanya \( X_\tau \) yang diketahui. Dalam bentuk nilai harapan, bagian (b) juga menyatakan bahwa distribusi bersyarat dari \( X_{\tau + k} \) jika \( \mathscr{F}_\tau \) diketahui sama dengan distribusi bersyarat dari \( X_{\tau + k} \) jika hanya \( X_\tau \) yang diketahui. Dengan mengasumsikan homogenitas seperti biasa, untuk setiap \(x\in S\), hukum masa depan rantai setelah \(\tau\), ketika \(X_\tau=x\), diberikan oleh hukum semua-keadaan \(\P_x\) dari \((X_n)_{n\in\N}\). Di bawah hukum semula, identitas bersyarat sebagai fungsi dari \(X_\tau\) berlaku hampir pasti; keluarga \((\P_x)_{x\in S}\) menetapkan versinya secara konsisten untuk semua \(x\).

Matriks Transisi

Misalkan kembali bahwa \( \bs{X} = (X_0, X_1, X_2, \ldots) \) adalah rantai Markov waktu diskret homogen dengan ruang keadaan \( S \). Pada ruang keadaan diskret, kernel transisi yang dipelajari dalam pendahuluan umum menjadi matriks transisi, dengan baris dan kolom yang diindeks oleh \( S \) (sehingga ukurannya mungkin tak hingga). Operasi kernel menjadi operasi matriks yang sudah dikenal. Hasil-hasil pada bagian ini merupakan kasus khusus dari hasil-hasil umum, tetapi kadang-kadang kita memberikan bukti mandiri demi kelengkapan dan karena buktinya lebih sederhana. Anda mungkin perlu meninjau bagian mengenai kernel dalam bab mengenai nilai harapan.

Dengan demikian, \(y\mapsto P_n(x,y)\) adalah fungsi kepadatan probabilitas \(X_n\) di bawah \(\P_x\). Secara khusus, \(P_n\) adalah matriks probabilitas (atau matriks stokastik) karena \(P_n(x,y)\ge0\) untuk \((x,y)\in S^2\) dan \(\sum_{y\in S}P_n(x,y)=1\) untuk \(x\in S\). Seperti setiap matriks nonnegatif pada \(S\), \(P_n\) mendefinisikan kernel pada \(S\) untuk \(n\in\N\): \[ P_n(x,A)=\sum_{y\in A}P_n(x,y)=\P_x(X_n\in A), \qquad x\in S,\ A\subseteq S. \] Jadi, \(A\mapsto P_n(x,A)\) adalah distribusi probabilitas \(X_n\) di bawah \(\P_x\). Hasil berikut adalah persamaan Chapman–Kolmogorov, yang dinamai menurut Sydney Chapman dan Andrei Kolmogorov. Persamaan ini memberikan hubungan dasar antara matriks-matriks transisi.

Segera diperoleh bahwa matriks-matriks transisi hanyalah pangkat matriks dari matriks transisi satu langkah. Artinya, dengan menetapkan \( P = P_1 \), kita memperoleh \( P_n = P^n \) untuk semua \( n \in \N \). Perhatikan bahwa \( P^0 = I \), yaitu matriks identitas pada \( S \) yang diberikan oleh \( I(x, y) = 1 \) jika \( x = y \), dan 0 jika tidak. Operator kanan yang berkaitan dengan \( P^n \) menghasilkan suatu nilai harapan.

Keberadaan nilai harapan hanya menjadi persoalan jika \( S \) tak hingga. Secara khusus, hasil tersebut berlaku jika \( f \) nonnegatif atau jika \( f \in \mathscr{B} \) (yang selalu terpenuhi apabila \( S \) berhingga). Bahkan, \( P^n \) adalah operator kontraksi linear pada ruang \( \mathscr{B} \) untuk \( n \in \N \). Artinya, jika \( f \in \mathscr{B} \), maka \( P^n f \in \mathscr{B} \) dan \( \|P^n f\| \le \|f\| \). Operator kiri yang berkaitan dengan \( P^n \) didefinisikan dengan cara serupa. Untuk \( f: S \to \R \), \[ f P^n(y) = \sum_{x \in S} f(x) P^n(x, y), \quad y \in S \] dengan kembali mengasumsikan bahwa penjumlahannya bermakna (seperti sebelumnya, hal ini hanya menjadi persoalan ketika \( S \) tak hingga). Operator kiri sering dibatasi pada fungsi nonnegatif, dan fungsi semacam itu sering kita pandang sebagai fungsi kepadatan (terhadap \( \# \)) dari suatu ukuran positif pada \( S \). Dalam pengertian ini, operator kiri memetakan suatu fungsi kepadatan ke fungsi kepadatan lainnya.

Jelas bahwa jika \( f \) invarian, sehingga \( f P = f \), maka \( f P^n = f \) untuk semua \( n \in \N \). Jika \( f \) adalah fungsi kepadatan probabilitas, maka \( f P \) juga merupakan fungsi kepadatan probabilitas.

Secara khusus, jika \( X_0 \) memiliki fungsi kepadatan probabilitas \( f \), dan \( f \) invarian terhadap \( \bs{X} \), maka \( X_n \) memiliki fungsi kepadatan probabilitas \( f \) untuk semua \( n \in \N \), sehingga barisan peubah \( \bs{X} = (X_0, X_1, X_2, \ldots) \) berdistribusi identik. Dengan menggabungkan dua hasil di atas, misalkan \( X_0 \) memiliki fungsi kepadatan probabilitas \( f \) dan \( g: S \to \R \). Dengan mengasumsikan nilai harapannya ada, \( \E[g(X_n)] = f P^n g \). Secara eksplisit, \[ \E[g(X_n)] = \sum_{x \in S} \sum_{y \in S} f(x) P^n(x, y) g(y) \] Selain itu, dari hasil sebelumnya diperoleh bahwa distribusi \( X_0 \) (distribusi awal) dan matriks transisi satu langkah menentukan distribusi \( X_n \) untuk setiap \( n \in \N \). Bahkan, besaran-besaran dasar ini menentukan distribusi berdimensi hingga dari proses, suatu hasil yang lebih kuat.

Perhitungan semacam ini merupakan alasan digunakannya istilah rantai dalam nama rantai Markov. Dari hasil ini diperoleh bahwa, jika diberikan matriks probabilitas \( P \) pada \( S \) dan fungsi kepadatan probabilitas \( f \) pada \( S \), kita dapat mengonstruksi rantai Markov \( \bs{X} = (X_0, X_1, X_2, \ldots) \) sedemikian sehingga \( X_0 \) memiliki fungsi kepadatan probabilitas \( f \) dan rantai tersebut memiliki matriks transisi satu langkah \( P \). Dalam masalah terapan, matriks transisi satu langkah \( P \) sering diketahui berdasarkan pertimbangan pemodelan, dan sekali lagi distribusi awal sering tidak ditentukan.

Terdapat graf alami (dalam pengertian kombinatorika) yang berkaitan dengan rantai Markov waktu diskret homogen.

Artinya, terdapat sisi berarah dari \( x \) ke \( y \) jika dan hanya jika keadaan \( x \) menuju keadaan \( y \) dalam satu langkah. Perhatikan bahwa graf tersebut mungkin saja memiliki gelang, karena suatu keadaan tentu dapat kembali ke dirinya sendiri dalam satu langkah. Secara lebih umum, kita memiliki hasil berikut:

Matriks Potensial

Perhatikan bahwa sangat mungkin \( R(x, y) = \infty \) untuk suatu \( (x, y) \in S^2 \). Bahkan, mengetahui kapan hal ini terjadi sangat penting dalam kajian rekurensi dan transiens, yang akan kita pelajari pada bagian berikutnya. Seperti setiap matriks nonnegatif, matriks potensial-\( \alpha \) mendefinisikan suatu kernel serta operator kiri dan kanan. Untuk kernelnya, \[ R_\alpha(x, A) = \sum_{y \in A} R_\alpha(x, y) = \sum_{n=0}^\infty \alpha^n P^n(x, A), \quad x \in S, A \subseteq S \] Secara khusus, \( R(x, A) \) adalah nilai harapan banyaknya kunjungan rantai ke \( A \) ketika dimulai dari \( x \): \[ R(x, A) = \sum_{y \in A} R(x, y) = \sum_{n=0}^\infty P^n(x, A) = \E_x\left[\sum_{n=0}^\infty\bs{1}(X_n\in A)\right], \quad x \in S, \, A \subseteq S \]

Karena itu, \( R_\alpha \) adalah matriks terbatas untuk \( \alpha \in (0, 1) \), dan \( (1 - \alpha) R_\alpha \) adalah matriks probabilitas. Matriks ini memiliki penafsiran sederhana.

Jadi, \( (1 - \alpha) R_\alpha \) dapat dipandang sebagai matriks transisi, sama seperti \( P^n \), tetapi berkaitan dengan waktu acak \( N \) (dengan \( \alpha \) sebagai parameter), bukan waktu deterministik \( n \). Matriks potensial \( R_\alpha \) untuk \( \alpha \in (0, 1) \) juga dapat ditafsirkan secara ekonomi. Misalkan kita menerima satu unit uang setiap kali rantai mengunjungi keadaan tetap \( y \in S\). Maka \( R(x, y) \) adalah nilai harapan imbalan total ketika dimulai dari keadaan \( x \in S \). Namun, uang yang akan kita terima jauh di masa depan biasanya kurang bernilai bagi kita sekarang daripada uang yang akan segera kita terima. Secara khusus, misalkan satu unit uang pada waktu \( n \in \N \) memiliki nilai kini sebesar \( \alpha^n \), sehingga \(\alpha\) adalah faktor diskonto. Maka \( R_\alpha (x, y) \) memberikan nilai harapan imbalan total terdiskonto ketika dimulai dari \( x \in S \).

Tentu saja, sebenarnya kita hanya perlu menentukan \( P \), yaitu kernel transisi satu langkah, karena kernel-kernel transisi lainnya merupakan pangkat dari \( P \). Bagaimanapun, dapat disimpulkan bahwa matriks-matriks \( \bs{R} = \{R_\alpha: \alpha \in (0, 1)\} \), bersama distribusi awal, sepenuhnya menentukan distribusi berdimensi hingga dari rantai Markov \( \bs{X} \). Matriks-matriks potensial komutatif satu sama lain dan dengan matriks-matriks transisi.

Persamaan mendasar yang menghubungkan matriks-matriks potensial diberikan berikut ini.

Hal ini mengarah pada hasil penting: jika \( \alpha \in (0, 1) \), terdapat hubungan invers antara \( P \) dan \( R_\alpha \).

Hasil sebelumnya sekali lagi menunjukkan bahwa matriks potensial \( R_\alpha \) menentukan operator transisi \( P \).

Pengambilan Sampel dalam Waktu

Jika kita mengambil sampel suatu rantai Markov pada kelipatan waktu tetap \( k \), kita memperoleh rantai lain yang juga homogen.

Jika kita mengambil sampel suatu rantai Markov pada barisan umum titik waktu yang menaik \(0=n_0\lt n_1\lt n_2\lt\cdots\) dalam \(\N\), proses stokastik yang dihasilkan \( \bs{Y} = (Y_0, Y_1, Y_2, \ldots)\), dengan \( Y_k = X_{n_k} \) untuk \( k \in \N \), tetap merupakan rantai Markov, tetapi secara umum tidak homogen terhadap waktu.

Ingat bahwa jika \( A \) adalah himpunan bagian tak kosong dari \( S \), maka \( P_A \) adalah matriks \( P \) yang dibatasi pada \( A \times A \). Jadi, \( P_A \) adalah matriks pembatasan substokastik karena jumlah barisnya mungkin kurang dari 1. Ingat pula bahwa \( P_A^n \) berarti \( (P_A)^n \), bukan \( (P^n)_A \); secara umum, kedua matriks ini berbeda.

Artinya, \( P_A^n(x, y) \) adalah probabilitas berpindah dari keadaan \( x \) ke \( y \) dalam \( n \) langkah sambil tetap berada di \( A \) sepanjang waktu. Dalam graf keadaan dari \( \bs{X} \), ini adalah jumlah hasil kali probabilitas di sepanjang lintasan-lintasan sepanjang \( n \) dari \( x \) ke \( y \) yang tetap berada di dalam \( A \).

Contoh dan Penerapan

Latihan Komputasi

Misalkan \( \bs{X} = (X_0, X_1, \ldots) \) adalah rantai Markov pada \( S = \{a, b, c\} \) dengan matriks transisi \[ P = \left[\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{4} & 0 & \frac{3}{4} \\ 1 & 0 & 0 \end{matrix} \right] \]

Rantai Dua Keadaan

Mungkin rantai Markov tak trivial yang paling sederhana memiliki dua keadaan, misalkan \( S = \{0, 1\} \), dan matriks probabilitas transisi yang diberikan di bawah ini, dengan \( p \in (0, 1) \) dan \( q \in (0, 1) \) sebagai parameter. \[ P = \left[ \begin{matrix} 1 - p & p \\ q & 1 - q \end{matrix} \right] \]

Meskipun sederhana, rantai dua keadaan menggambarkan beberapa perilaku limit dasar dan kaitannya dengan distribusi invarian yang akan kita pelajari secara umum pada bagian selanjutnya.

Peubah Independen dan Gerak Acak

Misalkan \( \bs{X} = (X_0, X_1, X_2, \ldots) \) adalah barisan peubah acak independen yang mengambil nilai dalam himpunan terhitung \( S \), dan \( (X_1, X_2, \ldots) \) berdistribusi identik dengan fungsi kepadatan probabilitas (diskret) \( f \).

Sebagai rantai Markov, proses \( \bs{X} \) tidak terlalu menarik, meskipun tentu saja proses ini sangat menarik dalam berbagai hal lain. Sekarang, misalkan \( S = \Z \), yaitu himpunan bilangan bulat, dan pertimbangkan proses jumlah parsial (atau gerak acak) \( \bs{Y} \) yang berkaitan dengan \( \bs{X} \): \[ Y_n = \sum_{i=0}^n X_i, \quad n \in \N \]

Dengan demikian, fungsi kepadatan probabilitas \( f \) menentukan distribusi setiap langkah pejalan acak pada \( \Z \).

Kasus khusus ini adalah gerak acak sederhana pada \( \Z \). Ketika \( p = \frac{1}{2} \), kita memperoleh gerak acak sederhana simetris. Gerak acak sederhana pada \( \Z \) dipelajari lebih terperinci pada bagian selanjutnya dalam bab ini. Gerak acak sederhana simetris dipelajari lebih terperinci dalam bab mengenai percobaan Bernoulli.

Matriks Stokastik Ganda

Diperoleh bahwa jika \( P \) stokastik ganda, maka \( P^n \) juga stokastik ganda untuk \( n \in \N \).

Ingat bahwa matriks \( M \) yang diindeks oleh himpunan terhitung \( S \) disebut simetris jika \( M(x, y) = M(y, x) \) untuk semua \( x, \, y \in S \).

Kebalikannya tidak benar. Matriks stokastik ganda dalam latihan sebelumnya tidak simetris. Namun, karena matriks stokastik simetris pada ruang keadaan berhingga bersifat stokastik ganda, distribusi seragam bersifat invarian.

Model Khusus