1. Pendahuluan Proses Markov Umum

Proses Markov adalah proses acak berindeks waktu yang memiliki sifat bahwa, jika keadaan sekarang diketahui, masa depan independen dari masa lalu. Proses Markov, yang dinamai menurut Andrei Markov, termasuk di antara proses acak yang paling penting. Dalam arti tertentu, proses-proses ini merupakan analog stokastik dari persamaan diferensial dan relasi rekurensi, yang tentu saja termasuk di antara proses deterministik terpenting.

Kerumitan teori proses Markov sangat bergantung pada apakah ruang waktu \( T \) adalah \( \N \) (waktu diskret) atau \( [0, \infty) \) (waktu kontinu), dan apakah ruang keadaannya diskret (terhitung, dengan semua himpunan bagian terukur) atau berupa ruang topologis yang lebih umum. Jika \( T = [0, \infty) \) atau jika ruang keadaannya merupakan ruang umum, asumsi kontinuitas biasanya perlu diberlakukan untuk menyingkirkan berbagai jenis perilaku ganjil yang jika tidak demikian akan memperumit teori.

Jika ruang keadaannya diskret, proses Markov dikenal sebagai rantai Markov. Teori umum rantai Markov kaya secara matematis dan relatif sederhana.

• Jika \( T = \N \) dan ruang keadaannya diskret, proses Markov dikenal sebagai rantai Markov waktu diskret. Teori proses semacam itu anggun dan lengkap secara matematis, serta dapat dipahami dengan ketergantungan minimal pada teori ukuran. Bahkan, perangkat utamanya adalah probabilitas dasar dan aljabar linear. Rantai Markov waktu diskret dipelajari dalam bab ini, bersama sejumlah model khusus.
• Jika \( T = [0, \infty) \) dan ruang keadaannya diskret, proses Markov dikenal sebagai rantai Markov waktu kontinu. Jika beberapa kesulitan teknis (yang, seperti biasa, timbul karena ruang waktu kontinu) dikesampingkan, teori proses-proses ini juga cukup sederhana dan sangat baik secara matematis. Sifat Markov menyiratkan bahwa proses yang diambil sampelnya pada waktu acak ketika keadaan berubah membentuk rantai Markov waktu diskret tertanam, sehingga kita dapat menerapkan teori yang sudah dipelajari. Untuk rantai homogen waktu kontinu yang reguler, waktu tinggal pada keadaan dengan laju positif memiliki sifat tanpa memori sehingga berdistribusi eksponensial, suatu distribusi yang sudah kita kenal baik. Dalam kaitannya dengan materi yang mungkin sudah Anda pelajari, proses Poisson merupakan contoh sederhana rantai Markov waktu kontinu.

Untuk ruang keadaan umum, teorinya lebih rumit dan teknis, seperti dikemukakan di atas. Namun, kita dapat membedakan dua kelas proses Markov, sekali lagi bergantung pada apakah ruang waktunya diskret atau kontinu.

• Jika \( T = \N \) dan \( S \ = \R \), contoh sederhana proses Markov adalah proses jumlah parsial yang berkaitan dengan barisan peubah acak bernilai riil yang independen dan berdistribusi identik. Barisan semacam ini dipelajari dalam bab mengenai sampel acak (tetapi bukan sebagai proses Markov), dan dibahas kembali di bawah.
• Untuk kasus \( T = [0, \infty) \) dan \( S = \R\), atau secara lebih umum \(S = \R^k \), proses Markov terpenting adalah proses difusi. Secara umum, proses semacam ini dapat dikonstruksi melalui persamaan diferensial stokastik dari gerak Brown, yang dengan demikian menjadi contoh utama proses Markov dalam waktu dan ruang kontinu.

Tujuan bagian ini adalah memberikan gambaran luas tentang teori umum proses Markov. Sebagian pernyataan tidak sepenuhnya ketat, dan sebagian bukti dihilangkan atau hanya berupa sketsa, karena kita ingin menekankan gagasan utama tanpa terperosok dalam rincian teknis. Jika Anda baru mempelajari probabilitas, Anda mungkin sebaiknya sekadar menelusuri bagian ini untuk mengenal gagasan dan notasi dasar, sambil melewati bukti dan rincian teknis. Setelah itu, lanjutkan ke pembahasan rantai Markov waktu diskret. Sebaliknya, untuk memahami bagian ini secara lebih mendalam, Anda perlu meninjau kembali topik-topik dalam bab mengenai landasan serta bagian mengenai proses stokastik dan waktu henti.

Teori Dasar

Pendahuluan

Seperti biasa, titik awal kita adalah ruang probabilitas \( (\Omega, \mathscr{F}, \P) \), dengan \( \Omega \) sebagai himpunan hasil, \( \mathscr{F} \) sebagai \( \sigma \)-aljabar kejadian, dan \( \P \) sebagai ukuran probabilitas pada \( (\Omega, \mathscr{F}) \). Himpunan waktu \( T \) adalah \( \N \) (waktu diskret) atau \( [0, \infty) \) (waktu kontinu). Dalam kasus pertama, \( T \) dilengkapi dengan topologi diskret, sedangkan dalam kasus kedua \( T \) dilengkapi dengan topologi Euklides biasa. Dalam kedua kasus, \( T \) dilengkapi dengan \( \sigma \)-aljabar Borel \( \mathscr{T} \), yakni \( \sigma \)-aljabar yang dibangkitkan oleh himpunan-himpunan terbuka. Dalam kasus diskret ketika \( T = \N \), ini hanyalah himpunan kuasa dari \( T \), sehingga setiap himpunan bagian dari \( T \) terukur; setiap fungsi dari \( T \) ke ruang terukur lain bersifat terukur; dan setiap fungsi dari \( T \) ke ruang topologis lain bersifat kontinu. Ruang waktu \( (T, \mathscr{T}) \) memiliki ukuran alami, yaitu ukuran pencacahan \( \# \) dalam kasus diskret dan ukuran Lebesgue dalam kasus kontinu.

Himpunan keadaan \( S \) juga memiliki \( \sigma \)-aljabar \( \mathscr{S} \) yang terdiri atas himpunan bagian yang diperbolehkan, sehingga \( (S, \mathscr{S}) \) merupakan ruang keadaan. Biasanya \( S \) memiliki topologi dan \( \mathscr{S} \) adalah \( \sigma \)-aljabar Borel yang dibangkitkan oleh himpunan-himpunan terbuka. Asumsi yang lazim adalah bahwa topologi pada \( S \) bersifat LCCB: kompak lokal, Hausdorff, dan memiliki basis terhitung. Asumsi-asumsi khusus ini cukup umum untuk mencakup semua proses terpenting yang muncul dalam penerapan, tetapi juga cukup membatasi untuk menghasilkan teori matematika yang baik. Biasanya terdapat ukuran positif alami \( \lambda \) pada ruang keadaan \( (S, \mathscr{S}) \). Jika \( S \) memiliki topologi LCCB dan \( \mathscr{S} \) adalah \( \sigma \)-aljabar Borel, ukuran \( \lambda \) biasanya merupakan ukuran Borel yang memenuhi \( \lambda(C) \lt \infty \) jika \( C \subseteq S \) kompak. Istilah ruang keadaan diskret berarti bahwa \( S \) terhitung dengan \( \mathscr{S} = \mathscr{P}(S) \), yaitu koleksi semua himpunan bagian dari \( S \). Jadi, setiap himpunan bagian dari \( S \) terukur, demikian pula setiap fungsi dari \( S \) ke ruang terukur lain. Ini adalah \( \sigma \)-aljabar Borel untuk topologi diskret pada \( S \), sehingga setiap fungsi dari \( S \) ke ruang topologis lain kontinu. Himpunan kompak hanyalah himpunan berhingga, dan ukuran acuannya adalah \( \# \), yaitu ukuran pencacahan. Jika \(S=\R^k\) untuk suatu \(k\in\N_+\) (kasus umum lainnya), biasanya kita melengkapi \( S \) dengan topologi Euklides (yang bersifat LCCB), sehingga \( \mathscr{S} \) merupakan \( \sigma \)-aljabar Borel biasa. Himpunan kompak adalah himpunan tertutup dan terbatas, sedangkan ukuran acuan \( \lambda \) adalah ukuran Lebesgue berdimensi \( k \).

Jelas bahwa struktur topologis dan ukuran pada \( T \) sebenarnya tidak diperlukan ketika \( T = \N \), dan demikian pula struktur-struktur ini pada \( S \) tidak diperlukan ketika \( S \) terhitung. Namun, pokok utamanya adalah bahwa asumsi-asumsi tersebut menyatukan kasus diskret dan kasus kontinu yang umum. Perlu pula dicatat bahwa ruang keadaan yang jauh lebih umum (dan ruang waktu yang lebih umum) dimungkinkan, tetapi sebagian besar proses Markov penting yang muncul dalam penerapan sesuai dengan kerangka yang telah kita uraikan di sini.

Berbagai ruang fungsi bernilai riil pada \( S \) memainkan peran penting. Misalkan \( \mathscr{B} \) menyatakan koleksi fungsi terbatas dan terukur \( f: S \to \R \). Dengan penjumlahan dan perkalian skalar biasa (secara titik demi titik), \( \mathscr{B} \) merupakan ruang vektor. Kita melengkapi \( \mathscr{B} \) dengan norma supremum, yang didefinisikan oleh \( \|f\| = \sup\{\left|f(x)\right|: x \in S\} \).

Sekarang, misalkan \( \bs{X} = \{X_t: t \in T\} \) adalah proses stokastik pada \( (\Omega, \mathscr{F}, \P) \) dengan ruang keadaan \( S \) dan ruang waktu \( T \). Jadi, \( X_t \) adalah peubah acak yang mengambil nilai dalam \( S \) untuk setiap \( t \in T \), dan kita memandang \( X_t \in S \) sebagai keadaan suatu sistem pada waktu \( t \in T\). Kita juga mengasumsikan adanya koleksi \(\mathfrak{F} = \{\mathscr{F}_t: t \in T\}\) yang terdiri atas \( \sigma \)-aljabar dengan sifat bahwa \( X_t \) terukur terhadap \( \mathscr{F}_t \) untuk \( t \in T \), dan \( \mathscr{F}_s \subseteq \mathscr{F}_t \subseteq \mathscr{F} \) untuk \( s, \, t \in T \) dengan \( s \le t \). Secara intuitif, \( \mathscr{F}_t \) adalah koleksi kejadian hingga waktu \( t \in T \). Secara teknis, asumsi-asumsi tersebut berarti bahwa \( \mathfrak{F} \) merupakan filtrasi dan proses \( \bs{X} \) teradaptasi terhadap \( \mathfrak{F} \). Filtrasi yang paling mendasar (dan paling kasar) adalah filtrasi alami \( \mathfrak{F}^0 = \left\{\mathscr{F}^0_t: t \in T\right\} \), dengan \( \mathscr{F}^0_t = \sigma\{X_s: s \in T, s \le t\} \), yakni \( \sigma \)-aljabar yang dibangkitkan oleh proses hingga waktu \( t \in T \). Namun, dalam waktu kontinu, sering kali perlu digunakan \( \sigma \)-aljabar yang sedikit lebih halus agar diperoleh teori matematika yang baik. Secara khusus, kita sering perlu mengasumsikan bahwa filtrasi \( \mathfrak{F} \) kontinu kanan, dalam arti \( \mathscr{F}_{t+} = \mathscr{F}_t \) untuk \( t \in T \), dengan \(\mathscr{F}_{t+} = \bigcap\{\mathscr{F}_s: s \in T, s \gt t\} \). Hal ini dapat dicapai dengan mengambil \( \mathfrak{F} = \mathfrak{F}^0_+ \), sehingga \( \mathscr{F}_t = \mathscr{F}^0_{t+} \) untuk \( t \in T \); dalam hal ini, \( \mathfrak{F} \) disebut penyempurnaan kontinu kanan dari filtrasi alami. Kadang-kadang kita juga perlu mengasumsikan bahwa \( \mathfrak{F} \) lengkap terhadap \( \P \), dalam arti bahwa jika \(A\in\mathscr F\) dengan \(\P(A)=0\) dan \( B \subseteq A \), maka \( B \in \mathscr{F}_0 \). Artinya, \( \mathscr{F}_0 \) memuat semua kejadian nol (dan karena itu juga semua kejadian hampir pasti), dan dengan demikian \( \mathscr{F}_t \) pun memuatnya untuk semua \( t \in T \).

Definisi

Syarat yang mendefinisikan ini, yang tepat disebut sifat Markov, menyatakan bahwa distribusi bersyarat dari \( X_{s+t} \) jika \( \mathscr{F}_s \) diketahui sama dengan distribusi bersyarat dari \( X_{s+t} \) jika hanya \( X_s \) yang diketahui. Pandanglah \( s \) sebagai waktu sekarang, sehingga \( s + t \) adalah suatu waktu di masa depan. Jika kita mengetahui keadaan sekarang \( X_s \), pengetahuan tambahan apa pun mengenai kejadian masa lalu tidak relevan untuk memprediksi keadaan mendatang \( X_{s + t} \). Secara teknis, probabilitas bersyarat dalam definisi tersebut adalah peubah acak, dan kesamaannya harus ditafsirkan berlaku dengan probabilitas 1. Seperti mungkin Anda ingat, nilai harapan bersyarat merupakan konsep yang lebih umum dan berguna daripada probabilitas bersyarat, sehingga teorema berikut mungkin tidak mengejutkan.

Secara teknis, kita seharusnya mengatakan bahwa \( \bs{X} \) adalah proses Markov relatif terhadap filtrasi \( \mathfrak{F} \). Jika \( \bs{X} \) memenuhi sifat Markov relatif terhadap suatu filtrasi, proses ini memenuhi sifat Markov relatif terhadap setiap filtrasi yang lebih kasar.

Secara khusus, jika \( \bs{X} \) merupakan proses Markov, maka \( \bs{X} \) memenuhi sifat Markov relatif terhadap filtrasi alami \( \mathfrak{F}^0 \). Teori proses Markov menjadi jauh lebih sederhana jika kita menambahkan satu asumsi lagi.

Jadi, jika \( \bs{X} \) homogen (biasanya kita tidak menyertakan keterangan terhadap waktu), maka proses \( \{X_{s+t}: t \in T\} \) dengan syarat \( X_s = x \) ekuivalen (dalam distribusi) dengan proses \( \{X_t: t \in T\} \) dengan syarat \( X_0 = x \). Oleh karena itu, distribusi awal sering kali tidak ditentukan dalam kajian proses Markov—jika proses berada pada keadaan \( x \in S \) pada waktu tertentu \( s \in T \), tidak terlalu penting bagaimana proses sampai ke keadaan \( x \); pada dasarnya proses dimulai kembali, secara independen dari masa lalu. Istilah stasioner kadang-kadang digunakan sebagai pengganti homogen.

Mulai sekarang, biasanya kita akan mengasumsikan bahwa proses Markov yang dibahas bersifat homogen. Hilangnya keumuman tidak sebesar yang mungkin Anda bayangkan. Proses takhomogen dapat diubah menjadi proses homogen dengan memperluas ruang keadaan, seperti ditunjukkan dalam latihan . Untuk proses Markov homogen, jika \( s, \, t \in T \), \( x \in S \), dan \( f \in \mathscr{B}\), maka \[ \E[f(X_{s+t}) \mid X_s = x] = \E[f(X_t) \mid X_0 = x] \]

Proses Feller

Dalam waktu kontinu atau pada ruang keadaan umum, proses Markov dapat berperilaku sangat ganjil tanpa asumsi kontinuitas tambahan. Misalkan (seperti biasanya) \( S \) memiliki topologi LCCB dan \( \mathscr{S} \) adalah \( \sigma \)-aljabar Borel. Misalkan \( \mathscr{C} \) menyatakan koleksi fungsi terbatas dan kontinu \( f: S \to \R \). Misalkan \( \mathscr{C}_0 \) menyatakan koleksi fungsi kontinu \( f: S \to \R \) yang lenyap di \(\infty\). Frasa terakhir berarti bahwa untuk setiap \( \epsilon \gt 0 \), terdapat himpunan kompak \( C \subseteq S \) sedemikian sehingga \( \left|f(x)\right| \lt \epsilon \) jika \( x \notin C \). Dengan operasi penjumlahan dan perkalian skalar biasa (secara titik demi titik), \( \mathscr{C}_0 \) merupakan subruang vektor dari \( \mathscr{C} \), yang selanjutnya merupakan subruang vektor dari \( \mathscr{B} \). Seperti pada \( \mathscr{B} \), norma supremum digunakan untuk \( \mathscr{C} \) dan \( \mathscr{C}_0 \).

Proses Feller dinamai menurut William Feller. Syarat waktu otomatis jika \(T\) diskret. Syarat ruang otomatis pada ruang keadaan diskret berhingga, tetapi tetap harus diperiksa pada ruang diskret tak berhingga; karena itu, tidak setiap rantai waktu diskret pada ruang tak berhingga bersifat Feller. Tentu ada proses Markov yang lebih umum, tetapi sebagian besar proses penting yang muncul dalam penerapan adalah proses Feller, dan sejumlah sifat yang baik merupakan konsekuensi dari asumsi-asumsi tersebut. Berikut adalah yang pertama:

Sekali lagi, hasil ini hanya menarik dalam waktu kontinu \( T = [0, \infty) \). Ingat bahwa untuk \( \omega \in \Omega \), fungsi \( t \mapsto X_t(\omega) \) merupakan lintasan sampel proses tersebut. Karena kita mengetahui bahwa ada versi dengan sifat-sifat ini, kita sering akan mengasumsikan bahwa proses Markov Feller memiliki lintasan sampel yang kontinu kanan dan memiliki limit kiri.

Waktu Henti dan Sifat Markov Kuat

Untuk pembahasan berikutnya, Anda mungkin perlu meninjau kembali bagian mengenai filtrasi dan waktu henti. Sebagai tinjauan singkat, misalkan sekali lagi kita mulai dengan ruang probabilitas \( (\Omega, \mathscr{F}, \P) \) dan filtrasi \( \mathfrak{F} = \{\mathscr{F}_t: t \in T\} \) (sehingga kita memiliki ruang probabilitas berfiltrasi).

Karena waktu (masa lalu, sekarang, dan masa depan) memainkan peran begitu mendasar dalam proses Markov, tidak mengherankan bahwa waktu acak itu penting. Kita sering perlu mengizinkan waktu acak mengambil nilai \( \infty \), sehingga himpunan waktu perlu diperluas menjadi \( T_\infty = T \cup \{\infty\} \). Topologi pada \( T \) diperluas ke \( T_\infty \) dengan kaidah bahwa untuk \( s \in T \), himpunan \( \{t \in T_\infty: t \gt s\} \) merupakan lingkungan terbuka dari \( \infty \). Ini adalah kompaktifikasi satu titik dari \( T \), yang digunakan agar pengertian waktu yang menuju tak hingga tetap dipertahankan. \( \sigma \)-aljabar Borel \( \mathscr{T}_\infty \) digunakan pada \( T_\infty \), yang sekali lagi hanyalah himpunan kuasa dalam kasus diskret.

Jika \( \bs{X} = \{X_t: t \in T\} \) adalah proses stokastik pada ruang sampel \( (\Omega, \mathscr{F}) \), dan jika \( \tau \) merupakan waktu acak, kita secara alami ingin mempertimbangkan keadaan \( X_\tau \) pada waktu acak tersebut. Ada dua masalah. Pertama, jika \( \tau \) mengambil nilai \( \infty \), \( X_\tau \) tidak terdefinisi. Penyelesaian yang lazim adalah menambahkan keadaan kematian baru \( \delta \) ke himpunan keadaan \( S \), kemudian melengkapi \( S_\delta = S \cup \{\delta\} \) dengan \( \sigma \)-aljabar \( \mathscr{S}_\delta = \mathscr{S} \cup \{A \cup \{\delta\}: A \in \mathscr{S}\} \). Fungsi \( f \in \mathscr{B} \) diperluas ke \( S_\delta \) dengan kaidah \( f(\delta) = 0 \). Masalah kedua adalah bahwa \( X_\tau \) mungkin bukan peubah acak yang sah (yakni terukur), kecuali kita mengasumsikan bahwa proses stokastik \( \bs{X} \) terukur. Ingat bahwa ini berarti \( \bs{X}: \Omega \times T \to S \) terukur relatif terhadap \( \mathscr{F} \otimes \mathscr{T} \) dan \( \mathscr{S} \). (Hal ini selalu benar dalam waktu diskret.)

Selanjutnya, ingat bahwa waktu acak \( \tau \) adalah waktu henti (juga disebut waktu Markov atau waktu opsional) relatif terhadap \( \mathfrak{F} \) jika \( \{\tau \le t\} \in \mathscr{F}_t \) untuk setiap \( t \in T \). Secara intuitif, kita dapat mengetahui apakah \( \tau \le t \) dari informasi yang tersedia bagi kita pada waktu \( t \). Dalam arti tertentu, waktu henti adalah waktu acak yang tidak mengharuskan kita melihat ke masa depan. Tentu saja, konsep ini sangat bergantung pada filtrasi. Ingat bahwa jika waktu acak \( \tau \) merupakan waktu henti untuk filtrasi \( \mathfrak{F} = \{\mathscr{F}_t: t \in T\} \), maka \(\tau\) juga merupakan waktu henti untuk filtrasi yang lebih halus \( \mathfrak{G} = \{\mathscr{G}_t: t \in T\} \), sehingga \( \mathscr{F}_t \subseteq \mathscr{G}_t \) untuk \( t \in T \). Jadi, makin halus filtrasinya, makin besar koleksi waktu hentinya. Bahkan, jika filtrasi tersebut adalah filtrasi informasi penuh yang konstan dengan \(\mathscr F_t=\mathscr F\) untuk semua \(t\in T\) (sehingga semua informasi tersedia bagi kita sejak awal waktu), maka setiap waktu acak merupakan waktu henti. Namun, tentu saja filtrasi informasi penuh yang konstan ini biasanya tidak masuk akal.

Berikutnya, ingat bahwa jika \( \tau \) merupakan waktu henti untuk filtrasi \( \mathfrak{F} \), maka \( \sigma \)-aljabar \( \mathscr{F}_\tau \) yang berkaitan dengan \( \tau \) diberikan oleh \[ \mathscr{F}_\tau = \left\{A \in \mathscr{F}: A \cap \{\tau \le t\} \in \mathscr{F}_t \text{ untuk setiap } t \in T\right\} \] Secara intuitif, \( \mathscr{F}_\tau \) adalah koleksi kejadian hingga waktu acak \( \tau \), analog dengan \( \mathscr{F}_t \), yaitu koleksi kejadian hingga waktu deterministik \( t \in T \). Jika \( \bs{X} = \{X_t: t \in T\} \) merupakan proses stokastik yang teradaptasi terhadap \( \mathfrak{F} \), dan jika \( \tau \) merupakan waktu henti relatif terhadap \( \mathfrak{F} \), kita berharap \( X_\tau \) terukur terhadap \( \mathscr{F}_\tau \), sebagaimana \( X_t \) terukur terhadap \( \mathscr{F}_t \) untuk \( t \in T \) deterministik. Namun, secara umum hal ini tidak berlaku kecuali \( \bs{X} \) terukur progresif relatif terhadap \( \mathfrak{F} \), yang berarti bahwa \( \bs{X}: \Omega \times T_t \to S \) terukur terhadap \( \mathscr{F}_t \otimes \mathscr{T}_t \) dan \( \mathscr{S} \), dengan \( T_t = \{s \in T: s \le t\} \) dan \( \mathscr{T}_t \) sebagai \( \sigma \)-aljabar Borel yang bersesuaian. Tentu saja, hal ini selalu benar dalam waktu diskret, dan secara lebih umum jika \( S \) memiliki topologi LCCB dengan \( \mathscr{S} \) sebagai \( \sigma \)-aljabar Borel, serta \( \bs{X} \) kontinu kanan. Jika \( \bs{X} \) terukur progresif terhadap \( \mathfrak{F} \), maka \( \bs{X} \) terukur dan \( \bs{X} \) teradaptasi terhadap \( \mathfrak{F} \).

Sifat Markov kuat untuk proses stokastik \( \bs{X} = \{X_t: t \in T\} \) menyatakan bahwa masa depan independen dari masa lalu jika keadaan sekarang diketahui, ketika waktu sekarang merupakan waktu henti.

Seperti sifat Markov biasa, sifat Markov kuat bergantung pada filtrasi yang mendasari \( \mathfrak{F} \). Jika sifat tersebut berlaku terhadap suatu filtrasi tertentu, sifat itu juga berlaku terhadap filtrasi yang lebih kasar.

Jadi, jika \( \bs{X} \) merupakan proses Markov kuat, maka \( \bs{X} \) memenuhi sifat Markov kuat relatif terhadap filtrasi alaminya. Sekali lagi ada kompromi: filtrasi yang lebih halus memungkinkan lebih banyak waktu henti (umumnya hal yang baik), tetapi membuat sifat Markov kuat lebih sulit dipenuhi dan mungkin tidak wajar (hal yang kurang baik). Karena itu, biasanya kita tidak menginginkan filtrasi yang jauh lebih halus daripada filtrasi alami.

Dengan sifat Markov kuat dan sifat homogen, proses \( \{X_{\tau + t}: t \in T\} \) dengan syarat \( X_\tau = x \) ekuivalen dalam distribusi dengan proses \( \{X_t: t \in T\} \) dengan syarat \( X_0 = x \). Jelas bahwa sifat Markov kuat menyiratkan sifat Markov biasa, karena waktu tetap \( t \in T \) dengan sendirinya juga merupakan waktu henti. Kebalikannya berlaku dalam waktu diskret.

Seperti biasa dalam waktu kontinu, situasinya lebih rumit dan bergantung pada kontinuitas proses \( \bs{X} \) dan filtrasi \( \mathfrak{F} \). Berikut adalah hasil baku untuk proses Feller.

Kernel Transisi Proses Markov

Untuk pembahasan berikutnya, Anda mungkin perlu meninjau bagian mengenai kernel dan operator dalam bab mengenai nilai harapan. Misalkan sekali lagi bahwa \( \bs{X} = \{X_t: t \in T\} \) adalah proses Markov (homogen) dengan ruang keadaan \( S \) dan ruang waktu \( T \), seperti diuraikan di atas. Kernel dalam definisi berikut sangat penting dalam kajian \( \bs{X} \)

Artinya, \( P_t(x, \cdot) \) adalah distribusi bersyarat dari \( X_t \) dengan syarat \( X_0 = x \), untuk \( t \in T \) dan \( x \in S \). Berdasarkan sifat homogen terhadap waktu, \( P_t(x, \cdot) \) juga merupakan distribusi bersyarat dari \( X_{s + t} \) dengan syarat \( X_s = x \), untuk \( s \in T \): \[ P_t(x, A) = \P(X_{s+t} \in A \mid X_s = x), \quad s, \, t \in T, \, x \in S, \, A \in \mathscr{S} \] Perhatikan bahwa \( P_0 = I \), yaitu kernel identitas pada \( (S, \mathscr{S}) \) yang didefinisikan oleh \( I(x, A) = \bs{1}(x \in A) \) untuk \( x \in S \) dan \( A \in \mathscr{S} \), sehingga \( I(x, A) = 1 \) jika \( x \in A \) dan \( I(x, A) = 0 \) jika \( x \notin A \). Ingat pula bahwa biasanya terdapat ukuran acuan alami \( \lambda \) pada \( (S, \mathscr{S}) \). Untuk waktu \(t\) ketika \(P_t(x,\cdot)\ll\lambda\) bagi setiap \(x\), kernel transisi memiliki kepadatan transisi \(p_t\) terhadap \(\lambda\). Pada ruang tak-atom, ini biasanya hanya berlaku untuk \(t>0\), sebab \(P_0=I\) tidak mutlak kontinu terhadap \(\lambda\). Artinya, \[ P_t(x, A) = \P(X_t \in A \mid X_0 = x) = \int_A p_t(x, y) \lambda(dy), \quad x \in S, \, A \in \mathscr{S} \] Teorema berikut memberikan persamaan Chapman–Kolmogorov, yang dinamai menurut Sydney Chapman dan Andrei Kolmogorov. Persamaan ini merupakan hubungan mendasar antara kernel-kernel probabilitas dan menjadi alasan digunakannya nama kernel transisi.

Dalam bahasa analisis fungsional, \( \bs{P} \) adalah semigrup. Ingat bahwa sifat komutatif umumnya tidak berlaku untuk operasi perkalian kernel. Namun, sifat ini berlaku untuk kernel transisi proses Markov homogen. Artinya, \( P_s P_t = P_t P_s = P_{s+t} \) untuk \( s, \, t \in T \). Jika ketiga kernel yang terlibat mutlak kontinu terhadap ukuran acuan, hubungan dasar yang sama berlaku bagi kelas kepadatan transisinya.

Jika \( T = \N \) (waktu diskret), kernel transisi dari \( \bs{X} \) hanyalah pangkat-pangkat dari kernel transisi satu langkah. Artinya, jika kita menetapkan \( P = P_1 \), maka \( P_n = P^n \) untuk \( n \in \N \).

Ingat bahwa suatu kernel mendefinisikan dua operasi: beroperasi di sebelah kiri pada ukuran positif di \( (S, \mathscr{S}) \), dan beroperasi di sebelah kanan pada fungsi terukur bernilai riil. Untuk kernel transisi proses Markov, kedua operator ini memiliki tafsiran alami.

Jadi, jika \( \mathscr{P} \) menyatakan koleksi ukuran probabilitas pada \( (S, \mathscr{S}) \), operator kiri \( P_t \) memetakan \( \mathscr{P} \) kembali ke \( \mathscr{P} \). Secara khusus, jika \( X_0 \) memiliki distribusi \( \mu_0 \) (distribusi awal), maka \( X_t \) memiliki distribusi \( \mu_t = \mu_0 P_t \) untuk setiap \( t \in T \).

Karena itu, jika \( \mu \) adalah ukuran probabilitas yang invarian untuk \( \bs{X} \), dan \( X_0 \) memiliki distribusi \( \mu \), maka \( X_t \) memiliki distribusi \( \mu \) untuk setiap \( t \in T \), sehingga distribusi proses \( \bs{X} \) sama pada setiap waktu. Dalam waktu diskret, perhatikan bahwa jika \( \mu \) adalah ukuran positif dan \( \mu P = \mu \), maka \( \mu P^n = \mu \) untuk setiap \( n \in \N \), sehingga \( \mu \) invarian untuk \( \bs{X} \). Operator kanan diberikan berikut ini.

Secara khusus, operator kanan \( P_t \) didefinisikan pada \( \mathscr{B} \), yaitu ruang vektor fungsi terbatas dan terukur \(f:S\to\R\), dan sesungguhnya merupakan operator linear pada \( \mathscr{B} \). Artinya, jika \( f, \, g \in \mathscr{B} \) dan \( c \in \R \), maka \( P_t(f + g) = P_t f + P_t g \) dan \( P_t(c f) = c P_t f \). Lebih lanjut, \( P_t \) merupakan operator kontraksi pada \( \mathscr{B} \), karena \( \left\|P_t f\right\| \le \|f\| \) untuk \( f \in \mathscr{B} \). Dengan demikian, \( P_t \) merupakan operator kontinu pada \( \mathscr{B} \) untuk \( t \in T \).

Untuk operator kanan, terdapat konsep yang melengkapi invariansi ukuran positif bagi operator kiri.

Sekali lagi, dalam waktu diskret, jika \( P f = f \), maka \( P^n f = f \) untuk semua \( n \in \N \), sehingga \( f \) harmonik untuk \( \bs{X} \).

Dengan menggabungkan dan , jika \( X_0 \) memiliki distribusi \( \mu_0 \) dan \( f: S \to \R \) terukur, maka (sekali lagi dengan mengasumsikan nilai harapannya ada), \( \mu_0 P_t f = \E[f(X_t)] \) untuk \( t \in T \). Artinya, \[ \E[f(X_t)] = \int_S \mu_0(dx) \int_S P_t(x, dy) f(y) \]

Hasil menunjukkan cara memperoleh distribusi \( X_t \) dari distribusi \( X_0 \) dan kernel transisi \( P_t \) untuk \( t \in T \). Namun, kita dapat melakukan lebih banyak. Ingat bahwa salah satu cara dasar untuk mendeskripsikan proses stokastik adalah memberikan distribusi berdimensi hingganya, yaitu distribusi dari \( \left(X_{t_1}, X_{t_2}, \ldots, X_{t_n}\right) \) untuk setiap \( n \in \N_+ \) dan setiap \( (t_1, t_2, \ldots, t_n) \in T^n \). Untuk proses Markov, distribusi awal dan kernel transisi menentukan distribusi berdimensi hingga. Distribusi tersebut paling mudah dinyatakan dalam bentuk diferensial.

Hasil ini sangat penting untuk mengonstruksi proses Markov. Jika kita mengetahui cara mendefinisikan kernel transisi \( P_t \) untuk \( t \in T \) (misalnya berdasarkan pertimbangan pemodelan), dan jika kita mengetahui distribusi awal \( \mu_0 \), maka hasil terakhir memberikan himpunan distribusi berdimensi hingga yang konsisten. Jika \((S,\mathscr S)\) merupakan ruang Borel standar, teorema konstruksi Kolmogorov menjamin bahwa terdapat proses stokastik yang memiliki distribusi berdimensi hingga tersebut. Namun, dalam waktu kontinu masih ada dua masalah serius. Pertama, tidak jelas bagaimana kita akan mengonstruksi kernel transisi agar persamaan Chapman–Kolmogorov yang krusial dalam terpenuhi. Kedua, biasanya kita menginginkan proses Markov memiliki sifat-sifat tertentu (seperti sifat kontinuitas lintasan sampel) yang melampaui distribusi berdimensi hingga. Masalah pertama akan dibahas dalam bagian berikutnya, dan untungnya masalah kedua dapat diselesaikan untuk proses Feller.

Semigrup kernel probabilitas \( \bs{P} = \{P_t: t \in T\} \) yang memenuhi sifat-sifat dalam teorema ini disebut semigrup Feller. Jadi, menyatakan bahwa proses Markov \(\bs{X}\) bersifat Feller jika dan hanya jika semigrup transisi \(\bs P\) bersifat Feller. Syarat waktu otomatis dalam waktu diskret; syarat pemetaan \(\mathscr C_0\) otomatis hanya pada ruang diskret berhingga dan harus diperiksa pada ruang diskret tak berhingga. Syarat (a) berarti bahwa \( P_t \) merupakan operator pada ruang vektor \( \mathscr{C}_0 \), selain merupakan operator pada ruang yang lebih besar \( \mathscr{B} \). Syarat (b) sebenarnya menyiratkan bentuk kontinuitas dalam waktu yang lebih kuat.

Jadi, jika digabungkan dengan keterangan di atas, perhatikan bahwa jika \( \bs{P} \) adalah semigrup Feller dari operator transisi, maka \( f \mapsto P_t f \) kontinu pada \( \mathscr{C}_0 \) untuk \( t \in T \) tetap, dan \( t \mapsto P_t f \) kontinu pada \( T \) untuk \( f \in \mathscr{C}_0 \) tetap. Sekali lagi, hal ini penting karena kita sering memulai dengan koleksi kernel probabilitas \( \bs{P} \) dan ingin mengetahui bahwa terdapat proses Markov yang baik \( \bs{X} \) dengan operator transisi tersebut.

Pengambilan Sampel dalam Waktu

Jika kita mengambil sampel suatu proses Markov pada barisan titik waktu yang meningkat, kita memperoleh proses Markov lain dalam waktu diskret. Namun, proses waktu diskret tersebut mungkin tidak homogen meskipun proses asalnya homogen.

Jika kita mengambil sampel dari proses Markov homogen pada kelipatan waktu positif yang tetap, kita memperoleh proses Markov homogen dalam waktu diskret.

Dalam beberapa kasus, pengambilan sampel dari proses Markov kuat pada barisan waktu henti yang meningkat menghasilkan proses Markov lain dalam waktu diskret. Pokoknya adalah bahwa proses Markov waktu diskret sering ditemukan tertanam secara alami dalam proses Markov waktu kontinu.

Memperluas Ruang Keadaan

Hasil pertama dalam pembahasan ini adalah bahwa proses Markov takhomogen dapat diubah menjadi proses Markov homogen, tetapi sebagai konsekuensinya ruang keadaan harus diperluas.

Trik memperluas ruang keadaan merupakan cara yang lazim dalam kajian proses stokastik. Kadang-kadang suatu proses dengan bentuk melupakan masa lalu yang lebih lemah dapat dijadikan proses Markov dengan memperluas ruang keadaan secara tepat. Berikut sebuah contoh dalam waktu diskret.

Hasil terakhir dapat langsung diperumum ke kasus ketika masa depan proses acak dalam waktu diskret bergantung secara stokastik pada \( k \) keadaan terakhir, untuk suatu \(k\in\N_+\) tetap.

Contoh dan Penerapan

Relasi Rekurensi dan Persamaan Diferensial

Seperti dikemukakan dalam pendahuluan, proses Markov dapat dipandang sebagai padanan stokastik dari relasi rekurensi deterministik (waktu diskret) dan persamaan diferensial (waktu kontinu). Tujuan pembahasan ini adalah menelusuri hubungan-hubungan tersebut.

Dalam dunia deterministik, seperti dalam dunia stokastik, situasinya lebih rumit dalam waktu kontinu. Namun demikian, analogi dasar yang sama tetap berlaku.

Dalam bentuk diferensial, proses tersebut dapat dideskripsikan oleh \( d X_t = g(X_t) \, dt \). Proses yang pada dasarnya deterministik ini dapat diperluas menjadi kelas proses Markov yang sangat penting dengan menambahkan suku stokastik yang berkaitan dengan gerak Brown. Persamaan diferensial stokastik semacam ini merupakan perangkat utama untuk mengonstruksi proses Markov yang dikenal sebagai proses difusi.

Proses dengan Inkremen Stasioner dan Independen

Untuk pembahasan berikutnya, misalkan \(\bs X=\{X_t:t\in T\}\) bernilai dalam himpunan Borel \(S\subseteq\R\) yang tertutup terhadap penjumlahan, dan misalkan setiap inkremen \(X_{s+t}-X_s\) juga bernilai dalam \(S\) hampir pasti. Untuk \(S=\N\) atau \([0,\infty)\), ini merupakan asumsi tambahan bahwa inkremen tidak negatif; untuk \(S=\Z\) atau \(\R\), struktur grup aditif sudah memadai. Gunakan \(\sigma\)-aljabar Borel \(\mathscr S\), ukuran pencacahan atau Lebesgue yang sesuai, dan filtrasi alami \(\mathscr F_t=\sigma\{X_s:s\le t\}\). Asumsi aditif ini membuat ekspresi \(x+y\) dan hukum inkremen di bawah terdefinisi pada ruang keadaan.

Selisih berbentuk \( X_{s+t} - X_s \) untuk \( s, \, t \in T \) adalah inkremen proses, yang menjelaskan penamaan di atas. Kadang-kadang inkremen stasioner didefinisikan dengan mensyaratkan bahwa \( X_{s+t} - X_s \) memiliki distribusi yang sama dengan \( X_t \). Namun, ini memaksa \( X_0 = 0 \) dengan probabilitas 1, dan seperti biasa untuk proses Markov, sebaiknya distribusi awal dibiarkan tidak ditentukan. Jika \( \bs{X} \) memiliki inkremen stasioner dalam pengertian definisi kita, maka proses \( \bs{Y} = \{Y_t = X_t - X_0: t \in T\} \) memiliki inkremen stasioner dalam pengertian yang lebih terbatas. Untuk sisa pembahasan ini, asumsikan bahwa \( \bs X = \{X_t: t \in T\} \) memiliki inkremen stasioner dan independen, dan misalkan \( Q_t \) menyatakan distribusi \( X_t - X_0 \) untuk \( t \in T \).

Jadi, koleksi distribusi \( \bs{Q} = \{Q_t: t \in T\} \) membentuk semigrup, dengan konvolusi sebagai operator. Perhatikan bahwa \( Q_0 \) hanyalah massa titik di 0.

Jelas bahwa sifat semigrup dari \( \bs{P} = \{P_t: t \in T\} \) (dengan perkalian operator biasa) ekuivalen dengan sifat semigrup dari \( \bs{Q} = \{Q_t: t \in T\} \) (dengan konvolusi sebagai perkalian).

Dari diperoleh \(Q_s*Q_t=Q_{s+t}\) untuk semua \(s,t\in T\). Jika ketiga ukuran tersebut memiliki kepadatan terhadap ukuran acuan, maka \(g_s*g_t=g_{s+t}\) hampir di mana-mana, dengan \(*\) menyatakan konvolusi.

Dalam waktu kontinu, proses yang kontinu secara stokastik, berawal dari \(0\), dan memiliki inkremen stasioner serta independen mempunyai versi càdlàg; versi itu disebut proses Lévy. Jika \(X_0\) acak dan independen, proses terpusat \(\{X_t-X_0\}\) adalah proses Lévy, sedangkan \(\bs X\) merupakan pergeseran awal independennya. Penamaan ini tidak diterapkan pada gerak acak waktu diskret. Istilah ini menghormati Paul Lévy.

Untuk proses stokastik bernilai riil \( \bs X = \{X_t: t \in T\} \), misalkan \( m \) dan \( v \) menyatakan fungsi rerata dan varians, sehingga \[ m(t) = \E(X_t), \; v(t) = \var(X_t); \quad t \in T \] dengan mengasumsikan, tentu saja, bahwa keduanya ada. Fungsi rerata dan varians untuk proses Lévy sangat sederhana.

Proses dengan inkremen stasioner dan independen dalam waktu diskret mudah dideskripsikan.

Jadi, misalkan \( \bs{U} = (U_0, U_1, \ldots) \) adalah barisan peubah acak bernilai riil yang independen, dengan \( (U_1, U_2, \ldots) \) berdistribusi identik menurut distribusi \( Q \). Berdasarkan , proses jumlah parsial \( \bs{X} = \{X_n: n \in \N\} \) yang berkaitan dengan \( \bs{U} \) merupakan proses Markov homogen dengan kernel transisi satu langkah \( P \) yang diberikan oleh \[P(x,A)=Q(A-x),\quad x\in\R,\ A\in\mathscr R\] Secara lebih umum, untuk \( n \in \N \), kernel transisi \( n \) langkah adalah \(P^n(x,A)=Q^{*n}(A-x)\) untuk \(x\in\R\) dan \(A\in\mathscr R\). Proses Markov ini dikenal sebagai gerak acak (meskipun sayangnya istilah gerak acak juga digunakan dalam sejumlah konteks lain). Gagasannya adalah bahwa pada waktu \( n \), pejalan bergerak sejauh \( U_n \) (dengan arah) pada garis riil, dan langkah-langkah ini independen serta berdistribusi identik. Jika \( Q \) memiliki fungsi kepadatan probabilitas \( g \) terhadap ukuran acuan \( \lambda \), maka kepadatan transisi satu langkahnya adalah \[p(x,y)=g(y-x),\quad x,y\in\R\]

Dalam waktu kontinu, terdapat dua proses yang sangat penting, satu dengan ruang keadaan diskret \( \N \), dan satu lagi dengan ruang keadaan kontinu \( \R \).

Jadi, proses Lévy \( \bs{N} = \{N_t: t \in [0, \infty)\} \) dengan kepadatan transisi tersebut merupakan proses Markov dengan inkremen stasioner dan independen serta memiliki lintasan sampel yang kontinu kanan dan memiliki limit kiri. Kita memang mengenal proses semacam itu, yaitu proses Poisson dengan laju 1.

Jadi, proses Lévy \( \bs{X} = \{X_t: t \in [0, \infty)\} \) pada \( \R \) dengan kepadatan transisi tersebut merupakan proses Markov dengan inkremen stasioner dan independen, serta lintasan sampelnya kontinu dari kanan dan memiliki limit kiri. Bahkan, terdapat proses semacam itu dengan lintasan sampel kontinu. Proses ini adalah gerak Brown, sebuah proses yang cukup penting untuk memiliki bab tersendiri.