Z Skrypty dla studentów Ekonofizyki UPGOW
Spis treści |
Procesy Markowa
Do tej pory analizowaliśmy dwie klasy procesów stochastycznych: proces Poissona i proces Wienera. Otrzymaliśmy je jako graniczne procesy w schematach Bernoulliego. Mozna powiedzieć, że "wyprowadziliśmy" je z prób Bernoulliego. Teraz przedstawimy ogólniejszą klasę procesów stochastycznych, a mianowicie tak zwane procesy Markowa. Nim to zrobimy, przypomnimy kilka relacji dla rozkładów warunkowych: patrz rozdział "Rozkłady warunkowe" w części Elementy teorii prawdopodobieństwa. Tam podane sa formuły dla wektora zmiennych losowych. Tu zmodyfikujemy je i przedstawimy w języku procesu stochastycznego.
Niech \(\xi(t)\) będzie procesem stochastycznym. Jego n-wymiarową gęstość rozkładu prawdopodobieństwa oznaczymy następująco:
\[p(x_n, t_n; x_{n-1}, t_{n-1}; \dots ; x_1, t_1; x_0, t_0) \]
Warunkowa gęstość rozkładu
\(p(x_1, t_1|x_0, t_0) = \frac{p(x_1, t_1; x_0, t_0)}{p(x_0, t_0)} \)
ma następującą interpretację: jest to gęstość rozkładu prawdopodobieństwa procesy stochastycznego \(\xi(t)\) w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) proces stochastyczny \(\xi(t_0) \) miał wartość \(x_0\), czyli \(\xi(t_0)=x_0 \;\). Innymi słowy, analizujemy trajektorie procesu w chwili \(t_1\), ale tylko te, które w chwili \(t_0\) przechodzą przez punkt \(x_0\). W języku ruchu losowego cząstki, badamy położenie cząstki w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) cząstka była w położeniu \(x_0\).
Dowolny rozkład warunkowy jest określony przez równanie
\(p(x_n, t_n; \dots; x_{k+1}, t_{k+1}|x_{k}, t_k; \dots; x_0, t_0) = \frac{p(x_n, t_n; \dots; x_{k+1}, t_{k+1}; x_{k}, t_k; \dots; x_0, t_0) } {p(x_{k}, t_k; \dots; x_0, t_0)} \)
W szczególności zachodzi
\(p(x_n, t_n|x_{n-1}, t_{n-1}; \dots; x_0, t_0) = \frac{p(x_n, t_n; x_{n-1}, t_{n-1}; \dots; x_0, t_0)}{p(x_{n-1}, t_{n-1}; \dots; x_0, t_0)} \)
Stosując tę samą argumentację jak dla wektora zmiennych losowych otrzymamy wzór
\(p(x_n, t_n; \dots; x_0, t_0) = p(x_n, t_n| x_{n-1}, t_{n-1}; \dots; x_0, t_0)\, p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2}; \dots; x_0, t_0)\, \dots p(x_2, t_2|x_1, t_1; x_0, t_0)\,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0) \)
Innymi słowy, gęstość wielowymiarową dowolnego procesy stochastycznego można otrzymać z warunkowych gęstości jednowymiarowych \(p(x_i, t_i| x_{i-1}, t_{i-1}; \dots, x_0, t_0)\, \) oraz z jednowymiarowej gęstości \(p(x_0, t_0)\).
Z powyższych relacji oraz wzorów redukcyjnych dla gęstości wielowymiarowych wynikają związki przydatne w teorii procesów stochastycznych. Przytoczymy tu najważniejszy z nich
\(p(x_2|x_0) = \int_{-\infty}^{\infty} p(x_2|x_1, x_0) p(x_1|x_0) dx_1 \)
Dowód tej relacji jest prosty. W pierwszym rzędzie po całką korzystamy z relacji dla gęstości warunkowych :
\[ \int_{-\infty}^{\infty} \frac{p(x_2, x_1, x_0)}{ p(x_1, x_0)} \; \; \frac{ p(x_1, x_0)}{p(x_0)} dx_1 = \int_{-\infty}^{\infty} \frac{p(x_2, x_1, x_0)}{p(x_0)} dx_1 = \frac{1}{p(x_0) }\int_{-\infty}^{\infty} p(x_2, x_1, x_0) dx_1 = \frac{p(x_2, x_0)}{p(x_0) } = p(x_2|x_0) \]
Jeżeli dla gęstości warunkowej zachodzi relacja
\[ p(x_2|x_1, x_0) = p(x_2|x_1)\; \]
wówczas powyższy wzór ma postać
\(p(x_2|x_0) = \int_{-\infty}^{\infty} p(x_2|x_1) p(x_1|x_0) dx_1 \)
Odpowiednik tego równania w teorii procesów stochastycznych nazywa się równaniem Chapmana-Kołmogorowa, które w dalszych rozdziałach wykorzystamy do analizy procesów stochastycznych Markowa.