Z Skrypty dla studentów Ekonofizyki UPGOW
(→Procesy Markowa) |
(→Procesy Markowa) |
||
| Linia 115: | Linia 115: | ||
| + | |||
| + | <xr id="eqn:9.3-equation">Relacja (%i</xr>), | ||
Jeżeli dla gęstości warunkowej zachodzi relacja | Jeżeli dla gęstości warunkowej zachodzi relacja | ||
Wersja z 11:58, 18 mar 2010
Spis treści |
Procesy Markowa
Do tej pory analizowaliśmy dwie klasy procesów stochastycznych: proces Poissona i proces Wienera. Otrzymaliśmy je jako graniczne procesy w schematach Bernoulliego. Mozna powiedzieć, że "wyprowadziliśmy" je z prób Bernoulliego. Teraz przedstawimy ogólniejszą klasę procesów stochastycznych, a mianowicie tak zwane procesy Markowa. Nim to zrobimy, przypomnimy kilka relacji dla rozkładów warunkowych: patrz rozdział "Rozkłady warunkowe" w części Elementy teorii prawdopodobieństwa. Tam podane sa formuły dla wektora zmiennych losowych. Tu zmodyfikujemy je i przedstawimy w języku procesu stochastycznego.
Niech \(\xi(t)\) będzie procesem stochastycznym. Jego n-wymiarową gęstość rozkładu prawdopodobieństwa oznaczymy następująco:
\[p(x_n, t_n; x_{n-1}, t_{n-1}; \dots ; x_1, t_1; x_0, t_0) \]
Przyjmujemy taką konwencję, że zawsze mamy hierarchię czasów
\[ t_n > t_{n-1} > \dots > t_1 > t_0 \]
Warunkowa gęstość rozkładu
\(p(x_1, t_1|x_0, t_0) = \frac{p(x_1, t_1; x_0, t_0)}{p(x_0, t_0)} \)
ma następującą interpretację: jest to gęstość rozkładu prawdopodobieństwa procesy stochastycznego \(\xi(t)\) w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) proces stochastyczny \(\xi(t_0) \) miał wartość \(x_0\), czyli \(\xi(t_0)=x_0 \;\). Innymi słowy, analizujemy trajektorie procesu w chwili \(t_1\), ale tylko te, które w chwili \(t_0\) przechodzą przez punkt \(x_0\). W języku ruchu losowego cząstki, badamy położenie cząstki w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) cząstka była w położeniu \(x_0\).
Dowolny rozkład warunkowy jest określony przez równanie
\(p(x_n, t_n; \dots; x_{k+1}, t_{k+1}|x_{k}, t_k; \dots; x_0, t_0) = \frac{p(x_n, t_n; \dots; x_{k+1}, t_{k+1}; x_{k}, t_k; \dots; x_0, t_0) } {p(x_{k}, t_k; \dots; x_0, t_0)} \)
W szczególności zachodzi
Stosując tę samą argumentację jak dla wektora zmiennych losowych otrzymamy wzór
\[p(x_n, t_n| x_{n-1}, t_{n-1}; \dots; x_0, t_0)\, p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2}; \dots; x_0, t_0)\, \dots p(x_2, t_2|x_1, t_1; x_0, t_0) \,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0) \]
Innymi słowy, gęstość wielowymiarową dowolnego procesy stochastycznego można otrzymać z warunkowych gęstości jednowymiarowych \(p(x_i, t_i| x_{i-1}, t_{i-1}; \dots, x_0, t_0)\, \) oraz z jednowymiarowej gęstości \(p(x_0, t_0)\,\).
Z powyższych relacji oraz wzorów redukcyjnych dla gęstości wielowymiarowych wynikaja relacja
Klasyfikacja procesów stochastycznych
Bazując na Równaniu (1), dokonamy klasyfikacji procesów stochastycznych.
1. Całkowicie losowy proces stochastyczny to taki proces dla ktorego
Innymi słowy, proces w danej chwili \(t=t_n\) nie zależy od swej historii; nie zależy od tego jakie wartości przyjmował w poprzedzających chwilach czasu \(t_{n-1}, \dots, t_1, t_0\). Jest to totalne zaprzeczenie determinizmu.
Korzystając z Równania (2), otrzymamy rozkład n-wymiarowy
który jest iloczynem gęstości jednowymiarowych \(p(x_i, t_i)\,\). Jest to relacja mówiąca, że zmienne losowe \(\xi_i =\xi(t_i)\) są zmiennymi losowymi niezależnymi. Aby całkowicie opisać taki proces, wystarczy znać rozkład jednowymiarowy \(p(x_i, t_i)\,\). Rozkład preawdopodobieństwa dowolnego rzędu jest iloczynem rozkładów jednowymiarowych. Nie ma takiego realnego procesu losowego.
2. Proces Markowa to taki proces dla którego
Innymi słowy, stan układu w chwili \(t=t_n\) zależy od chwili poprzedniej \(t_{n-1}\), ale już nie zależy od chwil wcześniejszych niż \(t_{n-1}\). Można powiedzieć, że układ ma krótką pamięć.
Korzystając z Równania (2), otrzymamy rozkład n-wymiarowy
który jest iloczynem gęstości warunkowych \(p(x_i, t_i|x_{i-1}, t_{i-1}) \,\) i jednowymiarowej gęstości \(p(x_0, t_0)\,\), która opisuje stan początkowy procesu stochastycznego \(\xi(t)\) w chwili początkowej \(t=t_0\).
Równanie Chapmana-Kołmogorowa
Relacja (3),
Jeżeli dla gęstości warunkowej zachodzi relacja
\[ p(x_2|x_1, x_0) = p(x_2|x_1)\; \]
wówczas powyższy wzór ma postać
\(p(x_2|x_0) = \int_{-\infty}^{\infty} p(x_2|x_1) p(x_1|x_0) dx_1 \)
Odpowiednik tego równania w teorii procesów stochastycznych nazywa się równaniem Chapmana-Kołmogorowa, które w dalszych rozdziałach wykorzystamy do analizy procesów stochastycznych Markowa.