PIZL:Procesy Markowa

Z Skrypty dla studentów Ekonofizyki UPGOW

(Różnice między wersjami)

Wersja z 10:46, 18 mar 2010

Spis treści

1 Procesy Markowa

Procesy Markowa

Do tej pory analizowaliśmy dwie klasy procesów stochastycznych: proces Poissona i proces Wienera. Otrzymaliśmy je jako graniczne procesy w schematach Bernoulliego. Mozna powiedzieć, że "wyprowadziliśmy" je z prób Bernoulliego. Teraz przedstawimy ogólniejszą klasę procesów stochastycznych, a mianowicie tak zwane procesy Markowa. Nim to zrobimy, przypomnimy kilka relacji dla rozkładów warunkowych: patrz rozdział "Rozkłady warunkowe" w części Elementy teorii prawdopodobieństwa. Tam podane sa formuły dla wektora zmiennych losowych. Tu zmodyfikujemy je i przedstawimy w języku procesu stochastycznego.

Niech $\xi(t)$ będzie procesem stochastycznym. Jego n-wymiarową gęstość rozkładu prawdopodobieństwa oznaczymy następująco:

$p(x_n, t_n; x_{n-1}, t_{n-1}; \dots ; x_1, t_1; x_0, t_0)$

Przyjmujemy taką konwencję, że zawsze mamy hierarchię czasów

$t_n > t_{n-1} > \dots > t_1 > t_0$

Warunkowa gęstość rozkładu

                                                          $p(x_1, t_1|x_0, t_0) = \frac{p(x_1, t_1; x_0, t_0)}{p(x_0, t_0)}$

ma następującą interpretację: jest to gęstość rozkładu prawdopodobieństwa procesy stochastycznego $\xi(t)$ w chwili $t_1$ pod warunkiem, że w chwili $t_0$ proces stochastyczny $\xi(t_0)$ miał wartość $x_0$ , czyli $\xi(t_0)=x_0 \;$ . Innymi słowy, analizujemy trajektorie procesu w chwili $t_1$ , ale tylko te, które w chwili $t_0$ przechodzą przez punkt $x_0$ . W języku ruchu losowego cząstki, badamy położenie cząstki w chwili $t_1$ pod warunkiem, że w chwili $t_0$ cząstka była w położeniu $x_0$ .

Dowolny rozkład warunkowy jest określony przez równanie

$p(x_n, t_n; \dots; x_{k+1}, t_{k+1}|x_{k}, t_k; \dots; x_0, t_0) = \frac{p(x_n, t_n; \dots; x_{k+1}, t_{k+1}; x_{k}, t_k; \dots; x_0, t_0) } {p(x_{k}, t_k; \dots; x_0, t_0)}$

W szczególności zachodzi

(1)

$p(x_n, t_n|x_{n-1}, t_{n-1}; \dots; x_0, t_0) = \frac{p(x_n, t_n; x_{n-1}, t_{n-1}; \dots; x_0, t_0)}{p(x_{n-1}, t_{n-1}; \dots; x_0, t_0)}$

Stosując tę samą argumentację jak dla wektora zmiennych losowych otrzymamy wzór

(2)

$p(x_n, t_n; \dots; x_0, t_0) =$

$p(x_n, t_n| x_{n-1}, t_{n-1}; \dots; x_0, t_0)\, p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2}; \dots; x_0, t_0)\, \dots p(x_2, t_2|x_1, t_1; x_0, t_0) \,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0)$

Innymi słowy, gęstość wielowymiarową dowolnego procesy stochastycznego można otrzymać z warunkowych gęstości jednowymiarowych $p(x_i, t_i| x_{i-1}, t_{i-1}; \dots, x_0, t_0)\,$ oraz z jednowymiarowej gęstości $p(x_0, t_0)\,$ .

Z powyższych relacji oraz wzorów redukcyjnych dla gęstości wielowymiarowych wynikaja relacja

(3)

$p(x_2, t_2|x_0, t_0) = \int_{-\infty}^{\infty} p(x_2, t_2|x_1, t_1; x_0, t_0) p(x_1, t_1|x_0, t_0) dx_1$

Klasyfikacja procesów stochastycznych

Bazując na Równaniu (1), dokonamy klasyfikacji procesów stochastycznych.

1. Całkowicie losowy proces stochastyczny to taki proces dla ktorego

(4)

$p(x_n, t_n|x_{n-1}, t_{n-1}; \dots; x_0, t_0) = p(x_n, t_n)$

Innymi słowy, proces w danej chwili $t=t_n$ nie zależy od swej historii; nie zależy od tego jakie wartości przyjmował w poprzedzających chwilach czasu $t_{n-1}, \dots, t_1, t_0$ . Jest to totalne zaprzeczenie determinizmu.

Korzystając z Równania (2), otrzymamy rozkład n-wymiarowy

(5)

$p(x_n, t_n; \dots; x_0, t_0) = p(x_n, t_n) p(x_{n-1}, t_{n-1}) \dots p(x_1, t_1) \; p(x_0, t_0)$

który jest iloczynem gęstości jednowymiarowych $p(x_i, t_i)\,$ . Jest to relacja mówiąca, że zmienne losowe $\xi_i =\xi(t_i)$ są zmiennymi losowymi niezależnymi. Aby całkowicie opisać taki proces, wystarczy znać rozkład jednowymiarowy $p(x_i, t_i)\,$ . Rozkład preawdopodobieństwa dowolnego rzędu jest iloczynem rozkładów jednowymiarowych. Nie ma takiego realnego procesu losowego.

2. Proces Markowa to taki proces dla którego

(6)

$p(x_n, t_n|x_{n-1}, t_{n-1}; \dots; x_0, t_0) = p(x_n, t_n|x_{n-1}, t_{n-1}), \; \; \; \; t_n > t_{n-1} > \dots > t_1 > t_0$

Innymi słowy, stan układu w chwili $t=t_n$ zależy od chwili poprzedniej $t_{n-1}$ , ale już nie zależy od chwil wcześniejszych niż $t_{n-1}$ . Można powiedzieć, że układ ma krótką pamięć.

Korzystając z Równania (2), otrzymamy rozkład n-wymiarowy

(7)

$p(x_n, t_n; \dots; x_0, t_0) = p(x_n, t_n|x_{n-1}, t_{n-1} )\; p(x_{n-1}, t_{n-1}|x_{n-2}, t_{n-2} ) \dots p(x_1, t_1|x_0, t_0 ) \; p(x_0, t_0)$

który jest iloczynem gęstości warunkowych $p(x_i, t_i|x_{i-1}, t_{i-1}) \,$ i jednowymiarowej gęstości $p(x_0, t_0)\,$ , która opisuje stan początkowy procesu stochastycznego $\xi(t)$ w chwili początkowej $t=t_0$ .

Równanie Chapmana-Kołmogorowa

Jeżeli dla gęstości warunkowej zachodzi relacja

$p(x_2|x_1, x_0) = p(x_2|x_1)\;$

wówczas powyższy wzór ma postać

                                                 $p(x_2|x_0) = \int_{-\infty}^{\infty} p(x_2|x_1) p(x_1|x_0) dx_1$

Odpowiednik tego równania w teorii procesów stochastycznych nazywa się równaniem Chapmana-Kołmogorowa, które w dalszych rozdziałach wykorzystamy do analizy procesów stochastycznych Markowa.

Z Skrypty dla studentów Ekonofizyki UPGOW

Wersja z 10:46, 18 mar 2010

Spis treści

Procesy Markowa

Równanie Chapmana-Kołmogorowa

Równanie Kramersa-Moyala

Równanie Fokkera-Plancka

Proste i odwrotne równanie Kołmogorowa