PIZL:Procesy Markowa

Z Skrypty dla studentów Ekonofizyki UPGOW

(Różnice między wersjami)

Wersja z 17:14, 18 mar 2010

Spis treści

1 Procesy Markowa

Procesy Markowa

Do tej pory analizowaliśmy dwie klasy procesów stochastycznych: proces Poissona i proces Wienera. Otrzymaliśmy je jako graniczne procesy w schematach Bernoulliego. Mozna powiedzieć, że "wyprowadziliśmy" je z prób Bernoulliego. Teraz przedstawimy ogólniejszą klasę procesów stochastycznych, a mianowicie tak zwane procesy Markowa. Nim to zrobimy, przypomnimy kilka relacji dla rozkładów warunkowych: patrz podrozdział "Rozkłady warunkowe" w rozdziale "Elementy teorii prawdopodobieństwa". Tam podane sa formuły dla wektora zmiennych losowych. Tu zmodyfikujemy je i przedstawimy w języku procesu stochastycznego.

Niech \(\xi(t)\) będzie procesem stochastycznym. Jego n-wymiarową gęstość rozkładu prawdopodobieństwa oznaczymy następująco:

\[p(x_n, t_n; x_{n-1}, t_{n-1}; \dots ; x_1, t_1; x_0, t_0) \]

Przyjmujemy taką konwencję, że zawsze mamy hierarchię czasów

\[ t_n > t_{n-1} > \dots > t_1 > t_0 \]

Warunkowe gęstości rozkładu prawdopodobieństwa

                           \(p(x_1, t_1|x_0, t_0) =  \frac{p(x_1, t_1; x_0, t_0)}{p(x_0, t_0)} \)

ma następującą interpretację: jest to gęstość rozkładu prawdopodobieństwa procesy stochastycznego \(\xi(t)\) w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) proces stochastyczny \(\xi(t_0) \) miał wartość \(x_0\), czyli \(\xi(t_0)=x_0 \;\). Innymi słowy, analizujemy trajektorie procesu w chwili \(t_1\), ale tylko te, które w chwili \(t_0\) przechodzą przez punkt \(x_0\). W języku ruchu losowego cząstki, badamy położenie cząstki w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) cząstka była w położeniu \(x_0\).

Warunkowa gęstość rozkładu prawdopodobieństwa nazywa sie też funkcją prawdopodobieństwa przejścia. Na przykład \(p(x_1, t_1|x_0, t_0)\) jest funkcją prawdopodobieństwa przejścia układu ze stanu \(x_0\) w chwili \(t_0\) do stanu \(x_1\) w chwili \(t_1\).

Dowolny rozkład warunkowy jest określony przez równanie

\(p(x_n, t_n; \dots; x_{k+1}, t_{k+1}|x_{k}, t_k; \dots; x_0, t_0) = \frac{p(x_n, t_n; \dots; x_{k+1}, t_{k+1}; x_{k}, t_k; \dots; x_0, t_0) } {p(x_{k}, t_k; \dots; x_0, t_0)} \)

W szczególności zachodzi

(1)\(p(x_n, t_n|x_{n-1}, t_{n-1}; \dots; x_0, t_0) = \frac{p(x_n, t_n; x_{n-1}, t_{n-1}; \dots; x_0, t_0)}{p(x_{n-1}, t_{n-1}; \dots; x_0, t_0)} \)

Stosując tę samą argumentację jak dla wektora zmiennych losowych otrzymamy wzór

(2)\(p(x_n, t_n; \dots; x_0, t_0) = p(x_n, t_n| x_{n-1}, t_{n-1}; \dots; x_0, t_0)\,\)

\[ \times p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2}; \dots; x_0, t_0)\, \dots p(x_2, t_2|x_1, t_1; x_0, t_0) \]

\[ \times \,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0) \]

Innymi słowy, gęstość wielowymiarową dowolnego procesy stochastycznego można otrzymać z warunkowych gęstości jednowymiarowych \(p(x_i, t_i| x_{i-1}, t_{i-1}; \dots, x_0, t_0)\, \) oraz z jednowymiarowej gęstości \(p(x_0, t_0)\,\).

Z powyższych relacji oraz wzorów redukcyjnych dla gęstości wielowymiarowych wynika relacja

(3)\(p(x_2, t_2|x_0, t_0) = \int_{-\infty}^{\infty} p(x_2, t_2|x_1, t_1; x_0, t_0) p(x_1, t_1|x_0, t_0) dx_1 \)

Warunkowe wartości średnie procesu stochastycznego \(\xi(t)\)

A1. Jeżeli gęstość rozkładu prawdopodobieństwa procesu stochastycznego \(\xi(t)\) wynosi \(p(x, t)\) to jego wartość średnia dana jest wzorem

\[\langle \xi(t) \rangle = \int_{-\infty}^{\infty} x p(x, t) dx \]

A2. Jeżeli warunkowa gęstość rozkładu prawdopodobieństwa procesu stochastycznego \(\xi(t)\) wynosi \(p(x, t| M)\), gdzie \(M \) jest dowolnym zdarzeniem (warunkiem) to jego warunkowa wartość średnia dana jest wzorem

\[\langle \xi(t)|M \rangle = \int_{-\infty}^{\infty} x p(x, t|M) dx \]

A3. Jeżeli warunek \(M=\{\xi(t_0)=x_0\} \,\) to warunkowa gęstość rozkładu prawdopodobieństwa procesu stochastycznego \(\xi(t)\) wynosi \(p(x, t|x_0, t_0)\), oraz warunkowa wartość średnia dana jest wzorem

\[\langle \xi(t)|\xi(t_0) = x_0 \rangle = \int_{-\infty}^{\infty} x p(x, t|x_0, t_0) dx \]

A4. Niech \(\eta(t) = G(\xi(t))\) bedzie funkcją procesu stochastycznego \(\xi(t)\) oraz niech \(\xi(t_0)=x_0\). Wówczas warunkowa wartość średnia procesu \(\eta(t) = G(\xi(t))\) dana jest wzorem

\[\langle G(\xi(t))|\xi(t_0) = x_0 \rangle = \int_{-\infty}^{\infty} G(x) p(x, t|x_0, t_0) dx \]

A5. Niech \( G(\xi(t)) = [\xi(t)-\xi(t_0)]^k\) oraz niech \(\xi(t_0)=x_0\). Wówczas warunkowa wartość średnia procesu \( G(\xi(t))= [\xi(t)-\xi(t_0)]^k\) dana jest wzorem

\[\langle [\xi(t)-\xi(t_0)]^k|\xi(t_0) = x_0 \rangle = \int_{-\infty}^{\infty} (x-x_0)^k p(x, t|x_0, t_0) dx \]

A6. Niech w powyższym przypadku \( G(\xi(t+h)) = [\xi(t+h)-\xi(t)]^k\) oraz niech \(\xi(t)=x'\). Wówczas warunkowa wartość średnia procesu \( G(\xi(t+h))= [\xi(t+h)-\xi(t)]^k\) dana jest wzorem

(4)\(\langle [\xi(t+h)-\xi(t)]^k|\xi(t) = x' \rangle = \int_{-\infty}^{\infty} (x-x')^k p(x, t+h|x', t) dx \)

Wielkość ta jest warunkowym momentem statystycznym stopnia \(k\) przyrostu \(\xi(t+h)-\xi(t)\) procesu stochastycznego \(\xi(t)\). Ten przypadek jest szczególnie ważny. Zauważmy, że po lewej stronie pojawia się funkcja przyrostu procesu stochastycznego \(\xi(t+h)-\xi(t)\). Dla "zwykłych" funkcji, przyrost

\(f(t+h) -f(t) = \alpha h + \dots \).

Wielkość \(\alpha\) to pochodna funkcji; kropki oznaczają, że dalsze wyrazy są rzędu \(h^2\), \(h^3\), \(h^4\) i wyższego. Na relację powyższą powołamy sie w dalszej częci tego rozdziału. Wprowadzimy też oznaczenie na ten warunkowy moment statystyczny stopnia \(k\):

(5)\({\mathbb M}_k (x', t; h)= \langle [\xi(t+h)-\xi(t)]^k|\xi(t) = x' \rangle \)

Klasyfikacja procesów stochastycznych

Bazując na Równaniu (1), dokonamy klasyfikacji procesów stochastycznych.

1. Całkowicie losowy proces stochastyczny to taki proces dla ktorego

(6)\(p(x_n, t_n|x_{n-1}, t_{n-1}; \dots; x_0, t_0) = p(x_n, t_n) \)

Innymi słowy, proces w danej chwili \(t=t_n\) nie zależy od swej historii; nie zależy od tego jakie wartości przyjmował w poprzedzających chwilach czasu \(t_{n-1}, \dots, t_1, t_0\). Jest to totalne zaprzeczenie determinizmu.

Korzystając z Równania (2), otrzymamy rozkład n-wymiarowy

(7)\(p(x_n, t_n; \dots; x_0, t_0) = p(x_n, t_n) p(x_{n-1}, t_{n-1}) \dots p(x_1, t_1) \; p(x_0, t_0)\)

który jest iloczynem gęstości jednowymiarowych \(p(x_i, t_i)\,\). Jest to relacja mówiąca, że zmienne losowe \(\xi_i =\xi(t_i)\) są zmiennymi losowymi niezależnymi. Aby całkowicie opisać taki proces, wystarczy znać rozkład jednowymiarowy \(p(x_i, t_i)\,\). Rozkład preawdopodobieństwa dowolnego rzędu jest iloczynem rozkładów jednowymiarowych. Nie ma takiego realnego procesu losowego.

2. Proces Markowa to taki proces dla którego

(8)\(p(x_n, t_n|x_{n-1}, t_{n-1}; \dots; x_0, t_0) = p(x_n, t_n|x_{n-1}, t_{n-1}), \; \; t_n > t_{n-1} > \dots > t_0 \)

Innymi słowy, stan układu w chwili \(t=t_n\) zależy od chwili poprzedniej \(t_{n-1}\), ale już nie zależy od chwil wcześniejszych niż \(t_{n-1}\). Można powiedzieć, że układ ma krótką pamięć.

Korzystając z Równania (2), otrzymamy rozkład n-wymiarowy

(9)\(p(x_n, t_n; \dots; x_0, t_0) = p(x_n, t_n|x_{n-1}, t_{n-1} )\; \)

\[ \times p(x_{n-1}, t_{n-1}|x_{n-2}, t_{n-2} ) \dots p(x_1, t_1|x_0, t_0 ) \; p(x_0, t_0)\]

który jest iloczynem gęstości warunkowych \(p(x_i, t_i|x_{i-1}, t_{i-1}) \,\) i jednowymiarowej gęstości \(p(x_0, t_0)\,\), która opisuje stan początkowy procesu stochastycznego \(\xi(t)\) w chwili początkowej \(t=t_0\).

Równanie Chapmana-Kołmogorowa

Relacja (3) jest słuszna dla dowolnych procesów stochastycznych. Dla procesów Markowa redukuje się ona do postaci

(10)\(p(x_2, t_2|x_0, t_0) = \int_{-\infty}^{\infty} p(x_2, t_2|x_1, t_1) p(x_1, t_1|x_0, t_0) dx_1 \)

Równanie to nazywa się równaniem Chapmana-Kołmogorowa dla procesów stochastycznych Markowa. O ile w Równaniu (3) występują dwie różne wielkości, o tyle w Równaniu (10) pojawia się tylko jedna wielkość, a mianowicie gęstość warunkowa \(p(x, t|y, s)\). Można to równanie traktować jak nieliniowe równanie całkowe dla gęstości warunkowej \(p(x, t|y, s)\) (nieliniowe, ponieważ po prawej stronie jest iloczyn \(p \cdot p\)). W równaniu tym nie pojawia się żadna informacja o specyfice procesu stochastycznego który chciałbym badać. W tym sensie jest ono mało użyteczne. Ale równanie to stanowi punkt wyjścia do wyprowadzenia takich równań, w których pojawia sie informacja specyficzna dla rozważanego procesu stochastycznego. Pamiętajmy o tym, że jeżeli chcemy modelować jakiś proces stochastyczny, to musimy mieć jakieś informacje o tym procesie. Przecież nie możemy modelować procesów o których nic nie wiemy. Wiemy z kursów fizyki, że ewolucja układów fizycznych ( i nie tylko fizycznych) jest opisywana za pomocą równań różniczkowych, czy to zwyczajnych czy to cząstkowych. Dla przykładu równania Newtona sa równaniami różniczkowymi zwyczajnymi, a równania Maxwella czy też równanie Schrodingera są równaniami różniczkowymi cząstkowymi. Przejdziemy teraz do wyprowadzenia takich równań różniczkowych, a właściwie jednego równania.

Równanie Kramersa-Moyala

Równania ewolucji, opisujące zmiany w czasie, muszą bazować na równaniach różniczkowych ze wzgledu na czas, bo to przecież pochodna funkcji ze wzgledu na określoną zmienna charakteryzuje tempo zmiany funkcji przy zmianie argumentu. Startując z równania Chapmana-Kołmogorowa, chcemy wyznaczyć czasowa zmianę gęstości warunkowej \(p(x, t|y, s)\) czyli pochodną

\(\frac{\partial p(x, t|y, s)}{\partial t} = \lim_{h\to 0} \; \frac{1}{h} [ p(x, t+h|y, s) - p(x, t|y, s) ]\)

Skorzystamy teraz z równania Chapmana-Kołmogorowa: podstaw

\( x_2 \to x, \; \; t_2\to t+h, \; \; x_0 \to y, \; \; t_0 \to s, \; \; x_1 \to x', \; \; t_1 \to t\)

otrzymując równanie

(11)\(p(x, t+h|y, s) = \int_{-\infty}^{\infty} p(x, t+h|x', t) p(x', t|y, s) dx', \; \; \; \; \; \; \; \; t>s \)

Zdefiniujemy następującą funkcję

(12)\(C(\omega, t, h; x') = \int_{-\infty}^{\infty} \mbox{e}^{i\omega(x-x')} \; p(x, t+h|x', t) \; dx \)

Przypomina ona nieco (warunkową) funkcję charakterystyczną procesu stochastycznego \(\xi(t)\). Przypominamy, że funkcja charakterystyczna procesu stochastycznego \(\xi(t)\) jest transformatą Fouriera gęstości rozkładu prawdopodbieństwa procesu stochastycznego \(\xi(t)\). W tym przypadku, mozna przepisać powyższą relacje jako transformatę Fouriera w postaci

\(\mbox{e}^{i\omega x'} \; C(\omega, t, h; x') = \int_{-\infty}^{\infty} \mbox{e}^{i\omega x} \; p(x, t+h|x', t) \; dx \)

Odwrotna transformata Fouriera ma postać

\(\mbox{e}^{-i\omega x'} \; p(x, t+h|x', t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} \mbox{e}^{- i\omega x} \;C(\omega, t, h; x') \; d\omega \)

czyli

(13)\( p(x, t+h|x', t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} \mbox{e}^{- i\omega (x-x')} \;C(\omega, t, h; x') \; d\omega \)

Widać więc, że relacje (12) i (13) są transformacją Fouriera i odwrotną transformacją Fouriera.

W Równaniu (12), podcałkową funkcję exponencjalną rozwiniemy w szereg Taylora

\[\mbox{e}^{i\omega (x- x')} = \sum_{k=0}^{\infty} \frac{(i\omega)^k}{k!} \; (x-x')^k \]

Wówczas Równanie (12) przyjmie postać

(14)\(C(\omega, t, h; x') = \sum_{k=0}^{\infty} \frac{(i\omega)^k}{k!} \;\int_{-\infty}^{\infty} (x-x')^k \; p(x, t+h|x', t) \; dx \)

Na mocy relacji (5) wyrażenie całkowe jest warunkowym momentem statystycznym przyrostu procesu stochastycznego i stąd mozemy przepisać warunkową funkcję charakterystyczna w postaci

(15)\(C(\omega, t, h; x') = \sum_{k=0}^{\infty} \frac{(i\omega)^k}{k!} \; {\mathbb M}_k(x', t; h) \)

Wyrażenie to wstawimy do Równania (13):

(16)\( p(x, t+h|x', t) = \sum_{k=0}^{\infty} \frac{1}{k!} \; \left(\frac{1}{2\pi} \int_{-\infty}^{\infty} (i\omega)^k \, \mbox{e}^{- i\omega (x-x')} \,d\omega \right)\; {\mathbb M}_k(x', t; h \)

Rozszyfrujmy wyrażenie w nawiasie:

\[ \frac{1}{2\pi} \int_{-\infty}^{\infty} (i\omega)^k \, \mbox{e}^{- i\omega (x-x')} \,d\omega = \left(-\frac{\partial}{\partial x}\right)^k \frac{1}{2\pi} \int_{-\infty}^{\infty}\, \mbox{e}^{- i\omega (x-x')} \,d\omega \]

\[ = \left(-\frac{\partial}{\partial x}\right)^k \; \delta(x-x') \]

W rezultacie Równanie (16) przyjmie postać

(17)\( p(x, t+h|x', t) = \sum_{k=0}^{\infty} \frac{1}{k!} \; \left(-\frac{\partial}{\partial x}\right)^k \; \delta(x-x') {\mathbb M}_k(x', t; h) \)