Z Skrypty dla studentów Ekonofizyki UPGOW
(→Procesy Markowa) |
(→Procesy Markowa) |
||
| Linia 19: | Linia 19: | ||
| - | + | <math>p(x_1, t_1|x_0, t_0) = \frac{p(x_1, t_1; x_0, t_0)}{p(x_0, t_0)} </math> | |
ma następującą interpretację: jest to gęstość rozkładu prawdopodobieństwa procesy stochastycznego <math>\xi(t)</math> w chwili <math>t_1</math> | ma następującą interpretację: jest to gęstość rozkładu prawdopodobieństwa procesy stochastycznego <math>\xi(t)</math> w chwili <math>t_1</math> | ||
| Linia 53: | Linia 53: | ||
:<math>p(x_n, t_n| x_{n-1}, t_{n-1}; \dots; x_0, t_0)\, p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2}; | :<math>p(x_n, t_n| x_{n-1}, t_{n-1}; \dots; x_0, t_0)\, p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2}; | ||
| - | \dots; x_0, t_0)\, \dots p(x_2, t_2|x_1, t_1; x_0, t_0) \,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0) </math> | + | \dots; x_0, t_0)\, \dots </math> |
| + | |||
| + | :<math> \times | ||
| + | p(x_2, t_2|x_1, t_1; x_0, t_0) \,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0) </math> | ||
Wersja z 15:31, 18 mar 2010
Spis treści |
Procesy Markowa
Do tej pory analizowaliśmy dwie klasy procesów stochastycznych: proces Poissona i proces Wienera. Otrzymaliśmy je jako graniczne procesy w schematach Bernoulliego. Mozna powiedzieć, że "wyprowadziliśmy" je z prób Bernoulliego. Teraz przedstawimy ogólniejszą klasę procesów stochastycznych, a mianowicie tak zwane procesy Markowa. Nim to zrobimy, przypomnimy kilka relacji dla rozkładów warunkowych: patrz podrozdział "Rozkłady warunkowe" w rozdziale "Elementy teorii prawdopodobieństwa". Tam podane sa formuły dla wektora zmiennych losowych. Tu zmodyfikujemy je i przedstawimy w języku procesu stochastycznego.
Niech \(\xi(t)\) będzie procesem stochastycznym. Jego n-wymiarową gęstość rozkładu prawdopodobieństwa oznaczymy następująco:
\[p(x_n, t_n; x_{n-1}, t_{n-1}; \dots ; x_1, t_1; x_0, t_0) \]
Przyjmujemy taką konwencję, że zawsze mamy hierarchię czasów
\[ t_n > t_{n-1} > \dots > t_1 > t_0 \]
Warunkowa gęstość rozkładu prawdopodobieństwa
\(p(x_1, t_1|x_0, t_0) = \frac{p(x_1, t_1; x_0, t_0)}{p(x_0, t_0)} \)
ma następującą interpretację: jest to gęstość rozkładu prawdopodobieństwa procesy stochastycznego \(\xi(t)\) w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) proces stochastyczny \(\xi(t_0) \) miał wartość \(x_0\), czyli \(\xi(t_0)=x_0 \;\). Innymi słowy, analizujemy trajektorie procesu w chwili \(t_1\), ale tylko te, które w chwili \(t_0\) przechodzą przez punkt \(x_0\). W języku ruchu losowego cząstki, badamy położenie cząstki w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) cząstka była w położeniu \(x_0\).
Warunkowa gęstość rozkładu prawdopodobieństwa nazywa sie też funkcją prawdopodobieństwa przejścia. Na przykład \(p(x_1, t_1|x_0, t_0)\) jest funkcją prawdopodobieństwa przejścia układu ze stanu \(x_0\) w chwili \(t_0\) do stanu \(x_1\) w chwili \(t_1\).
Dowolny rozkład warunkowy jest określony przez równanie
\(p(x_n, t_n; \dots; x_{k+1}, t_{k+1}|x_{k}, t_k; \dots; x_0, t_0) = \frac{p(x_n, t_n; \dots; x_{k+1}, t_{k+1}; x_{k}, t_k; \dots; x_0, t_0) } {p(x_{k}, t_k; \dots; x_0, t_0)} \)
W szczególności zachodzi
Stosując tę samą argumentację jak dla wektora zmiennych losowych otrzymamy wzór
\[p(x_n, t_n| x_{n-1}, t_{n-1}; \dots; x_0, t_0)\, p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2}; \dots; x_0, t_0)\, \dots \]
\[ \times p(x_2, t_2|x_1, t_1; x_0, t_0) \,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0) \]
Innymi słowy, gęstość wielowymiarową dowolnego procesy stochastycznego można otrzymać z warunkowych gęstości jednowymiarowych \(p(x_i, t_i| x_{i-1}, t_{i-1}; \dots, x_0, t_0)\, \) oraz z jednowymiarowej gęstości \(p(x_0, t_0)\,\).
Z powyższych relacji oraz wzorów redukcyjnych dla gęstości wielowymiarowych wynikaja relacja
Klasyfikacja procesów stochastycznych
Bazując na Równaniu (1), dokonamy klasyfikacji procesów stochastycznych.
1. Całkowicie losowy proces stochastyczny to taki proces dla ktorego
Innymi słowy, proces w danej chwili \(t=t_n\) nie zależy od swej historii; nie zależy od tego jakie wartości przyjmował w poprzedzających chwilach czasu \(t_{n-1}, \dots, t_1, t_0\). Jest to totalne zaprzeczenie determinizmu.
Korzystając z Równania (2), otrzymamy rozkład n-wymiarowy
który jest iloczynem gęstości jednowymiarowych \(p(x_i, t_i)\,\). Jest to relacja mówiąca, że zmienne losowe \(\xi_i =\xi(t_i)\) są zmiennymi losowymi niezależnymi. Aby całkowicie opisać taki proces, wystarczy znać rozkład jednowymiarowy \(p(x_i, t_i)\,\). Rozkład preawdopodobieństwa dowolnego rzędu jest iloczynem rozkładów jednowymiarowych. Nie ma takiego realnego procesu losowego.
2. Proces Markowa to taki proces dla którego
Innymi słowy, stan układu w chwili \(t=t_n\) zależy od chwili poprzedniej \(t_{n-1}\), ale już nie zależy od chwil wcześniejszych niż \(t_{n-1}\). Można powiedzieć, że układ ma krótką pamięć.
Korzystając z Równania (2), otrzymamy rozkład n-wymiarowy
który jest iloczynem gęstości warunkowych \(p(x_i, t_i|x_{i-1}, t_{i-1}) \,\) i jednowymiarowej gęstości \(p(x_0, t_0)\,\), która opisuje stan początkowy procesu stochastycznego \(\xi(t)\) w chwili początkowej \(t=t_0\).
Równanie Chapmana-Kołmogorowa
Relacja (3) jest słuszna dla dowolnych procesów stochastycznych. Dla procesów Markowa redukuje się ona do postaci
Równanie to nazywa się równaniem Chapmana-Kołmogorowa dla procesów stochastycznych Markowa. O ile w Równaniu (3) występują dwie różne wielkości, o tyle w Równaniu (8) pojawia się tylko jedna wielkość, a mianowicie gęstość warunkowa \(p(x, t|y, s)\). Można to równanie traktować jak nieliniowe równanie całkowe dla gęstości warunkowej \(p(x, t|y, s)\) (nieliniowe, ponieważ po prawej stronie jest iloczyn \(p \cdot p\)). W równaniu tym nie pojawia się żadna informacja o specyfice procesu stochastycznego który chciałbym badać. W tym sensie jest ono mało użyteczne. Ale równanie to stanowi punkt wyjścia do wyprowadzenia takich równań, w których pojawia sie informacja specyficzna dla rozważanego procesu stochastycznego. Pamiętajmy o tym, że jeżeli chcemy modelować jakiś proces stochastyczny, to musimy mieć jakieś informacje o tym procesie. Przecież nie możemy modelować procesów o których nic nie wiemy. Wiemy z kursów fizyki, że ewolucja układów fizycznych ( i nie tylko fizycznych) jest opisywana za pomocą równań różniczkowych, czy to zwyczajnych czy to cząstkowych. Dla przykładu równania Newtona sa równaniami różniczkowymi zwyczajnymi, a równania Maxwella czy też równanie Schrodingera są równaniami różniczkowymi cząstkowymi. Przejdziemy teraz do wyprowadzenia takich równań różniczkowych, a właściwie jednego równania.
Równanie Kramersa-Moyala
Równania ewolucji, opisujące zmiany w czasie, muszą bazować na równaniach różniczkowych ze wzgledu na czas, bo to przecież pochodna funkcji ze wzgledu na określoną zmienna charakteryzuje tempo zmiany funkcji przy zmianie argumentu. Startując z równania Chapmana-Kołmogorowa, chcemy wyznaczyć czasowa zmianę gęstości warunkowej \(p(x, t|y, s)\) czyli pochodną
\(\frac{\partial p(x, t|y, s)}{\partial t} = \lim_{h\to 0} \; \frac{1}{h} [ p(x, t+h|y, s) - p(x, t|y, s) ]\)
Skorzystamy teraz z równania Chapmana-Kołmogorowa: podstaw
\( x_2 \to x, \; \; t_2\to t+h, \; \; x_0 \to y, \; \; t_0 \to s, \; \; x_1 \to x', \; \; t_1 \to t\)
otrzymując równanie
Zdefiniujemy następującą funkcję
Przypomina ona nieco (warunkową) funkcję charakterystyczną procesu stochastycznego \(\xi(t)\). Przypominamy, że funkcja charakterystyczna procesu stochastycznego \(\xi(t)\) jest transformatą Fouriera gęstości rozkładu prawdopodbieństwa procesu stochastycznego \(\xi(t)\). W tym przypadku, mozna przepisać powyższą relacje jako transformatę Fouriera w postaci
\(\mbox{e}^{i\omega x'} \; C(\omega, t, h; x') = \int_{-\infty}^{\infty} \mbox{e}^{i\omega x} \; p(x, t+h|x', t) \; dx \)
Odwrotna transformata Fouriera ma postać
\(\mbox{e}^{-i\omega x'} \; p(x, t+h|x', t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} \mbox{e}^{- i\omega x} \;C(\omega, t, h; x') \; d\omega \)
czyli
Widać więc, że relacje (10) i (11) są transformacją Fouriera i odwrotną transformacją Fouriera.