Z Skrypty dla studentów Ekonofizyki UPGOW
(→Procesy Markowa) |
(→Procesy Markowa) |
||
| Linia 16: | Linia 16: | ||
| - | Warunkowa gęstość rozkładu | + | '''Warunkowa gęstość rozkładu prawdopodobieństwa''' |
| Linia 24: | Linia 24: | ||
pod warunkiem, że w chwili <math>t_0</math> proces stochastyczny <math>\xi(t_0) </math> miał wartość <math>x_0</math>, czyli <math>\xi(t_0)=x_0 \;</math>. | pod warunkiem, że w chwili <math>t_0</math> proces stochastyczny <math>\xi(t_0) </math> miał wartość <math>x_0</math>, czyli <math>\xi(t_0)=x_0 \;</math>. | ||
Innymi słowy, analizujemy trajektorie procesu w chwili <math>t_1</math>, ale tylko te, które w chwili <math>t_0</math> przechodzą przez punkt <math>x_0</math>. W języku ruchu losowego cząstki, badamy położenie cząstki w chwili <math>t_1</math> pod warunkiem, że w chwili <math>t_0</math> | Innymi słowy, analizujemy trajektorie procesu w chwili <math>t_1</math>, ale tylko te, które w chwili <math>t_0</math> przechodzą przez punkt <math>x_0</math>. W języku ruchu losowego cząstki, badamy położenie cząstki w chwili <math>t_1</math> pod warunkiem, że w chwili <math>t_0</math> | ||
| - | cząstka była w położeniu <math>x_0</math>. | + | cząstka była w położeniu <math>x_0</math>. |
| + | |||
| + | Warunkowa gęstość rozkładu prawdopodobieństwa nazywa sie też '''funkcją prawdopodobieństwa przejścia'''. Na przykład <math>p(x_1, t_1|x_0, t_0)</math> | ||
| + | jest funkcją prawdopodobieństwa przejścia układu ze stanu <math>x_0</math> w chwili <math>t_0</math> do stanu <math>x_1</math> w chwili | ||
| + | <math>t_1</math>. | ||
| + | |||
| Linia 116: | Linia 121: | ||
| - | <xr id="eqn:9.3-equation">Relacja (%i</xr>) | + | <xr id="eqn:9.3-equation">Relacja (%i</xr>) jest słuszna dla dowolnych procesów stochastycznych. Dla procesów Markowa redukuje się ono do postaci |
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| + | <equation id="eqn:9.8-equation"> | ||
| + | <math>p(x_2, t_2|x_0, t_0) = \int_{-\infty}^{\infty} p(x_2, t_2|x_1, t_1) p(x_1, t_1|x_0, t_0) dx_1 </math> | ||
| + | </equation> | ||
| + | O ile w <xr id="eqn:9.3-equation">Równaniu (%i</xr>) występują dwie różne wielkości, o tyle w <xr id="eqn:9.9-equation">Równaniu (%i</xr>) | ||
| + | pojawia się tylko jedna wielkość, a mianowicie gęstość warunkowa <math>p(x, t|y, s)</math>. | ||
Wersja z 12:11, 18 mar 2010
Spis treści |
Procesy Markowa
Do tej pory analizowaliśmy dwie klasy procesów stochastycznych: proces Poissona i proces Wienera. Otrzymaliśmy je jako graniczne procesy w schematach Bernoulliego. Mozna powiedzieć, że "wyprowadziliśmy" je z prób Bernoulliego. Teraz przedstawimy ogólniejszą klasę procesów stochastycznych, a mianowicie tak zwane procesy Markowa. Nim to zrobimy, przypomnimy kilka relacji dla rozkładów warunkowych: patrz rozdział "Rozkłady warunkowe" w części Elementy teorii prawdopodobieństwa. Tam podane sa formuły dla wektora zmiennych losowych. Tu zmodyfikujemy je i przedstawimy w języku procesu stochastycznego.
Niech \(\xi(t)\) będzie procesem stochastycznym. Jego n-wymiarową gęstość rozkładu prawdopodobieństwa oznaczymy następująco:
\[p(x_n, t_n; x_{n-1}, t_{n-1}; \dots ; x_1, t_1; x_0, t_0) \]
Przyjmujemy taką konwencję, że zawsze mamy hierarchię czasów
\[ t_n > t_{n-1} > \dots > t_1 > t_0 \]
Warunkowa gęstość rozkładu prawdopodobieństwa
\(p(x_1, t_1|x_0, t_0) = \frac{p(x_1, t_1; x_0, t_0)}{p(x_0, t_0)} \)
ma następującą interpretację: jest to gęstość rozkładu prawdopodobieństwa procesy stochastycznego \(\xi(t)\) w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) proces stochastyczny \(\xi(t_0) \) miał wartość \(x_0\), czyli \(\xi(t_0)=x_0 \;\). Innymi słowy, analizujemy trajektorie procesu w chwili \(t_1\), ale tylko te, które w chwili \(t_0\) przechodzą przez punkt \(x_0\). W języku ruchu losowego cząstki, badamy położenie cząstki w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) cząstka była w położeniu \(x_0\).
Warunkowa gęstość rozkładu prawdopodobieństwa nazywa sie też funkcją prawdopodobieństwa przejścia. Na przykład \(p(x_1, t_1|x_0, t_0)\) jest funkcją prawdopodobieństwa przejścia układu ze stanu \(x_0\) w chwili \(t_0\) do stanu \(x_1\) w chwili \(t_1\).
Dowolny rozkład warunkowy jest określony przez równanie
\(p(x_n, t_n; \dots; x_{k+1}, t_{k+1}|x_{k}, t_k; \dots; x_0, t_0) = \frac{p(x_n, t_n; \dots; x_{k+1}, t_{k+1}; x_{k}, t_k; \dots; x_0, t_0) } {p(x_{k}, t_k; \dots; x_0, t_0)} \)
W szczególności zachodzi
Stosując tę samą argumentację jak dla wektora zmiennych losowych otrzymamy wzór
\[p(x_n, t_n| x_{n-1}, t_{n-1}; \dots; x_0, t_0)\, p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2}; \dots; x_0, t_0)\, \dots p(x_2, t_2|x_1, t_1; x_0, t_0) \,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0) \]
Innymi słowy, gęstość wielowymiarową dowolnego procesy stochastycznego można otrzymać z warunkowych gęstości jednowymiarowych \(p(x_i, t_i| x_{i-1}, t_{i-1}; \dots, x_0, t_0)\, \) oraz z jednowymiarowej gęstości \(p(x_0, t_0)\,\).
Z powyższych relacji oraz wzorów redukcyjnych dla gęstości wielowymiarowych wynikaja relacja
Klasyfikacja procesów stochastycznych
Bazując na Równaniu (1), dokonamy klasyfikacji procesów stochastycznych.
1. Całkowicie losowy proces stochastyczny to taki proces dla ktorego
Innymi słowy, proces w danej chwili \(t=t_n\) nie zależy od swej historii; nie zależy od tego jakie wartości przyjmował w poprzedzających chwilach czasu \(t_{n-1}, \dots, t_1, t_0\). Jest to totalne zaprzeczenie determinizmu.
Korzystając z Równania (2), otrzymamy rozkład n-wymiarowy
który jest iloczynem gęstości jednowymiarowych \(p(x_i, t_i)\,\). Jest to relacja mówiąca, że zmienne losowe \(\xi_i =\xi(t_i)\) są zmiennymi losowymi niezależnymi. Aby całkowicie opisać taki proces, wystarczy znać rozkład jednowymiarowy \(p(x_i, t_i)\,\). Rozkład preawdopodobieństwa dowolnego rzędu jest iloczynem rozkładów jednowymiarowych. Nie ma takiego realnego procesu losowego.
2. Proces Markowa to taki proces dla którego
Innymi słowy, stan układu w chwili \(t=t_n\) zależy od chwili poprzedniej \(t_{n-1}\), ale już nie zależy od chwil wcześniejszych niż \(t_{n-1}\). Można powiedzieć, że układ ma krótką pamięć.
Korzystając z Równania (2), otrzymamy rozkład n-wymiarowy
który jest iloczynem gęstości warunkowych \(p(x_i, t_i|x_{i-1}, t_{i-1}) \,\) i jednowymiarowej gęstości \(p(x_0, t_0)\,\), która opisuje stan początkowy procesu stochastycznego \(\xi(t)\) w chwili początkowej \(t=t_0\).
Równanie Chapmana-Kołmogorowa
Relacja (3) jest słuszna dla dowolnych procesów stochastycznych. Dla procesów Markowa redukuje się ono do postaci
O ile w Równaniu (3) występują dwie różne wielkości, o tyle w Równaniu (xx--CrossReference--eqn:9.9-equation--xx) pojawia się tylko jedna wielkość, a mianowicie gęstość warunkowa \(p(x, t|y, s)\).