PIZL:Procesy Markowa

Z Skrypty dla studentów Ekonofizyki UPGOW

(Różnice między wersjami)
(→Procesy Markowa)
(→Procesy Markowa)
Linia 7: Linia 7:
:<math>p(x_n, t_n; x_{n-1}, t_{n-1};  \dots ; x_1, t_1; x_0, t_0) </math>
:<math>p(x_n, t_n; x_{n-1}, t_{n-1};  \dots ; x_1, t_1; x_0, t_0) </math>
 +
 +
 +
Przyjmujemy taką konwencję, że zawsze mamy hierarchię czasów
 +
 +
 +
:<math> t_n > t_{n-1} > \dots > t_1 > t_0  </math>
 +
Linia 29: Linia 36:
W szczególności zachodzi  
W szczególności zachodzi  
 +
<equation id="eqn:9.1-equation">
<math>p(x_n, t_n|x_{n-1}, t_{n-1};  \dots; x_0, t_0) =  \frac{p(x_n, t_n; x_{n-1}, t_{n-1};  \dots; x_0, t_0)}{p(x_{n-1}, t_{n-1};  \dots; x_0, t_0)} </math>
<math>p(x_n, t_n|x_{n-1}, t_{n-1};  \dots; x_0, t_0) =  \frac{p(x_n, t_n; x_{n-1}, t_{n-1};  \dots; x_0, t_0)}{p(x_{n-1}, t_{n-1};  \dots; x_0, t_0)} </math>
 +
  </equation>
Stosując tę samą argumentację jak  dla wektora zmiennych losowych otrzymamy wzór  
Stosując tę samą argumentację jak  dla wektora zmiennych losowych otrzymamy wzór  
-
<math>p(x_n, t_n; \dots; x_0, t_0)  = p(x_n, t_n| x_{n-1}, t_{n-1};  \dots;  x_0, t_0)\, p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2};
+
<equation id="eqn:9.2-equation">
-
\dots;  x_0, t_0)\, \dots p(x_2, t_2|x_1, t_1; x_0, t_0)\,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0) </math>
+
<math>p(x_n, t_n; \dots; x_0, t_0)  =   </math>
 +
  </equation>
 +
:<math>p(x_n, t_n| x_{n-1}, t_{n-1};  \dots;  x_0, t_0)\, p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2};
 +
\dots;  x_0, t_0)\, \dots p(x_2, t_2|x_1, t_1; x_0, t_0) \,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0) </math>
-
Innymi słowy, gęstość wielowymiarową dowolnego procesy stochastycznego można otrzymać z warunkowych gęstości jednowymiarowych <math>p(x_i, t_i| x_{i-1}, t_{i-1}; \dots, x_0, t_0)\, </math> oraz z jednowymiarowej gęstości <math>p(x_0, t_0)</math>.
 
 +
Innymi słowy, gęstość wielowymiarową dowolnego procesy stochastycznego można otrzymać z warunkowych gęstości jednowymiarowych <math>p(x_i, t_i| x_{i-1}, t_{i-1}; \dots, x_0, t_0)\, </math> oraz z jednowymiarowej gęstości <math>p(x_0, t_0)\,</math>.
-
Z powyższych relacji oraz wzorów redukcyjnych dla gęstości wielowymiarowych wynikają związki przydatne w teorii procesów stochastycznych. Przytoczymy tu 
 
-
najważniejszy z nich
 
 +
Z powyższych relacji oraz wzorów redukcyjnych dla gęstości wielowymiarowych wynikaja relacja
-
                                                  <math>p(x_2|x_0) = \int_{-\infty}^{\infty} p(x_2|x_1, x_0) p(x_1|x_0) dx_1 </math>
+
<equation id="eqn:9.3-equation">
 +
                  <math>p(x_2, t_2|x_0, t_0) = \int_{-\infty}^{\infty} p(x_2, t_2|x_1, t_1;  x_0, t_0) p(x_1, t_1|x_0, t_0) dx_1 </math>
 +
  </equation>
-
Dowód tej relacji jest prosty. W pierwszym rzędzie po całką korzystamy z relacji dla gęstości warunkowych :
 
 +
'''Klasyfikacja procesów stochastycznych'''
 +
 +
Bazując na <xr id="eqn:9.1-equation">Równaniu (%i</xr>), dokonamy klasyfikacji procesów stochastycznych. 
 +
 +
 +
1. Całkowicie losowy proces stochastyczny to taki proces dla ktorego
 +
 +
 +
<equation id="eqn:9.4-equation">
 +
<math>p(x_n, t_n|x_{n-1}, t_{n-1};  \dots; x_0, t_0) =  p(x_n, t_n)  </math>
 +
  </equation>
 +
 +
 +
Innymi słowy, proces w danej chwili <math>t=t_n</math> nie zależy od swej historii; nie zależy od tego jakie wartości przyjmował w poprzedzających chwilach czasu <math>t_{n-1}, \dots, t_1, t_0</math>. Jest to totalne zaprzeczenie determinizmu.
 +
 +
Korzystając z <xr id="eqn:9.2-equation">Równania (%i</xr>), otrzymamy rozkład n-wymiarowy
 +
 +
<equation id="eqn:9.5-equation">
 +
<math>p(x_n, t_n; \dots; x_0, t_0)  =  p(x_n, t_n) p(x_{n-1}, t_{n-1})  \dots p(x_1, t_1) \; p(x_0, t_0)</math>
 +
  </equation>
 +
 +
który jest iloczynem gęstości jednowymiarowych <math>p(x_i, t_i)\,</math>.
 +
Jest to relacja mówiąca, że zmienne losowe <math>\xi_i =\xi(t_i)</math> są zmiennymi losowymi niezależnymi. Nie ma takiego realnego procesu losowego.
 +
 +
 +
2. Proces Markowa to taki proces dla którego
 +
 +
 +
<equation id="eqn:9.6-equation">
 +
<math>p(x_n, t_n|x_{n-1}, t_{n-1};  \dots; x_0, t_0) =  p(x_n, t_n|x_{n-1}, t_{n-1}), \; \; \; \; t_n > t_{n-1} > \dots > t_1 > t_0  </math>
 +
  </equation>
 +
 +
Innymi  słowy, stan układu w chwili <math>t=t_n</math> zależy od chwili poprzedniej <math>t_{n-1}</math>, ale już nie zależy od chwil wcześniejszych niż
 +
<math>t_{n-1}</math>. Można powiedzieć, że układ ma krótką pamięć.
 +
 +
 +
===Równanie Chapmana-Kołmogorowa===
-
:<math> \int_{-\infty}^{\infty} \frac{p(x_2, x_1, x_0)}{ p(x_1, x_0)} \; \; \frac{ p(x_1, x_0)}{p(x_0)} dx_1 =
 
-
\int_{-\infty}^{\infty} \frac{p(x_2, x_1, x_0)}{p(x_0)} dx_1 = \frac{1}{p(x_0) }\int_{-\infty}^{\infty} p(x_2, x_1, x_0) dx_1 = \frac{p(x_2, x_0)}{p(x_0) }
 
-
= p(x_2|x_0)
 
-
</math>
 
Linia 73: Linia 118:
-
===Równanie Chapmana-Kołmogorowa===
+
 

Wersja z 10:37, 18 mar 2010

Spis treści

Procesy Markowa

Do tej pory analizowaliśmy dwie klasy procesów stochastycznych: proces Poissona i proces Wienera. Otrzymaliśmy je jako graniczne procesy w schematach Bernoulliego. Mozna powiedzieć, że "wyprowadziliśmy" je z prób Bernoulliego. Teraz przedstawimy ogólniejszą klasę procesów stochastycznych, a mianowicie tak zwane procesy Markowa. Nim to zrobimy, przypomnimy kilka relacji dla rozkładów warunkowych: patrz rozdział "Rozkłady warunkowe" w części Elementy teorii prawdopodobieństwa. Tam podane sa formuły dla wektora zmiennych losowych. Tu zmodyfikujemy je i przedstawimy w języku procesu stochastycznego.

Niech \(\xi(t)\) będzie procesem stochastycznym. Jego n-wymiarową gęstość rozkładu prawdopodobieństwa oznaczymy następująco:


\[p(x_n, t_n; x_{n-1}, t_{n-1}; \dots ; x_1, t_1; x_0, t_0) \]


Przyjmujemy taką konwencję, że zawsze mamy hierarchię czasów


\[ t_n > t_{n-1} > \dots > t_1 > t_0 \]


Warunkowa gęstość rozkładu


                                                         \(p(x_1, t_1|x_0, t_0) =  \frac{p(x_1, t_1; x_0, t_0)}{p(x_0, t_0)} \)

ma następującą interpretację: jest to gęstość rozkładu prawdopodobieństwa procesy stochastycznego \(\xi(t)\) w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) proces stochastyczny \(\xi(t_0) \) miał wartość \(x_0\), czyli \(\xi(t_0)=x_0 \;\). Innymi słowy, analizujemy trajektorie procesu w chwili \(t_1\), ale tylko te, które w chwili \(t_0\) przechodzą przez punkt \(x_0\). W języku ruchu losowego cząstki, badamy położenie cząstki w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) cząstka była w położeniu \(x_0\).


Dowolny rozkład warunkowy jest określony przez równanie


\(p(x_n, t_n; \dots; x_{k+1}, t_{k+1}|x_{k}, t_k; \dots; x_0, t_0) = \frac{p(x_n, t_n; \dots; x_{k+1}, t_{k+1}; x_{k}, t_k; \dots; x_0, t_0) } {p(x_{k}, t_k; \dots; x_0, t_0)} \)


W szczególności zachodzi

(1)\(p(x_n, t_n|x_{n-1}, t_{n-1}; \dots; x_0, t_0) = \frac{p(x_n, t_n; x_{n-1}, t_{n-1}; \dots; x_0, t_0)}{p(x_{n-1}, t_{n-1}; \dots; x_0, t_0)} \)


Stosując tę samą argumentację jak dla wektora zmiennych losowych otrzymamy wzór

(2)\(p(x_n, t_n; \dots; x_0, t_0) = \)

\[p(x_n, t_n| x_{n-1}, t_{n-1}; \dots; x_0, t_0)\, p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2}; \dots; x_0, t_0)\, \dots p(x_2, t_2|x_1, t_1; x_0, t_0) \,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0) \]


Innymi słowy, gęstość wielowymiarową dowolnego procesy stochastycznego można otrzymać z warunkowych gęstości jednowymiarowych \(p(x_i, t_i| x_{i-1}, t_{i-1}; \dots, x_0, t_0)\, \) oraz z jednowymiarowej gęstości \(p(x_0, t_0)\,\).


Z powyższych relacji oraz wzorów redukcyjnych dla gęstości wielowymiarowych wynikaja relacja

(3)\(p(x_2, t_2|x_0, t_0) = \int_{-\infty}^{\infty} p(x_2, t_2|x_1, t_1; x_0, t_0) p(x_1, t_1|x_0, t_0) dx_1 \)


Klasyfikacja procesów stochastycznych

Bazując na Równaniu (1), dokonamy klasyfikacji procesów stochastycznych.


1. Całkowicie losowy proces stochastyczny to taki proces dla ktorego


(4)\(p(x_n, t_n|x_{n-1}, t_{n-1}; \dots; x_0, t_0) = p(x_n, t_n) \)


Innymi słowy, proces w danej chwili \(t=t_n\) nie zależy od swej historii; nie zależy od tego jakie wartości przyjmował w poprzedzających chwilach czasu \(t_{n-1}, \dots, t_1, t_0\). Jest to totalne zaprzeczenie determinizmu.

Korzystając z Równania (2), otrzymamy rozkład n-wymiarowy

(5)\(p(x_n, t_n; \dots; x_0, t_0) = p(x_n, t_n) p(x_{n-1}, t_{n-1}) \dots p(x_1, t_1) \; p(x_0, t_0)\)

który jest iloczynem gęstości jednowymiarowych \(p(x_i, t_i)\,\). Jest to relacja mówiąca, że zmienne losowe \(\xi_i =\xi(t_i)\) są zmiennymi losowymi niezależnymi. Nie ma takiego realnego procesu losowego.


2. Proces Markowa to taki proces dla którego


(6)\(p(x_n, t_n|x_{n-1}, t_{n-1}; \dots; x_0, t_0) = p(x_n, t_n|x_{n-1}, t_{n-1}), \; \; \; \; t_n > t_{n-1} > \dots > t_1 > t_0 \)

Innymi słowy, stan układu w chwili \(t=t_n\) zależy od chwili poprzedniej \(t_{n-1}\), ale już nie zależy od chwil wcześniejszych niż \(t_{n-1}\). Można powiedzieć, że układ ma krótką pamięć.


Równanie Chapmana-Kołmogorowa

Jeżeli dla gęstości warunkowej zachodzi relacja

\[ p(x_2|x_1, x_0) = p(x_2|x_1)\; \]

wówczas powyższy wzór ma postać


                                                \(p(x_2|x_0) = \int_{-\infty}^{\infty} p(x_2|x_1) p(x_1|x_0) dx_1 \)


Odpowiednik tego równania w teorii procesów stochastycznych nazywa się równaniem Chapmana-Kołmogorowa, które w dalszych rozdziałach wykorzystamy do analizy procesów stochastycznych Markowa.





Równanie Kramersa-Moyala

Równanie Fokkera-Plancka

Proste i odwrotne równanie Kołmogorowa

Źródło „http://172.16.3.1/ekonofizyka/index.php/PIZL:Procesy_Markowa”