PIZL:Procesy Markowa

Z Skrypty dla studentów Ekonofizyki UPGOW

(Różnice między wersjami)
(→Procesy Markowa)
(→Procesy Markowa)
Linia 1: Linia 1:
==Procesy Markowa==
==Procesy Markowa==
 +
Do tej pory analizowaliśmy dwie klasy procesów stochastycznych: proces Poissona i proces Wienera. Otrzymaliśmy je jako graniczne procesy w schematach Bernoulliego. Mozna powiedzieć, że "wyprowadziliśmy" je z prób Bernoulliego. Teraz przedstawimy ogólniejszą klasę procesów stochastycznych, a mianowicie tak zwane procesy Markowa. Nim to zrobimy, przypomnimy kilka relacji dla rozkładów warunkowych: patrz rozdział "Rozkłady warunkowe" w części '''Elementy teorii prawdopodobieństwa'''.  Tam podane sa formuły dla wektora zmiennych losowych. Tu zmodyfikujemy je i przedstawimy w języku procesu stochastycznego.
 +
Niech <math>\xi(t)</math> będzie procesem stochastycznym. Jego n-wymiarową gęstość  rozkładu prawdopodobieństwa oznaczymy następująco:
-
Przepiszemy go w uproszczonej postaci, mając nadzieję, że czytelnik będzie pamiętać o jego prawidłowej interpretacji:
+
:<math>p(x_n, t_n; x_{n-1}, t_{n-1};  \dots ; x_1, t_1; x_0, t_0) </math>
 +
Warunkowa gęstość rozkładu
-
                                                          <math>p(x|y) =  \frac{p(x, y)}{p(y)} </math>
 
 +
                                                          <math>p(x_1, t_1|x_0, t_0) =  \frac{p(x_1, t_1; x_0, t_0)}{p(x_0, t_0)} </math>
-
Jeżeli mamy wektor zmiennych losowych, to możemy wyznaczać wielowymiarowe rozkłady warunkowe. Poniżej podamy kilka przykładów takich rozkładów:
+
ma następującą interpretację: jest to gęstość rozkładu prawdopodobieństwa procesy stochastycznego <math>\xi(t)</math> w chwili <math>t_1</math>
 +
pod warunkiem, że w chwili <math>t_0</math> proces stochastyczny <math>\xi(t_0) </math> miał wartość <math>x_0</math>, czyli <math>\xi(t_0)=x_0 \;</math>.
 +
Innymi słowy, analizujemy trajektorie procesu w chwili <math>t_1</math>, ale tylko te, które w chwili <math>t_0</math> przechodzą przez punkt <math>x_0</math>. W języku ruchu losowego cząstki, badamy położenie cząstki w chwili <math>t_1</math> pod warunkiem, że w chwili <math>t_0</math>
 +
cząstka była w położeniu  <math>x_0</math>.
 +
Dowolny rozkład warunkowy jest określony przez równanie
-
:<math>p(x|y, z) =  \frac{p(x, y, z)}{p(y, z)} </math>
 
-
 
+
<math>p(x_n, t_n; \dots; x_{k+1}, t_{k+1}|x_{k}, t_k; \dots; x_0, t_0) =  \frac{p(x_n, t_n; \dots;  x_{k+1}, t_{k+1}; x_{k}, t_k; \dots; x_0, t_0) }
-
 
+
{p(x_{k}, t_k; \dots; x_0, t_0)} </math>
-
:<math>p(x, y| z) =  \frac{p(x, y, z)}{p(z)} </math>
+
-
 
+
-
 
+
-
 
+
-
:<math>p(x_1, x_2, x_3|x_4, x_5, x_6, x_7) =  \frac{p(x_1, x_2, x_3, x_4, x_5, x_6, x_7)}{p(x_4, x_5, x_6, x_7)} </math>
+
-
 
+
-
 
+
-
Z powyższych relacji wynika prosta reguła wyznaczania rozkładów warunkowych: gęstość warunkowa to iloraz dwóch gęstości, gęstości łącznej podzielonej przez gęstość zmiennych losowych występujących w warunku. W ogólności
+
-
 
+
-
 
+
-
<math>p(x_1, \dots, x_k|x_{k+1}, \dots, x_n) = \frac{p(x_1, \dots, x_k, x_{k+1}, \dots, x_n)}{p(x_{k+1}, \dots,  x_n)} </math>
+
-
 
+
-
 
+
-
lub w innym zapisie
+
-
 
+
-
 
+
-
<math>p(x_n, \dots, x_{k+1}|x_{k}, \dots, x_1) =  \frac{p(x_n, \dots, x_{k+1}, x_{k}, \dots, x_1)}{p(x_{k}, \dots, x_1)} </math>
+
W szczególności zachodzi  
W szczególności zachodzi  
-
<math>p(x_n|x_{n-1}, \dots, x_1) =  \frac{p(x_n, x_{n-1}, \dots, x_1)}{p(x_{n-1}, \dots,  x_1)} </math>
+
<math>p(x_n, t_n|x_{n-1}, t_{n-1}; \dots; x_0, t_0) =  \frac{p(x_n, t_n; x_{n-1}, t_{n-1}; \dots; x_0, t_0)}{p(x_{n-1}, t_{n-1}; \dots; x_0, t_0)} </math>
-
 
+
-
 
+
-
Stąd
+
-
 
+
-
 
+
-
<math>p(x_n, x_{n-1}, \dots, x_1) =  p(x_n| x_{n-1}, \dots, x_1)\, p(x_{n-1}, \dots,  x_1) </math>
+
-
 
+
-
 
+
-
Możemy teraz <math>p( x_{n-1},  \dots, x_1)</math> wyrazić przez podobny  związek zmieniając <math>n \to n-1</math>. Po wstawieniu do powyższego wzoru  otrzymy
+
-
 
+
-
 
+
-
<math>p(x_n, x_{n-1}, \dots, x_1) =  p(x_n| x_{n-1}, \dots, x_1)\, p(x_{n-1}|x_{n-2},  \dots, x_1) \,p(x_{n-2}, \dots,  x_1) </math>
+
-
Kontunuując tą procedurę otrzymamy  
+
Stosując tę samą argumentację jak  dla wektora zmiennych losowych otrzymamy wzór
-
                      <math>p(x_n, x_{n-1}, \dots, x_1) =  p(x_n| x_{n-1},  \dots, x_1)\, p(x_{n-1}|x_{n-2},  \dots, x_1)\, \dots p(x_3|x_2, x_1)\,p(x_2|x_1)\, p(x_1) </math>
+
<math>p(x_n, t_n; \dots; x_0, t_0) =  p(x_n, t_n| x_{n-1}, t_{n-1}; \dots;  x_0, t_0)\, p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2};
 +
  \dots;  x_0, t_0)\, \dots p(x_2, t_2|x_1, t_1; x_0, t_0)\,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0) </math>
-
Innymi słowy, gęstość wielowymiarową można otrzymać z warunkowych gęstości jednowymiarowych <math>p(x_i| x_{i-1}, \dots, x_1)\, </math> oraz z jednowymiarowej gęstości <math>p(x)</math>.  
+
Innymi słowy, gęstość wielowymiarową dowolnego procesy stochastycznego można otrzymać z warunkowych gęstości jednowymiarowych <math>p(x_i, t_i| x_{i-1}, t_{i-1}; \dots, x_0, t_0)\, </math> oraz z jednowymiarowej gęstości <math>p(x_0, t_0)</math>.  

Wersja z 09:55, 18 mar 2010

Spis treści

Procesy Markowa

Do tej pory analizowaliśmy dwie klasy procesów stochastycznych: proces Poissona i proces Wienera. Otrzymaliśmy je jako graniczne procesy w schematach Bernoulliego. Mozna powiedzieć, że "wyprowadziliśmy" je z prób Bernoulliego. Teraz przedstawimy ogólniejszą klasę procesów stochastycznych, a mianowicie tak zwane procesy Markowa. Nim to zrobimy, przypomnimy kilka relacji dla rozkładów warunkowych: patrz rozdział "Rozkłady warunkowe" w części Elementy teorii prawdopodobieństwa. Tam podane sa formuły dla wektora zmiennych losowych. Tu zmodyfikujemy je i przedstawimy w języku procesu stochastycznego.

Niech \(\xi(t)\) będzie procesem stochastycznym. Jego n-wymiarową gęstość rozkładu prawdopodobieństwa oznaczymy następująco:


\[p(x_n, t_n; x_{n-1}, t_{n-1}; \dots ; x_1, t_1; x_0, t_0) \]


Warunkowa gęstość rozkładu


                                                         \(p(x_1, t_1|x_0, t_0) =  \frac{p(x_1, t_1; x_0, t_0)}{p(x_0, t_0)} \)

ma następującą interpretację: jest to gęstość rozkładu prawdopodobieństwa procesy stochastycznego \(\xi(t)\) w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) proces stochastyczny \(\xi(t_0) \) miał wartość \(x_0\), czyli \(\xi(t_0)=x_0 \;\). Innymi słowy, analizujemy trajektorie procesu w chwili \(t_1\), ale tylko te, które w chwili \(t_0\) przechodzą przez punkt \(x_0\). W języku ruchu losowego cząstki, badamy położenie cząstki w chwili \(t_1\) pod warunkiem, że w chwili \(t_0\) cząstka była w położeniu \(x_0\).


Dowolny rozkład warunkowy jest określony przez równanie


\(p(x_n, t_n; \dots; x_{k+1}, t_{k+1}|x_{k}, t_k; \dots; x_0, t_0) = \frac{p(x_n, t_n; \dots; x_{k+1}, t_{k+1}; x_{k}, t_k; \dots; x_0, t_0) } {p(x_{k}, t_k; \dots; x_0, t_0)} \)


W szczególności zachodzi

\(p(x_n, t_n|x_{n-1}, t_{n-1}; \dots; x_0, t_0) = \frac{p(x_n, t_n; x_{n-1}, t_{n-1}; \dots; x_0, t_0)}{p(x_{n-1}, t_{n-1}; \dots; x_0, t_0)} \)


Stosując tę samą argumentację jak dla wektora zmiennych losowych otrzymamy wzór

\(p(x_n, t_n; \dots; x_0, t_0) = p(x_n, t_n| x_{n-1}, t_{n-1}; \dots; x_0, t_0)\, p(x_{n-1}, t_{n-1},|x_{n-2}, x_{n-2}; \dots; x_0, t_0)\, \dots p(x_2, t_2|x_1, t_1; x_0, t_0)\,p(x_1, t_1|x_0, t_0)\, p(x_0, t_0) \)


Innymi słowy, gęstość wielowymiarową dowolnego procesy stochastycznego można otrzymać z warunkowych gęstości jednowymiarowych \(p(x_i, t_i| x_{i-1}, t_{i-1}; \dots, x_0, t_0)\, \) oraz z jednowymiarowej gęstości \(p(x_0, t_0)\).


Z powyższych relacji oraz wzorów redukcyjnych dla gęstości wielowymiarowych wynikają związki przydatne w teorii procesów stochastycznych. Przytoczymy tu najważniejszy z nich


                                                 \(p(x_2|x_0) = \int_{-\infty}^{\infty} p(x_2|x_1, x_0) p(x_1|x_0) dx_1 \)


Dowód tej relacji jest prosty. W pierwszym rzędzie po całką korzystamy z relacji dla gęstości warunkowych :


\[ \int_{-\infty}^{\infty} \frac{p(x_2, x_1, x_0)}{ p(x_1, x_0)} \; \; \frac{ p(x_1, x_0)}{p(x_0)} dx_1 = \int_{-\infty}^{\infty} \frac{p(x_2, x_1, x_0)}{p(x_0)} dx_1 = \frac{1}{p(x_0) }\int_{-\infty}^{\infty} p(x_2, x_1, x_0) dx_1 = \frac{p(x_2, x_0)}{p(x_0) } = p(x_2|x_0) \]


Jeżeli dla gęstości warunkowej zachodzi relacja

\[ p(x_2|x_1, x_0) = p(x_2|x_1)\; \]

wówczas powyższy wzór ma postać


                                                \(p(x_2|x_0) = \int_{-\infty}^{\infty} p(x_2|x_1) p(x_1|x_0) dx_1 \)


Odpowiednik tego równania w teorii procesów stochastycznych nazywa się równaniem Chapmana-Kołmogorowa, które w dalszych rozdziałach wykorzystamy do analizy procesów stochastycznych Markowa.



Równanie Chapmana-Kołmogorowa

Równanie Kramersa-Moyala

Równanie Fokkera-Plancka

Proste i odwrotne równanie Kołmogorowa

Źródło „http://172.16.3.1/ekonofizyka/index.php/PIZL:Procesy_Markowa”