Markov eiendom
I sannsynlighet , en stokastisk prosess tilfredsstiller Markov eiendom hvis og bare hvis den betingede sannsynlighetsfordelingen En prosess som har denne egenskapen kalles en Markov-prosess . For slike prosesser er den beste prognosen vi kan gjøre for fremtiden, med kunnskap om fortid og nåtid, identisk med den beste prognosen vi kan komme med i fremtiden, kun å kjenne nåtiden: hvis vi kjenner nåtiden, kjennskap til fortid gir ikke tilleggsinformasjon som er nyttig for å forutsi fremtiden.
Svak Markov-eiendom (diskret tid, diskret plass)
Definisjon
Dette er den karakteristiske egenskapen til en Markov-kjede : grovt sagt blir spådommen om fremtiden fra nåtiden ikke gjort mer presis av ytterligere informasjon om fortiden, fordi all informasjonen som er nyttig for å forutsi fremtiden, er inneholdt i nåværende tilstand av prosessen. Den svake Markov-eiendommen har flere likeverdige former som alle tilsvarer å observere at den betingede loven om å kjenne fortid, dvs. å kjenne, er en funksjon av bare:
Xikke+1{\ displaystyle X_ {n + 1}}(Xk)0≤k≤ikke{\ displaystyle \ left (X_ {k} \ right) _ {0 \ leq k \ leq n}}Xikke{\ displaystyle X_ {n}}
"Elementær" svak Markov-egenskap -
For alt for enhver sekvens av staterikke≥0,{\ displaystyle n \ geq 0,}(Jeg0,...,Jegikke-1,Jeg,j)∈Eikke+2,{\ displaystyle (i_ {0}, \ ldots, i_ {n-1}, i, j) \ i E ^ {n + 2},}
P(Xikke+1=j∣X0=Jeg0,X1=Jeg1,...,Xikke-1=Jegikke-1,Xikke=Jeg)=P(Xikke+1=j∣Xikke=Jeg).{\ displaystyle {\ begin {align} \ mathbb {P} {\ Big (} X_ {n + 1} = j & \ mid \, X_ {0} = i_ {0}, X_ {1} = i_ {1 }, \ ldots, X_ {n-1} = i_ {n-1}, X_ {n} = i {\ Big)} & = \ mathbb {P} \ left (X_ {n + 1} = j \ mid X_ {n} = i \ right). \ End {align}}}
Vi antar oftest homogene Markov-kjeder , dvs. vi antar at overgangsmekanismen ikke endres over tid. Den svake Markov-eiendommen tar deretter følgende form:
∀ikke≥0,∀(Jeg0,...,Jegikke-1,Jeg,j)∈Eikke+2,{\ displaystyle \ forall n \ geq 0, \ forall (i_ {0}, \ ldots, i_ {n-1}, i, j) \ in E ^ {n + 2},}
P(Xikke+1=j∣X0=Jeg0,X1=Jeg1,...,Xikke-1=Jegikke-1,Xikke=Jeg)=P(X1=j∣X0=Jeg).{\ displaystyle \ mathbb {P} {\ Big (} X_ {n + 1} = j \ mid \, X_ {0} = i_ {0}, X_ {1} = i_ {1}, \ ldots, X_ { n-1} = i_ {n-1}, X_ {n} = i {\ Big)} = \ mathbb {P} \ left (X_ {1} = j \ mid X_ {0} = i \ right). }Denne formen for den svake Markov-egenskapen er sterkere enn den forrige formen, og spesielt resulterer den i det
∀ikke≥0,∀(Jeg,j)∈E2,P(Xikke+1=j∣Xikke=Jeg)=P(X1=j∣X0=Jeg).{\ displaystyle \ forall n \ geq 0, \ forall (i, j) \ i E ^ {2}, \ qquad \ mathbb {P} \ left (X_ {n + 1} = j \ mid X_ {n} = i \ right) = \ mathbb {P} \ left (X_ {1} = j \ mid X_ {0} = i \ right).}I resten av artikkelen vil bare homogene Markov-kjeder bli vurdert. For en interessant anvendelse av ikke- homogene Markov-kjeder til kombinatorisk optimalisering , se artikkelen Simulert annealing .
Den svake Markov-egenskapen for homogene Markov-kjeder har en annen form, mye mer generell enn den forrige, men likevel lik den forrige:
"Generell" svak Markov-eiendom -
For ethvert valg avikke≥0,B∈P(E)⊗IKKE,PÅ∈P(Eikke+1),Jeg∈E,{\ displaystyle n \ geq 0, \ quad B \ i {\ mathcal {P}} (E) ^ {\ otimes {\ mathbb {N}}}, \ quad A \ in {\ mathcal {P}} (E ^ {n + 1}), \ quad i \ i E,}
P((Xikke,Xikke+1,...)∈B|(X0,...,Xikke)∈PÅ,Xikke=Jeg)=P((X0,X1,...)∈B|X0=Jeg).{\ displaystyle {\ mathbb {P}} ((X_ {n}, X_ {n + 1}, \ prikker) \ i B \, | \, (X_ {0}, \ prikker, X_ {n}) \ i A, X_ {n} = i) \; = \; {\ mathbb {P}} ((X_ {0}, X_ {1}, \ prikker) \ i B \, | \, X_ {0} = Jeg).}
Vær oppmerksom på at tidligere og fremtidige hendelser her tar den mest generelle formen mulig, mens den nåværende hendelsen forblir i en bestemt form, og ikke ved en tilfeldighet: Hvis vi erstatter med i ovenstående uttalelse, blir utsagnet falsk generelt, fordi informasjon om fortiden blir nyttig for å forutsi nåtiden (hvor kan den være, nærmere bestemt i spillet ?), og derfra for å forutsi fremtiden.
{(X0,...,Xikke)∈PÅ}{\ displaystyle \ {(X_ {0}, \ prikker, X_ {n}) \ i A \}}{(Xikke,Xikke+1,...)∈B}{\ displaystyle \ {(X_ {n}, X_ {n + 1}, \ prikker) \ i B \}}{Xikke=Jeg}{\ displaystyle \ {X_ {n} = i \}}{Xikke=Jeg}{\ displaystyle \ {X_ {n} = i \}}{Xikke∈VS}{\ displaystyle \ {X_ {n} \ i C \}}Xikke{\ displaystyle X_ {n}}VS{\ displaystyle C}
Moteksempel på tilfeldig vandring på :
Z{\ displaystyle \ mathbb {Z}}
Hvis og vi snakker om en tilfeldig spasertur på Anta at Da, for eksempel,
E=Z{\ displaystyle E = \ mathbb {Z}}sJeg,Jeg+1=1-sJeg,Jeg-1=s,{\ displaystyle p_ {i, i + 1} = 1-p_ {i, i-1} = p,}Z.{\ displaystyle \ mathbb {Z}.}s∈]0,1[.{\ displaystyle p \ in] 0.1 [.}
Pμ(Xikke+1=1 | Xikke∈{0,1} og Xikke-1=0)=0,{\ displaystyle \ mathbb {P} _ {\ mu} (X_ {n + 1} = 1 \ | \ X_ {n} \ in \ {0.1 \} {\ text {and}} X_ {n-1} = 0) = 0,}mens man lett kan finne og slik som
μ{\ displaystyle \ mu}ikke{\ displaystyle n}
Pμ(Xikke+1=1 | Xikke∈{0,1})>0.{\ displaystyle \ mathbb {P} _ {\ mu} (X_ {n + 1} = 1 \ | \ X_ {n} \ in \ {0.1 \})> 0.}På grunn av upresis kunnskap ( ) om nåtiden, gjør viss informasjon om fortiden det mulig å forbedre prognosen: å vite at X n-1 = 0 , utleder vi at X n ikke er null, derfor at X n er lik til 1, så konkluderer vi at X n + 1 ikke kan være lik 1. På den annen side, uten informasjonen X n-1 = 0 , kan vi ikke utelukke at X n + 1 er lik 1.
{Xikke∈{0,1}} {\ displaystyle \ {X_ {n} \ in \ {0.1 \} \} \}
Imidlertid er den tilfeldige gangen en Markov-kjede, og har Markov-egenskapen. Det er ingen motsetning her: Markov-egenskapen sier at når man har presis kunnskap ( X n = i ) om nåtiden, gjør ingen informasjon om fortiden det mulig å forbedre prognosen.
Z{\ displaystyle \ mathbb {Z}}
Det er en sterk Markov-egenskap , knyttet til forestillingen om stoppetid : denne sterke Markov-egenskapen er avgjørende for beviset på viktige resultater (ulike gjentakelseskriterier, sterk lov om store tall for Markov-kjeder).
Betinget uavhengighet
Den "generelle" svake Markov-eiendommen innebærer det
Betinget uavhengighet -
For ethvert valg avikke≥0,B∈P(E)⊗IKKE,PÅ∈P(Eikke+1),Jeg∈E,{\ displaystyle n \ geq 0, \ quad B \ i {\ mathcal {P}} (E) ^ {\ otimes {\ mathbb {N}}}, \ quad A \ in {\ mathcal {P}} (E ^ {n + 1}), \ quad i \ i E,}
P((Xikke,Xikke+1,...)∈B og (X0,...,Xikke)∈PÅ | Xikke=Jeg){\ displaystyle {\ mathbb {P}} ((X_ {n}, X_ {n + 1}, \ prikker) \ i B {\ text {et}} (X_ {0}, \ prikker, X_ {n} ) \ i A \ | \ X_ {n} = i)}
=P((Xikke,Xikke+1,...)∈B | Xikke=Jeg)×P((X0,...,Xikke)∈PÅ | Xikke=Jeg).{\ displaystyle = \; {\ mathbb {P}} ((X_ {n}, X_ {n + 1}, \ prikker) \ i B \ | \ X_ {n} = i) \ ganger {\ mathbb {P }} ((X_ {0}, \ prikker, X_ {n}) \ i A \ | \ X_ {n} = i).}
Denne likheten uttrykker den betingede uavhengigheten mellom fortid og fremtid, vel vitende om nåtiden (vel vitende om det ). Imidlertid, hvis vi sammenligner med den "generelle" svake Markov-egenskapen som nevnt ovenfor, ser vi at egenskapen til homogenitet har gått tapt: den "generelle" svake Markov-egenskapen tilsvarer faktisk den sterkere egenskapen
Xikke=Jeg{\ displaystyle X_ {n} = i}
Betinget uavhengighet og homogenitet -
For ethvert valg avikke≥0,B∈P(E)⊗IKKE,PÅ∈P(Eikke+1),Jeg∈E,{\ displaystyle n \ geq 0, \ quad B \ i {\ mathcal {P}} (E) ^ {\ otimes {\ mathbb {N}}}, \ quad A \ in {\ mathcal {P}} (E ^ {n + 1}), \ quad i \ i E,}
P((Xikke,Xikke+1,...)∈B og (X0,...,Xikke)∈PÅ | Xikke=Jeg){\ displaystyle {\ mathbb {P}} ((X_ {n}, X_ {n + 1}, \ prikker) \ i B {\ text {et}} (X_ {0}, \ prikker, X_ {n} ) \ i A \ | \ X_ {n} = i)}
=P((X0,X1,...)∈B | X0=Jeg)×P((X0,...,Xikke)∈PÅ | Xikke=Jeg).{\ displaystyle = \; {\ mathbb {P}} ((X_ {0}, X_ {1}, \ prikker) \ i B \ | \ X_ {0} = i) \ ganger {\ mathbb {P}} ((X_ {0}, \ prikker, X_ {n}) \ i A \ | \ X_ {n} = i).}
Kriterium
Grunnleggende kriterium - La være en sekvens av uavhengige tilfeldige variabler med samme lov, med verdier i et rom , og enten et målbart kart over i La oss anta at sekvensen er definert av gjentakelsesrelasjonen:
Y=(Yikke)ikke≥0{\ displaystyle Y = (Y_ {n}) _ {n \ geq 0}}F{\ displaystyle F}f{\ displaystyle f}E×F{\ displaystyle E \ times F}E.{\ displaystyle E.}X=(Xikke)ikke≥0{\ displaystyle X = (X_ {n}) _ {n \ geq 0}}
∀ikke≥0,Xikke+1=f(Xikke,Yikke),{\ displaystyle \ forall n \ geq 0, \ qquad X_ {n + 1} = f \ left (X_ {n}, Y_ {n} \ right),}og anta at sekvensen er uavhengig av Then er en homogen Markov-kjede.
Y{\ displaystyle Y}X0.{\ displaystyle X_ {0}.}X{\ displaystyle X}
Samler av klistremerker (
samlekupong ):
Petit Pierre samler portrettene til de elleve spillerne på fotballandslaget, som han finner på klistremerker inne i emballasjen til Cémoi sjokoladestenger; hver gang han kjøper et nettbrett, har han 1 til 11 sjanse til å finne portrettet til spiller nr. (for alt ). Vi legger merke til tilstanden til samlingen av Petit Pierre, etter å ha åpnet emballasjen til hans sjokoladebar. er en Markov-kjede som starter fra , fordi den passer i forrige ramme for valget siden
k{\ displaystyle k}k{\ displaystyle k}Xikke∈P([[1,11]]){\ displaystyle X_ {n} \ i {\ mathcal {P}} ([\! [1,11] \!])}ikke{\ displaystyle n}X=(Xikke)ikke≥0{\ displaystyle X = (X_ {n}) _ {n \ geq 0}}X0=∅{\ displaystyle X_ {0} = \ emptyset}F=[[1,11]], E=P(F), f(x,y)=x∪{y},{\ displaystyle F = [\! [1,11] \!], \ E = {\ mathcal {P}} (F), \ f (x, y) = x \ cup \ {y \},}
Xikke+1=Xikke∪{Yikke},{\ displaystyle X_ {n + 1} = X_ {n} \ cup \ {Y_ {n} \},}der tilfeldige variabler er uavhengige og ensartede tilfeldige variabler på : de er de påfølgende tallene på vignettene hentet fra sjokoladestengene. Gjennomsnittlig tid som kreves for å fullføre samlingen (her antall nettbrett som Petit Pierre må kjøpe i gjennomsnitt for å fullføre samlingen) er, for en samling av vignetter totalt, hvor er det -th harmoniske nummeret . For eksempel sjokoladestenger.
Yikke{\ displaystyle Y_ {n}}[[1,11]]{\ displaystyle [\! [1,11] \!]}IKKE{\ displaystyle N}IKKEHIKKE,{\ displaystyle N \, H_ {N},}HIKKE{\ displaystyle H_ {N}}IKKE{\ displaystyle N}11H11=33,2...{\ displaystyle 11 \, H_ {11} = 33,2 \ dots \ quad}
Merknader:
- Markov-eiendommen stammer fra uavhengigheten til det forblir sant når de har forskjellige lover, og når "gjentakelsesforholdet" avhenger av Forutsetningene i tillegg til uavhengigheten er der bare for å sikre homogeniteten til kjeden av Markov.YJeg ;{\ displaystyle Y_ {i} \;}YJeg{\ displaystyle Y_ {i}}Xikke+1=fikke(Xikke,Yikke){\ displaystyle X_ {n + 1} = f_ {n} \ left (X_ {n}, Y_ {n} \ right)}ikke.{\ displaystyle n.}
- Kriteriet er grunnleggende ved at enhver homogen Markov-kjede kan simuleres nøyaktig via en gjentakelse av skjemaet for en velvalgt funksjon . Mer presist, hvis det er en homogen Markov-kjede, eksisterer det en femtallplate der betegner et sannsynlighetsrom, er en tilfeldig variabel med verdier i og hvor er en sekvens av tilfeldige variabler iid med verdier i og blir definert på og uavhengig, og det finnes en søknad er definert ved i slik at rekkefølgen definert avXikke+1=f(Xikke,Yikke),{\ displaystyle X_ {n + 1} = f \ left (X_ {n}, Y_ {n} \ right),}f{\ displaystyle f}X=(Xikke)ikke≥0{\ displaystyle X = (X_ {n}) _ {n \ geq 0}}(Ω,PÅ,P,X0′,Y),{\ displaystyle (\ Omega, {\ mathcal {A}}, \ mathbb {P}, X_ {0} ^ {\ prime}, Y),}(Ω,PÅ,P){\ displaystyle (\ Omega, {\ mathcal {A}}, \ mathbb {P})}X0′{\ displaystyle X_ {0} ^ {\ prime}}E{\ displaystyle E}Y=(Yikke)ikke≥0{\ displaystyle Y = (Y_ {n}) _ {n \ geq 0}}F, {\ displaystyle F, \} X0′{\ displaystyle X_ {0} ^ {\ prime}}Y{\ displaystyle Y}(Ω,PÅ,P){\ displaystyle (\ Omega, {\ mathcal {A}}, \ mathbb {P})}f {\ displaystyle f \}E×F{\ displaystyle E \ times F}E,{\ displaystyle E,}X′=(Xikke′)ikke≥0{\ displaystyle X ^ {\ prime} = (X_ {n} ^ {\ prime}) _ {n \ geq 0}}
Xikke+1′=f(Xikke′,Yikke){\ displaystyle X_ {n + 1} ^ {\ prime} = f (X_ {n} ^ {\ prime}, Y_ {n})}
har samme lov som følgende
X=(Xikke)ikke≥0.{\ displaystyle X = (X_ {n}) _ {n \ geq 0}.}
- Vi kan til og med velge og velge uavhengige og ensartede variabler over intervallet [0,1], noe som er praktisk for studiet av Markov-kjeder via Monte-Carlo-metoder , dvs. ved simulering av "typiske" baner av Markov-kjeder.F=[0,1],{\ displaystyle F = [0,1],}Yj{\ displaystyle Y_ {j}}
Sterk Markov-eiendom (diskret tid, diskret plass)
Pause tid
Legg merke til stammen som genereres deretter. Når det gjelder tilfeldige variabler med verdier i et endelig eller tellbart tilstandsrom , tilhører en del hvis og bare hvis den eksisterer slik at
Fikke{\ displaystyle {\ mathcal {F}} _ {n}}(Xk)0≤k≤ikke.{\ displaystyle (X_ {k}) _ {0 \ leq k \ leq n}.}E{\ displaystyle E}PÅ⊂Ω{\ displaystyle A \ subset \ Omega}Fikke{\ displaystyle {\ mathcal {F}} _ {n}}B⊂Eikke+1{\ displaystyle B \ delmengde E ^ {n + 1}}
PÅ={(X0,X1,...,Xikke)∈B}={ω∈Ω | (Xk(ω))0≤k≤ikke∈B}.{\ displaystyle {\ begin {align} A & = \ venstre \ {(X_ {0}, X_ {1}, \ prikker, X_ {n}) \ i B \ høyre \} \\ & = \ venstre \ { \ omega \ i \ Omega \ | \ \ venstre (X_ {k} (\ omega) \ høyre) _ {0 \ leq k \ leq n} \ i B \ høyre \}. \ slutt {justert}}}
Definisjon - En tilfeldig variabel er en stoppetid for Markov-kjeden hvis
T:Ω→IKKE∪{∞}{\ displaystyle T: \ Omega \ rightarrow \ mathbb {N} \ cup \ {\ infty \}}(Xikke)ikke≥0{\ displaystyle (X_ {n}) _ {n \ geq 0}}
∀ikke∈IKKE,{T=ikke}∈Fikke,{\ displaystyle \ forall n \ in \ mathbb {N}, \ quad \ {T = n \} \ in {\ mathcal {F}} _ {n},}
eller, hva er ekvivalent, hvis
∀ikke∈IKKE,{T≤ikke}∈Fikke.{\ displaystyle \ forall n \ i \ mathbb {N}, \ quad \ {T \ leq n \} \ i {\ mathcal {F}} _ {n}.}
Tolkning. Tenk deg at de tilfeldige variablene representerer resultatene til en spiller under påfølgende deler av et spill, og som representerer den delen som spilleren bestemmer seg for å slutte å spille: er en tidsavbrudd hvis beslutningen om å stoppe blir tatt som en funksjon av resultatene av spillene som allerede er spilt på stopptidspunktet, dvs. hvis det for alle er en delmengde som:
Xk{\ displaystyle X_ {k}}T{\ displaystyle T}T{\ displaystyle T}ikke{\ displaystyle n}Bikke⊂Eikke+1{\ displaystyle B_ {n} \ delmengde E ^ {n + 1}}
{T=ikke}⇔{(X0,X1,...,Xikke)∈Bikke}.{\ displaystyle \ {T = n \} \ quad \ Leftrightarrow \ quad \ left \ {(X_ {0}, X_ {1}, \ dots, X_ {n}) \ in B_ {n} \ right \}. }
Dette forhindrer spilleren i å ta sin beslutning basert på resultatene av fremtidige spill: det tilsvarer antagelsen om at juks og gaven med dobbeltsyn er ekskludert.
For en definisjon av nedetid i en generell situasjon kan vi se på
Eksempler:
De tilfeldige variablene nedenfor er nedetid:
- La være en tilstand av Markov-kjeden; vi kaller tidspunktet for første retur i , og vi betegner det tilfeldig variabel definert nedenfor:j{\ displaystyle j}j,{\ displaystyle j,}Rj,{\ displaystyle R_ {j},}
Rj={inf{ikke>0|Xikke=j}hvis{ikke>0|Xikke=j}≠∅,+∞Hvis ikke.{\ displaystyle R_ {j} = \ left \ {{\ begin {array} {lll} \ inf \ left \ {n> 0 \, \ vert \, X_ {n} = j \ right \} && {\ textrm {si}} \ quad \ left \ {n> 0 \, \ vert \, X_ {n} = j \ right \} \ neq \ emptyset, \\ + \ infty && {\ textrm {ellers.}} \ end {array}} \ høyre.}
Vi slutter derfor å spille så snart vi ankommer staten, men uten å telle den opprinnelige tilstanden. Hvis vi erstatter med i definisjonen, snakker vi om inngangstid , snarere enn returtid .
j,{\ displaystyle j,}{ikke>0}{\ displaystyle \ {n> 0 \}}{ikke≥0}{\ displaystyle \ {n \ geq 0 \}}- På samme måte for en del av en samtale øyeblikk for første oppføring i og en noterer den tilfeldige variabelen definert nedenfor:VS{\ displaystyle C}E,{\ displaystyle E,}VS,{\ displaystyle C,}TVS,{\ displaystyle T_ {C},}
TVS={inf{ikke≥0|Xikke∈VS}hvis{ikke≥0|Xikke∈VS}≠∅,+∞Hvis ikke.{\ displaystyle T_ {C} = \ left \ {{\ begin {array} {lll} \ inf \ left \ {n \ geq 0 \, \ vert \, X_ {n} \ in C \ right \} && { \ textrm {si}} \ quad \ left \ {n \ geq 0 \, \ vert \, X_ {n} \ i C \ right \} \ neq \ emptyset, \\ + \ infty && {\ textrm {ellers. }} \ end {array}} \ right.}
- Øyeblikkelig av -th retur i notert og definert av gjentakelse av:k{\ displaystyle k}Jeg,{\ displaystyle jeg,}RJeg(k){\ displaystyle R_ {i} ^ {(k)}}
RJeg(k)={inf{ikke>RJeg(k-1)|Xikke=Jeg}hvis{ikke>RJeg(k)|Xikke=Jeg}≠∅,+∞Hvis ikke.,{\ displaystyle R_ {i} ^ {(k)} = \ left \ {{\ begin {array} {lll} \ inf \ left \ {n> R_ {i} ^ {(k-1)} \, \ grønn \, X_ {n} = i \ høyre \} && {\ textrm {si}} \ quad \ venstre \ {n> R_ {i} ^ {(k)} \, \ grønn \, X_ {n} = i \ right \} \ neq \ emptyset, \\ + \ infty && {\ textrm {ellers.}} \ end {array}} \ right.,}
eller igjen øyeblikkelig av -th oppføring er ta.
k{\ displaystyle k}VS,{\ displaystyle C,}
Moteksempel:
For og i vi stiller Vi kan vise at det ikke er en stoppetid, men at det derimot er en stoppetid.
Jeg{\ displaystyle i}j{\ displaystyle j}E,{\ displaystyle E,}T=inf{ikke≥0|Xikke=Jeg og Xikke+1=j}.{\ displaystyle T = \ inf \ left \ {n \ geq 0 \, \ vert \, X_ {n} = i {\ text {and}} X_ {n + 1} = j \ right \}.}T{\ displaystyle T}T+1{\ displaystyle T + 1}
Definisjon og eiendom - Enten nedetid og kalles en hendelse før hvis:
T{\ displaystyle T \,}PÅ∈PÅ : PÅ{\ displaystyle A \ i {\ mathcal {A}} \: \ A \,}T{\ displaystyle T \,}
∀ikke∈IKKE, PÅ∩(T=ikke)∈Fikke.{\ displaystyle \ forall n \ in \ mathbb {N}, \ qquad \ A \ cap (T = n) \ in {\ mathcal {F}} _ {n}.}
Settet med hendelser før å danne en understamme av kalt stamme før og bemerketT{\ displaystyle T \,}PÅ{\ displaystyle {\ mathcal {A}}}T{\ displaystyle T \,}FT.{\ displaystyle {\ mathcal {F}} _ {T}.}
Tolkning. Vi vet at det eksisterer en delmengde for alt:
ikke{\ displaystyle n}Bikke⊂Eikke+1{\ displaystyle B_ {n} \ delmengde E ^ {n + 1}}
{T=ikke}⇔{(X0,X1,...,Xikke)∈Bikke}.{\ displaystyle \ {T = n \} \ quad \ Leftrightarrow \ quad \ left \ {(X_ {0}, X_ {1}, \ dots, X_ {n}) \ in B_ {n} \ right \}. }
Hvis dette dessuten betyr at det for alt eksisterer en delmengde slik at
PÅ∈FT,{\ displaystyle A \ i {\ mathcal {F}} _ {T},}ikke{\ displaystyle n}Dikke⊂Bikke{\ displaystyle D_ {n} \ delmengde B_ {n}}
{PÅ∩{T=ikke}}⇔{(X0,X1,...,Xikke)∈Dikke}.{\ displaystyle \ left \ {A \ cap \ {T = n \} \ right \} \ quad \ Leftrightarrow \ quad \ left \ {(X_ {0}, X_ {1}, \ dots, X_ {n}) \ i D_ {n} \ høyre \}.}
På en måte tester vi om hendelsen inntreffer eller ikke ved å observere oppførselen til sekvensen til tid ved misbruk av språk, noen ganger sier vi at hendelsen er relatert til sekvensenPÅ{\ displaystyle A}(Xk)0≤k≤ikke{\ displaystyle (X_ {k}) _ {0 \ leq k \ leq n}}T :{\ displaystyle T \:}PÅ{\ displaystyle A}(X0,X1,...,XT).{\ displaystyle (X_ {0}, X_ {1}, \ prikker, X_ {T}).}
Sterk Markov-eiendom
I den generelle uttalelsen om den svake Markov-egenskapen kan "nåværende" øyeblikk, n , erstattes av et tilfeldig "nåværende" øyeblikk , forutsatt at det er en stoppetid :
T,{\ displaystyle T,}T{\ displaystyle T}
Sterk Markov eiendom - For en stopper tid av og et element av
vi har
T{\ displaystyle T}X,{\ displaystyle X,}PÅ{\ displaystyle A}FT,{\ displaystyle {\ mathcal {F}} _ {T},}
Pμ((XT+ikke)ikke≥0∈B og PÅ | T<+∞ og XT=Jeg)=PJeg((Xikke)ikke≥0∈B)Pμ(PÅ | T<+∞ og XT=Jeg).{\ displaystyle {\ begin {align} {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ i B {\ text {and}} A \ & \ vert \ T <+ \ infty {\ text {and}} X_ {T} = i {\ Big)} \\ & = {\ mathbb {P}} _ {i} \ left (\ left (X_ {n} \ right) _ {n \ geq 0} \ in B \ right) {\ mathbb {P}} _ {\ mu} \ left (A \ \ vert \ T <+ \ infty {\ text {et}} X_ {T} = i \ right). \ end {align}}}
Dette kan tolkes som en form for uavhengighet (uavhengig betinget ) mellom fortid og fremtid, for å vite hva som skjer for øyeblikket, dvs. faktisk, spesifisert når vi får
PÅ,{\ displaystyle A,}(XT+ikke)ikke≥0∈B,{\ displaystyle {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ i B,}T,{\ displaystyle T,}T,{\ displaystyle T,}{T<+∞ og XT=Jeg}.{\ displaystyle \ {T <+ \ infty {\ text {and}} X_ {T} = i \}.}PÅ=Ω,{\ displaystyle A = \ Omega,}
Pμ((XT+ikke)ikke≥0∈B | T<+∞ og XT=Jeg)=PJeg((Xikke)ikke≥0∈B){\ displaystyle {\ begin {align} {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ i B \ \ vert \ T <+ \ infty {\ text {et}} X_ {T} = i {\ Big)} & = {\ mathbb {P}} _ {i} \ left (\ left (X_ { n} \ høyre) _ {n \ geq 0} \ i B \ høyre) \ slutt {justert}}}
deretter, tilbake til et generelt element av , får vi følgende formulering:
PÅ{\ displaystyle A}FT{\ displaystyle {\ mathcal {F}} _ {T}}
Betinget uavhengighet - For en nedetid på og et element av
vi har
T{\ displaystyle T}X,{\ displaystyle X,}PÅ{\ displaystyle A}FT,{\ displaystyle {\ mathcal {F}} _ {T},}
Pμ((XT+ikke)ikke≥0∈B og PÅ | T<+∞ og XT=Jeg)=Pμ((XT+ikke)ikke≥0∈B | T<+∞ og XT=Jeg)Pμ(PÅ | T<+∞ og XT=Jeg).{\ displaystyle {\ begin {align} {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ i B & {\ text {og}} A \ \ vert \ T <+ \ infty {\ text {and}} X_ {T} = i {\ Big)} \\ & = {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ i B \ \ vert \ T <+ \ infty {\ text {and} } X_ {T} = i {\ Big)} {\ mathbb {P}} _ {\ mu} \ left (A \ \ vert \ T <+ \ infty {\ text {and}} X_ {T} = i \ høyre). \ end {align}}}
Spesielt tilfelle returtider
I tilfelle der Markov-kjeden er irredusibel , hvor staten er tilbakevendende , og der stoppetiden som er vurdert er øyeblikket av k-th tilbake til det som er nevnt ovenfor, ser vi at ved gjentakelse av statenJeg{\ displaystyle i}T{\ displaystyle T}Jeg,{\ displaystyle jeg,}RJegk,{\ displaystyle R_ {i} ^ {k},}Jeg,{\ displaystyle jeg,}
Pμ(T<+∞)=1,{\ displaystyle {\ mathbb {P}} _ {\ mu} {\ Big (} T <+ \ infty {\ Big)} = 1,}
og det per definisjon av RJegk,{\ displaystyle R_ {i} ^ {k},}
Pμ(XT=Jeg)=1.{\ displaystyle {\ mathbb {P}} _ {\ mu} {\ Big (} X_ {T} = i {\ Big)} = 1.}
Dermed er forholdene som vises i den sterke Markov-eiendommen nesten sikre . Men så snart vi har Her gir det det
Pμ(VS)=1,{\ displaystyle {\ mathbb {P}} _ {\ mu} (C) = 1,}Pμ(D|VS)=Pμ(D).{\ displaystyle {\ mathbb {P}} _ {\ mu} (D \, | \, C) = {\ mathbb {P}} _ {\ mu} (D).}
Pμ((XT+ikke)ikke≥0∈B og PÅ)=Pμ((XT+ikke)ikke≥0∈B)Pμ(PÅ)=PJeg((Xikke)ikke≥0∈B)Pμ(PÅ).{\ displaystyle {\ begin {align} {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ i B {\ text {et}} A {\ Big)} & = {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ in B {\ Big)} {\ mathbb {P}} _ {\ mu} \ left (A \ right) \\ & = {\ mathbb {P}} _ {i} \ venstre (\ venstre (X_ {n} \ høyre) _ {n \ geq 0} \ i B \ høyre) {\ mathbb {P}} _ {\ mu} \ venstre (A \ høyre). \ slutt {justert} }}
For alle k er det derfor ( ubetinget ) uavhengighet mellom hendelsene som går foran k- th passasje i og hendelser som følger k- th passasje i Videre har banen til Markov-kjeden etter k- th passasje den samme lov som banen til en Markov-kjede som starter fra tidspunkt 0: den starter på nytt som ny, uavhengig av hva som kan ha skjedd før. Det sies da at suksessive returtider er tider for fornyelse eller ellers tider for regenerering .
Jeg{\ displaystyle i}Jeg.{\ displaystyle i.}Jeg, (XT+ikke)ikke≥0,{\ displaystyle i, \ (X_ {T + n}) _ {n \ geq 0},}Jeg{\ displaystyle i}
Delene av banene mellom to påfølgende regenerasjoner danner deretter en serie av tilfeldige variabler iid (unntatt første stykke, uavhengig, men muligens av annen lov, hvis Markov-kjeden ikke starter fra tidspunkt 0). Dette fører til et bevis på den sterke loven om store tall for Markov-kjeder utledet fra den sterke loven om store tall for variabler . Det gir også en metode for å konstruere konfidensintervaller for parametrene som er av interesse i Markov-kjeden.
Jeg{\ displaystyle i}
Svak Markov-egenskap (kontinuerlig tid, diskret rom)
Matematisk, hvis X ( t ), t > 0, er en stokastisk prosess, og hvis x ( t ), t > 0, er en funksjon, er Markov-egenskapen definert som:
P[X(t+h)=y|X(s)=x(s),s≤t]=P[X(t+h)=y|X(t)=x(t)],∀h>0.{\ displaystyle \ mathrm {P} {\ big [} X (t + h) = y \, | \, X (s) = x (s), s \ leq t {\ big]} = \ mathrm {P } {\ big [} X (t + h) = y \, | \, X (t) = x (t) {\ big]}, \ quad \ forall h> 0.}Generelt brukes en antagelse om homogenitet over tid, det vil si:
P[X(t+h)=y|X(t)=x(t)]=P[X(h)=y|X(0)=x(0)],∀t,h>0.{\ displaystyle \ mathrm {P} {\ big [} X (t + h) = y \, | \, X (t) = x (t) {\ big]} = \ mathrm {P} {\ big [ } X (h) = y \, | \, X (0) = x (0) {\ big]}, \ quad \ forall t, h> 0.}I noen tilfeller kan en tilsynelatende ikke-markovsk prosess fremdeles ha markovske representasjoner ved å endre begrepet nåværende og fremtidig tilstand . La X være et tidsintervall , og Y en prosess, slik at hver tilstand av Y representerer et tidsintervall på X :
Y(t)={X(s):s∈[på(t),b(t)]}.{\ displaystyle Y (t) = {\ big \ {} X (s): s \ i [a (t), b (t)] \, {\ big \}}.}Hvis Y er Markovian, er det den Markovian-representasjonen av X og X som da kalles andre ordens Markov-prosess. Prosesser med høyere ordre er definert på samme måte.
Chapman-Kolmogorov-Smoluchowski ligning
Det er en integrert ligning som sikrer konsistensen av prosessen:
s(x3,t3|x1,t1)=∫s(x3,t3|x2,t2)s(x2,t2|x1,t1)dx2t3>t2>t1{\ displaystyle p (x_ {3}, t_ {3} | x_ {1}, t_ {1}) = \ int p (x_ {3}, t_ {3} | x_ {2}, t_ {2}) p (x_ {2}, t_ {2} | x_ {1}, t_ {1}) dx_ {2} \ quad t_ {3}> t_ {2}> t_ {1}}.
Det blir til en delvis differensialligning, lettere å manipulere, som tar navnet Fokker-Planck ligning .
Referanser
- Norris, J.: Markov Chains .
- (en) YK Lin , Probabilistic Theory of Structural Dynamics , New York, Robert E. Krieger Publishing Company,Juli 1976, 368 s. ( ISBN 0882753770 )
- Philippe A. Martin, Introduksjon til stokastiske prosesser i fysikk
- Ch. Ancey, Stokastiske simuleringer - Anvendelser på geofysiske strømmer og turbulens
Se også
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">