Gibbs prøvetaking

Natur	Algoritme
Oppfinnere	Stuart Geman ( in ) , Donald Geman ( in )
Oppfinnelsesdato	1984
Navngitt med henvisning til	Josiah Willard Gibbs
Aspekt av	Monte-Carlo-metoden av Markov-kjeder

Den Gibbs sampling er en MCMC . Gitt en sannsynlighetsfordeling $π$ på et univers $Ω$ , definerer denne algoritmen en Markov-kjede hvis stasjonære fordeling er $π$ . Det gjør det således mulig å tilfeldig tegne et element av $Ω i$ henhold til loven $π$ (vi snakker om prøvetaking ).

Introduksjon

Som med alle Markov-kjede Monte-Carlo-metoder,

vi plasserer oss i et vektorrom Ɛ med begrenset dimensjon n ;
vi vil generere N-vektorer x ( i ) tilfeldig i henhold til en sannsynlighetsfordeling π;
for å forenkle problemet, bestemmer vi en fordeling q x ( i ) som tillater å tilfeldig generere x ( i + 1) fra x ( i ) .

Spesifisiteten til Gibbs-prøvetaking består i å "dele" q x ( i ) i n betingede sannsynligheter:

den første komponenten i vektoren, x ( i + 1) 1 , genereres fra den betingede sannsynligheten π ( x 1 | x ( i ) 2 , x ( i ) 3 ,…, x ( i ) n );
den andre komponenten i vektoren, x ( i + 1) 2 , genereres fra den betingede sannsynligheten π ( x 2 | x ( i + 1) 1 , x ( i ) 3 ,…, x ( i ) n );
komponenten j av vektoren, x ( i + 1) j , genereres fra den betingede sannsynligheten π ( x j | x ( i + 1) 1 , x ( i + 1) 2 ,…, x ( i + 1) j - 1 , x ( i ) j + 1 ,…, x ( i ) n ).

Vi erstatter derfor problemet med tilfeldig generering av x ( i + 1) med n problemer som vi håper blir enklere.

Prinsipp

La $X = ( X i , i \in S ) være$ en variabel med distribusjon $π$ i området til stedene $S = ⟦1; n ⟧$ mot tilstands $Ω$ . For $x = ( x 1 ;\dots; x n ) \in Ω$ og betingede tettheter $π i ( x i | x \neg i )$ der $x \neg i = ( x j , j \neq i ), i \in S$ , konstruerer vi Gibbs sampler på $π$ -variantkjerner: $P i ( x , y ) = π i ( y i | x \neg i ) 1 ( x \neg i = y \neg i )$ .

Systematisk skanneprøver

Vi besøker $S$ sekvensielt, slapper av ved hvert trinn $i$ verdien i henhold til loven $π i$ betinget av den nåværende tilstanden. Overgangen fra $x$ til $y$ skrives: $P \ left (x; y \ right) = \ prod _ {{i = 1}} ^ {n} \ pi _ {i} \ left (y_ {i} | y_ {1}, \ dotsc, y _ { {i-1}}, x _ {{i + 1}}, \ dotsc, x_ {n} \ høyre)$

Tilfeldig feieprøve

La $ν$ sannsynligheten for $S$ aldri være null . Ved hvert trinn velges et sted $i$ med sannsynligheten $v i > 0$ og verdien y blir avslappet i henhold til den betingede loven $π i$ i den nåværende tilstanden. Overgangen er skrevet: $P \ left (x; y \ right) = \ sum _ {{i = 1}} ^ {n} \ nu _ {i} \ pi _ {i} \ left (y_ {i} | x _ {{\ neg {i}}} \ høyre) {\ mathbf {1}} \ left (x _ {{\ neg i}} = y _ {{\ neg i}} \ høyre)$

Eiendommer

Hvis $Ω$ er endelig, er overgangen $P$ strengt positiv og konvergenshastigheten til $νP k$ er eksponensiell.
$π$ kan være kjent opp til en multiplikasjonsfaktor.

Bibliografi

C. Gaetan og X. Guyon , kap. 9 “Simulering av romlige modeller” , i Jean-Jacques Droesbeke, Michel Lejeune og Gilbert Saporta, Statistisk analyse av romlige data: 10 th Studier dager i statistikk, 4-8 november 2002 Marseille, Société française de statistique , Paris, Technip,2006, 468 s. ( ISBN 978-2-7108-0873-2 , varsel BNF n o FRBNF40225776 )