Gibbs prøveudtagning

Natur	Algoritme
Opfindere	Stuart Geman ( in ) , Donald Geman ( in )
Dato for opfindelsen	1984
Navngivet med henvisning til	Josiah Willard Gibbs
Aspekt af	Monte-Carlo-metode fra Markov-kæder

Den Gibbs sampling er en MCMC . Givet en sandsynlighedsfordeling $π$ på et univers $Ω$ , definerer denne algoritme en Markov-kæde, hvis stationære fordeling er $π$ . Det gør det således muligt at tilfældigt tegne et element af $Ω i$ henhold til loven $π$ (vi taler om prøveudtagning ).

Introduktion

Som med alle Markov-kæde Monte-Carlo-metoder,

vi placerer os selv i et vektorrum Ɛ med begrænset dimension n ;
vi vil tilfældigt generere N-vektorer x ( i ) ifølge en sandsynlighedsfordeling π;
for at forenkle problemet bestemmer vi en fordeling q x ( i ), der tillader tilfældigt at generere x ( i + 1) fra x ( i ) .

Specificiteten af Gibbs prøveudtagning består i at "opdele" q x ( i ) i n betingede sandsynligheder:

den første komponent i vektoren, x ( i + 1) 1 , genereres ud fra den betingede sandsynlighed π ( x 1 | x ( i ) 2 , x ( i ) 3 ,…, x ( i ) n );
den anden komponent i vektoren, x ( i + 1) 2 , genereres ud fra den betingede sandsynlighed π ( x 2 | x ( i + 1) 1 , x ( i ) 3 ,…, x ( i ) n );
komponenten j af vektoren, x ( i + 1) j , genereres ud fra den betingede sandsynlighed π ( x j | x ( i + 1) 1 , x ( i + 1) 2 ,…, x ( i + 1) j - 1 , x ( i ) j + 1 ,…, x ( i ) n ).

Vi erstatter derfor problemet med tilfældig generering af x ( i + 1) med n problemer, som vi håber vil være enklere.

Princip

Lad $X = ( X i , i \in S ) være$ en variabel med fordeling $π$ i lokalet $S = ⟦1; n ⟧$ mod tilstandsrummet $Ω$ . For $x = ( x 1 ;\dots; x n ) \in Ω$ og de betingede tætheder $π i ( x i | x \neg i )$ hvor $x \neg i = ( x j , j \neq i ), i \in S$ , konstruerer vi Gibbs sampler på $π$ -invariant kerner : $P i ( x , y ) = π i ( y jeg | x \neg i ) 1 ( x \neg jeg = y \neg i )$ .

Systematisk scanprøveudtagning

Vi besøger $S$ sekventielt og slapper af ved hvert trin $i$ værdien i henhold til loven $π i$ betinget af den aktuelle tilstand. Overgangen fra $x$ til $y$ skrives: $P \ left (x; y \ right) = \ prod _ {{i = 1}} ^ {n} \ pi _ {i} \ left (y_ {i} | y_ {1}, \ dotsc, y _ { {i-1}}, x _ {{i + 1}}, \ dotsc, x_ {n} \ højre)$

Tilfældig fejeprøver

Lad $ν$ en aldrig nul sandsynlighed for $S$ . Ved hvert trin vælges et sted $i$ med sandsynligheden $v i > 0,$ og værdien y lempes i henhold til den betingede lov $π i$ i den aktuelle tilstand. Overgangen er skrevet: $P \ left (x; y \ right) = \ sum _ {{i = 1}} ^ {n} \ nu _ {i} \ pi _ {i} \ left (y_ {i} | x _ {{\ neg {i}}} \ højre) {\ mathbf {1}} \ venstre (x _ {{\ neg i}} = y _ {{\ neg i}} \ højre)$

Ejendomme

Hvis $Ω$ er endelig, er overgangen $P$ strengt positiv, og konvergenshastigheden af $νP k$ er eksponentiel.
$π$ kan kendes op til en multiplikativ faktor.

Bibliografi

C. Gaetan og X. Guyon , kap. 9 ”Simulering af rumlige modeller” , i Jean-Jacques Droesbeke, Michel Lejeune og Gilbert Saporta, Statistisk analyse af geodata: 10 th Study dage i statistikken, 4-8 november 2002 Marseille, Société française de statistique , Paris, Technip,2006, 468 s. ( ISBN 978-2-7108-0873-2 , note BNF n o FRBNF40225776 )