M-estimator

I statistikk , M-estimatorene utgjør en stor klasse av statistikk som oppnås ved minimalisering av en funksjon avhengig av dataene og parametrene til modellen. Prosessen med å beregne en M-estimator kalles M-estimat . Mange statistiske estimeringsmetoder kan betraktes som M-estimatorer. Avhengig av funksjonen som skal minimeres under M-estimeringen, kan M-estimatorer gi mer robuste estimatorer enn mer tradisjonelle metoder, for eksempel metoden med minste kvadrat .

Definisjon

M-estimatorer ble introdusert i 1964 av Peter Huber som en generalisering av maksimal sannsynlighetsestimering til minimering av en funksjon $ρ$ over datasettet. Dermed estimeres M-estimatoren (e) assosiert med dataene og funksjonen $ρ$ av

{\ displaystyle {\ hat {\ theta}} = \ operatorname {argmin} _ {\ theta} \ left (\ sum _ {i = 1} ^ {n} \ rho (x_ {i}, \ theta) \ right )}

Den M M-estimatoren kommer derfor fra den maksimale sannsynlighet ( maximum likelihood-type på engelsk) og maksimum likelihood estimatorer er et spesielt tilfelle av M-estimatorer.

Typer

Å løse minimeringsproblemet innebærer ofte å differensiere målfunksjonen. For å søke , består en enkel metode i å søke etter verdier som ${\ hat {\ theta}}$

{\ displaystyle {\ frac {\ partial} {\ partial \ theta}} \ left (\ sum _ {i = 1} ^ {n} \ rho (x_ {i}, \ theta) \ right) = 0.}

Hvis denne differensieringen er mulig, sies M-estimatoren å være av typen $ψ$ ; ellers sies det å være av typen $ρ$ .

Eksempler på M-estimatorer

Blant de kjente eksemplene på M-estimatorer kan vi sitere:

${\ displaystyle \ rho (x) = x ^ {2}}$ , som tilsvarer å bruke metoden med minste kvadrat
${\ displaystyle \ rho (x) = | x |}$
${\ displaystyle \ rho _ {k} (x) = {\ begin {cases} {\ frac {x ^ {2}} {2}} & {\ text {si}} | x | <k \\ k ( | x | - {\ frac {k} {2}}) og {\ text {si}} | x | \ geqslant k \ end {cases}}}$ ( Huber-funksjon (i) )
${\ displaystyle \ rho _ {c} (x) = {\ frac {c ^ {2}} {2}} \ ln \ left (1+ \ left ({\ frac {x} {c}} \ right) ^ {2} \ høyre)}$ (Lorentz-funksjon)
${\ displaystyle \ rho _ {c} (x) = {\ frac {x ^ {2}} {2}} \ left (1 - {\ frac {x ^ {2}} {2c ^ {2}}} + {\ frac {x ^ {4}} {6c ^ {4}}} \ høyre)}$ ( Tukey's bipoids )

Relaterte artikler

Metode for minste kvadrater

Referanser

Peter J. Huber , Robust Statistics , Wiley, 1981, 2004