Gjennomsnittlig kvadratfeil
I statistikk er den gjennomsnittlige kvadratfeilen til en estimator for en parameter av dimensjon 1 ( gjennomsnittlig kvadratfeil ( ), på engelsk) et mål som karakteriserer "presisjonen" til denne estimatoren. Det kalles oftere "kvadratfeil" ("mener" å være underforstått); det kalles noen ganger også ”kvadratisk risiko”.
θ^{\ displaystyle {\ hat {\ theta}}}
θ{\ displaystyle \ theta}
MSE{\ displaystyle \ operatorname {MSE}}![{\ displaystyle \ operatorname {MSE}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/09c4bfb0f1fb9211353b4c7d0b8169711a008b92)
Roten gjennomsnittlig kvadratfeil er definert av:
Definisjon - MSE(θ^)=defE[(θ^-θ)2]{\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}}) \, {\ overset {\ text {def}} {=}} \, \ mathbb {E} \ left [({\ hat {\ theta}} - \ theta) ^ {2} \ right]}
Eiendommer
Uttrykk
Vi kan uttrykke den gjennomsnittlige kvadrerte feilen som en funksjon av forspenningen og variansen til estimatoren:
Teorem - MSE(θ^)=Partiskhet(θ^)2+Var(θ^){\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}}) = \ operatorname {Bias} ({\ hat {\ theta}}) ^ {2} + \ operatorname {Var} ({\ hat {\ theta}})}
Demonstrasjon
Først tilbakekalling som og er konstanter, som tillater bruk av lineariteten forventning : .
Partiskhet(θ^)=defE(θ^)-θ{\ displaystyle \ operatorname {Bias} ({\ hat {\ theta}}) \, {\ overset {\ text {def}} {=}} \, \ mathbb {E} ({\ hat {\ theta}} ) - \ theta}
E(θ^){\ displaystyle \ mathbb {E} ({\ hat {\ theta}})}
E(vs.1X+vs.2)=vs.1E(X)+vs.2{\ displaystyle \ mathbb {E} (c_ {1} X + c_ {2}) = c_ {1} \ mathbb {E} (X) + c_ {2}}![{\ displaystyle \ mathbb {E} (c_ {1} X + c_ {2}) = c_ {1} \ mathbb {E} (X) + c_ {2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d2241cb217ef8a4d53f3255dfa4598af128215dc)
MSE(θ^)=defE[(θ^-θ)2]=E[(θ^-E(θ^)+Partiskhet(θ^))2]=E[(θ^-E(θ^))2+2(θ^-E(θ^))Partiskhet(θ^)+Partiskhet(θ^)2]=E[(θ^-E(θ^))2]+2E(θ^-E(θ^))Partiskhet(θ^)+Partiskhet(θ^)2=Var(θ^)+2(E(θ^)-E(θ^))Partiskhet(θ^)+Partiskhet(θ^)2=Var(θ^)+Partiskhet(θ^)2{\ displaystyle {\ begin {align} \ operatorname {MSE} ({\ hat {\ theta}}) \, {\ overset {\ text {def}} {=}} \, \ mathbb {E} \ left [ ({\ hat {\ theta}} - \ theta) ^ {2} \ right] & = \ mathbb {E} \ left [\ left ({\ hat {\ theta}} - \ mathbb {E} ({\ hatt {\ theta}}) + \ operatorname {Bias} ({\ hat {\ theta}}) \ høyre) ^ {2} \ høyre] \\ & = \ mathbb {E} \ venstre [\ venstre ({\ hatt {\ theta}} - \ mathbb {E} ({\ hat {\ theta}}) \ høyre) ^ {2} +2 \ venstre ({\ hat {\ theta}} - \ mathbb {E} ({ \ hat {\ theta}}) høyre) \ operatorname {Bias} ({\ hat {\ theta}}) + \ operatorname {Bias} ({\ hat {\ theta}}) ^ {2} \ right] \ \ & = \ mathbb {E} \ left [\ left ({\ hat {\ theta}} - \ mathbb {E} ({\ hat {\ theta}}) \ right) ^ {2} \ right] +2 \ mathbb {E} \ left ({\ hat {\ theta}} - \ mathbb {E} ({\ hat {\ theta}}) \ right) \ operatorname {Bias} ({\ hat {\ theta}}) + \ operatorname {Bias} ({\ hat {\ theta}}) ^ {2} \\ & = \ operatorname {Var} ({\ hat {\ theta}}) + 2 \ left (\ mathbb {E} ( {\ hat {\ theta}}) - \ mathbb {E} ({\ hat {\ theta}}) til høyre) \ operatorname {Bias} ({\ hat {\ theta}}) + \ operatorname {Bias} ( {\ hat {\ theta}}) ^ {2} \\ & = \ operatorname { Var} ({\ hat {\ theta}}) + \ operatorname {Bias} ({\ hat {\ theta}}) ^ {2} \ end {aligned}}}
Skilt
Konsekvens - Den variansen er alltid positiv eller null , .
MSE(θ^)≥0{\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}}) \ geq 0}![{\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}}) \ geq 0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/64fbf731a0a03cf5ee1a51a66dff399c769ba508)
Minimalisering
Teorem - Tenk på en objektiv estimator av parameteren , slik at (hvis den gjennomsnittlige kvadrerte feilen er null, er den allerede minimal, se avsnittet "Sign" ovenfor).
θ¯{\ displaystyle {\ bar {\ theta}}}
θ{\ displaystyle \ theta}
MSE(θ¯)>0{\ displaystyle \ operatorname {MSE} ({\ bar {\ theta}})> 0}![{\ displaystyle \ operatorname {MSE} ({\ bar {\ theta}})> 0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e73d6de4b1ae05cf88729c1dd385635ed6b403c6)
Blant alle estimatorer som er proporsjonale med , er den gjennomsnittlige kvadratiske feilen minimum for estimatoren .
θ¯{\ displaystyle {\ bar {\ theta}}}
θˇ=defθ2θ2+MSE(θ¯)θ¯{\ displaystyle {\ check {\ theta}} \, {\ overset {\ text {def}} {=}} \, {\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}})}} {\ bar {\ theta}}}![{\ displaystyle {\ check {\ theta}} \, {\ overset {\ text {def}} {=}} \, {\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}})}} {\ bar {\ theta}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/657b14fc36556c10737ce44d78f5fd97401f4e6d)
Denne minste gjennomsnittlige kvadratiske feilen er gyldig .
MSE(θˇ)=θ2MSE(θ¯)θ2+MSE(θ¯){\ displaystyle \ operatorname {MSE} ({\ check {\ theta}}) = {\ frac {\ theta ^ {2} \ operatorname {MSE} ({\ bar {\ theta}})} {\ theta ^ { 2} + \ operatorname {MSE} ({\ bar {\ theta}})}}}![{\ displaystyle \ operatorname {MSE} ({\ check {\ theta}}) = {\ frac {\ theta ^ {2} \ operatorname {MSE} ({\ bar {\ theta}})} {\ theta ^ { 2} + \ operatorname {MSE} ({\ bar {\ theta}})}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/daa8add2aa43df66de4cbe292c10699db56b284f)
Demonstrasjon
Per definisjon av den objektive estimatoren, derav .
E(θ¯)=θ{\ displaystyle \ mathbb {E} ({\ bar {\ theta}}) = \ theta}
Var(θ¯)=MSE(θ¯){\ displaystyle \ operatorname {Var} ({\ bar {\ theta}}) = \ operatorname {MSE} ({\ bar {\ theta}})}![{\ displaystyle \ operatorname {Var} ({\ bar {\ theta}}) = \ operatorname {MSE} ({\ bar {\ theta}})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/492edd7ecb131e64e6823fc9a2e406f22cffff9e)
La derfor:
θ^α=αθ¯{\ displaystyle {\ hat {\ theta}} _ {\ alpha} = \ alpha {\ bar {\ theta}}}![{\ displaystyle {\ hat {\ theta}} _ {\ alpha} = \ alpha {\ bar {\ theta}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7131256317b9fcdddb1421a935f89d5253e8a3a3)
- ved linearitet av forventning , ;E(θ^α)=E(αθ¯)=αE(θ¯)=αθ{\ displaystyle \ mathbb {E} ({\ hat {\ theta}} _ {\ alpha}) = \ mathbb {E} (\ alpha {\ bar {\ theta}}) = \ alpha \ mathbb {E} ( {\ bar {\ theta}}) = \ alpha \ theta}
![{\ displaystyle \ mathbb {E} ({\ hat {\ theta}} _ {\ alpha}) = \ mathbb {E} (\ alpha {\ bar {\ theta}}) = \ alpha \ mathbb {E} ( {\ bar {\ theta}}) = \ alpha \ theta}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d652c041c5882ed22c24a2b66900a85d0f89af8f)
- av homogeniteten av varians , ;Var(θ^α)=Var(αθ¯)=α2Var(θ¯)=α2MSE(θ¯){\ displaystyle \ operatorname {Var} ({\ hat {\ theta}} _ {\ alpha}) = \ operatorname {Var} (\ alpha {\ bar {\ theta}}) = \ alpha ^ {2} \ operatorname {Var} ({\ bar {\ theta}}) = \ alpha ^ {2} \ operatorname {MSE} ({\ bar {\ theta}})}
![{\ displaystyle \ operatorname {Var} ({\ hat {\ theta}} _ {\ alpha}) = \ operatorname {Var} (\ alpha {\ bar {\ theta}}) = \ alpha ^ {2} \ operatorname {Var} ({\ bar {\ theta}}) = \ alpha ^ {2} \ operatorname {MSE} ({\ bar {\ theta}})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4ce3d4598f85d7c2c2439074c29cbc7f9f764b9b)
hvorfra .
MSE(θ^α)=(αθ-θ)2+α2MSE(θ¯)=(α-1)2θ2+α2MSE(θ¯){\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}} _ {\ alpha}) = (\ alpha \ theta - \ theta) ^ {2} + \ alpha ^ {2} \ operatorname {MSE} ( {\ bar {\ theta}}) = (\ alpha -1) ^ {2} \ theta ^ {2} + \ alpha ^ {2} \ operatorname {MSE} ({\ bar {\ theta}})}![{\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}} _ {\ alpha}) = (\ alpha \ theta - \ theta) ^ {2} + \ alpha ^ {2} \ operatorname {MSE} ( {\ bar {\ theta}}) = (\ alpha -1) ^ {2} \ theta ^ {2} + \ alpha ^ {2} \ operatorname {MSE} ({\ bar {\ theta}})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0f4e60566cfbf85176c9473754cdca02b2903080)
Ved å drive med hensyn til , finner vi .
α{\ displaystyle \ alpha}
MSE′(θ^α)=2(α-1)θ2+2αMSE(θ¯)=2(θ2+MSE(θ¯))α-2θ2{\ displaystyle \ operatorname {MSE} '({\ hat {\ theta}} _ {\ alpha}) = 2 (\ alpha -1) \ theta ^ {2} +2 \ alpha \ operatorname {MSE} ({\ bar {\ theta}}) = 2 \ left (\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}}) \ right) \ alpha -2 \ theta ^ {2}}![{\ displaystyle \ operatorname {MSE} '({\ hat {\ theta}} _ {\ alpha}) = 2 (\ alpha -1) \ theta ^ {2} +2 \ alpha \ operatorname {MSE} ({\ bar {\ theta}}) = 2 \ left (\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}}) \ right) \ alpha -2 \ theta ^ {2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a45260558ee112d65d3f6270047986ec87bbbe29)
Som det ble antatt er dette derivatet en lineær funksjon av direktørkoeffisient som er strengt positiv, så den avbryter , er strengt negativ og er positiv for , så er minimal .
MSE(θ¯)>0{\ displaystyle \ operatorname {MSE} ({\ bar {\ theta}})> 0}
α0=θ2θ2+MSE(θ¯){\ displaystyle \ alpha _ {0} = {\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}})}}
α<α0{\ displaystyle \ alpha <\ alpha _ {0}}
α>α0{\ displaystyle \ alpha> \ alpha _ {0}}
α0{\ displaystyle \ alpha _ {0}}
MSE(θ^α){\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}} _ {\ alpha})}![{\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}} _ {\ alpha})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/faa7593fbb6e6d2de056d0665579c675af09abb7)
Den gjennomsnittlige kvadratfeilen er derfor minimal for .
θ^α0=θ2θ2+MSE(θ¯)θ¯=defθˇ{\ displaystyle {\ hat {\ theta}} _ {\ alpha _ {0}} = {\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar { \ theta}})}} {\ bar {\ theta}} \, {\ overset {\ text {def}} {=}} \, {\ check {\ theta}}}![{\ displaystyle {\ hat {\ theta}} _ {\ alpha _ {0}} = {\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar { \ theta}})}} {\ bar {\ theta}} \, {\ overset {\ text {def}} {=}} \, {\ check {\ theta}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/dd7924b86ca7766b5f1e00caa08c1d0a13a89e1f)
Dette minimumet er verdt:
MSE(θˇ)=MSE(θ^α0)=(α0-1)2θ2+α02MSE(θ¯)=(-MSE(θ¯)θ2+MSE(θ¯))2θ2+(θ2θ2+MSE(θ¯))2MSE(θ¯)=θ2MSE(θ¯)2+θ4MSE(θ¯)(θ2+MSE(θ¯))2=(θ2MSE(θ¯))(MSE(θ¯)+θ2)(θ2+MSE(θ¯))2=θ2MSE(θ¯)θ2+MSE(θ¯){\ displaystyle {\ begin {align} \ operatorname {MSE} ({\ check {\ theta}}) & = \ operatorname {MSE} ({\ hat {\ theta}} _ {\ alpha _ {0}}) \\ & = (\ alpha _ {0} -1) ^ {2} \ theta ^ {2} + \ alpha _ {0} ^ {2} \ operatorname {MSE} ({\ bar {\ theta}}) \\ & = \ left (- {\ frac {\ operatorname {MSE} ({\ bar {\ theta}})} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}} )}} \ høyre) ^ {2} \ theta ^ {2} + \ left ({\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}})}} \ right) ^ {2} \ operatorname {MSE} ({\ bar {\ theta}}) \\ & = {\ frac {\ theta ^ {2} \ operatorname {MSE} ({\ bar {\ theta}}) ^ {2} + \ theta ^ {4} \ operatorname {MSE} ({\ bar {\ theta}})} {\ left (\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}} \ høyre) ^ {2}}} \\ & = {\ frac {\ left (\ theta ^ {2} \ operatorname {MSE} ({\ bar {\ theta}} ) \ høyre) \ venstre (\ operatorname {MSE} ({\ bar {\ theta}}) + \ theta ^ {2} \ right)} {\ left (\ theta ^ {2} + \ operatorname {MSE} ( {\ bar {\ theta}}) til høyre) ^ {2}}} \\ & = {\ frac {\ theta ^ {2} \ operatorname {MSE} ({\ bar {\ theta}})} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}})}} end {aligned}}}
Merk: verdien av å være ukjent av natur (ellers vil vi ikke se etter en estimator), denne formelen er kun av praktisk interesse hvis koeffisienten forenkler til en konstant uavhengig av , det vil si om og bare hvis er proporsjonal med ( se eksempel nedenfor).
θ{\ displaystyle \ theta}
θ2θ2+MSE(θ¯){\ displaystyle {\ tfrac {\ theta ^ {2}} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}})}}}
θ{\ displaystyle \ theta}
MSE(θ¯){\ displaystyle \ operatorname {MSE} ({\ bar {\ theta}})}
θ2{\ displaystyle \ theta ^ {2}}![{\ displaystyle \ theta ^ {2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c3e93e641e00bacf435dd68b8b0f0232b14a74b3)
Nytte
Sammenligning av estimatorer
Hvis de to estimatorene som skal sammenlignes er upartiske, er den mer effektive estimatoren ganske enkelt den med den minste variansen. På samme måte, hvis en estimator har både en større skjevhet (i absolutt verdi) og en større avvik enn en annen estimator, er sistnevnte åpenbart bedre.
Imidlertid, hvis en estimator har en større skjevhet (i absolutt verdi), men en mindre varians, er sammenligningen ikke lenger umiddelbar: den gjennomsnittlige kvadratfeilen gjør det mulig å bestemme.
Eksempel:
La oss sammenligne de to vanligste variansestimatørene:
sikke-12=def1ikke-1∑Jeg=1ikke(yJeg-y¯)2{\ displaystyle s_ {n-1} ^ {2} \, {\ overset {\ text {def}} {=}} \, {\ frac {1} {n-1}} \ sum _ {i = 1 } ^ {n} \ left (y_ {i} - {\ overline {y}} \ right) ^ {2}}![{\ displaystyle s_ {n-1} ^ {2} \, {\ overset {\ text {def}} {=}} \, {\ frac {1} {n-1}} \ sum _ {i = 1 } ^ {n} \ left (y_ {i} - {\ overline {y}} \ right) ^ {2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f1fbe90d1d9e4150e3e638f973f5e4557c6762d4)
og
sikke2=def1ikke∑Jeg=1ikke(yJeg-y¯)2=ikke-1ikkesikke-12{\ displaystyle s_ {n} ^ {2} \, {\ oversett {\ text {def}} {=}} \, {\ frac {1} {n}} \ sum _ {i = 1} ^ {n } \ left (y_ {i} - {\ overline {y}} \ right) ^ {2} = {\ frac {n-1} {n}} s_ {n-1} ^ {2}}
For en trekning med utskiftning og en sannsynlighet lov hvis normalisert kurtosis er antatt å være lik null ( for eksempel det normale lov ), viser beregningene at (se Greene, avsnitt C.5.1):
E(sikke-12)=σ2{\ displaystyle \ mathbb {E} (s_ {n-1} ^ {2}) = \ sigma ^ {2}}![{\ displaystyle \ mathbb {E} (s_ {n-1} ^ {2}) = \ sigma ^ {2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9db15dcacae6ad3a850239b1fec2bba88176a83b)
hvorfra ,
Partiskhet(sikke-12)=0{\ displaystyle \ operatorname {Bias} (s_ {n-1} ^ {2}) = 0}
Var(sikke-12)=2σ4ikke-1{\ displaystyle \ operatorname {Var} (s_ {n-1} ^ {2}) = {\ frac {2 \ sigma ^ {4}} {n-1}}}![{\ displaystyle \ operatorname {Var} (s_ {n-1} ^ {2}) = {\ frac {2 \ sigma ^ {4}} {n-1}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/65faa6fc7917d5d9f593902ac73c307c9f935954)
hvorfra ;
MSE(sikke-12)=2σ4ikke-1{\ displaystyle \ operatorname {MSE} (s_ {n-1} ^ {2}) = {\ frac {2 \ sigma ^ {4}} {n-1}}}
E(sikke2)=ikke-1ikkeE(sikke-12)=ikke-1ikkeσ2{\ displaystyle \ mathbb {E} (s_ {n} ^ {2}) = {\ frac {n-1} {n}} \ mathbb {E} (s_ {n-1} ^ {2}) = { \ frac {n-1} {n}} \ sigma ^ {2}}![{\ displaystyle \ mathbb {E} (s_ {n} ^ {2}) = {\ frac {n-1} {n}} \ mathbb {E} (s_ {n-1} ^ {2}) = { \ frac {n-1} {n}} \ sigma ^ {2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/20596173e3d0245362f221a54d8cbc98a97eae16)
hvorfra ,
Partiskhet(sikke2)=-σ2ikke{\ displaystyle \ operatorname {Bias} (s_ {n} ^ {2}) = - {\ frac {\ sigma ^ {2}} {n}}}
Var(sikke2)=(ikke-1ikke)2Var(sikke-12)=(ikke-1ikke)22σ4ikke-1=2(ikke-1)σ4ikke2{\ displaystyle \ operatorname {Var} (s_ {n} ^ {2}) = \ left ({\ frac {n-1} {n}} \ right) ^ {2} \ operatorname {Var} (s_ {n -1} ^ {2}) = \ left ({\ frac {n-1} {n}} \ right) ^ {2} {\ frac {2 \ sigma ^ {4}} {n-1}} = {\ frac {2 (n-1) \ sigma ^ {4}} {n ^ {2}}}}![{\ displaystyle \ operatorname {Var} (s_ {n} ^ {2}) = \ left ({\ frac {n-1} {n}} \ right) ^ {2} \ operatorname {Var} (s_ {n -1} ^ {2}) = \ left ({\ frac {n-1} {n}} \ right) ^ {2} {\ frac {2 \ sigma ^ {4}} {n-1}} = {\ frac {2 (n-1) \ sigma ^ {4}} {n ^ {2}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/75d45e922f96e771400cd9b329161c1da5e4fe1e)
hvorfra .
MSE(sikke2)=(2ikke-1)σ4ikke2{\ displaystyle \ operatorname {MSE} (s_ {n} ^ {2}) = {\ frac {(2n-1) \ sigma ^ {4}} {n ^ {2}}}}
Estimatoren er upartisk, men har større varians (lavere effektivitet) enn estimatoren .
sikke-12{\ displaystyle s_ {n-1} ^ {2}}
sikke2{\ displaystyle s_ {n} ^ {2}}![{\ displaystyle s_ {n} ^ {2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9195ba48a1dbc5f4dd565cd1f21c5ae1b38e7577)
Sammenligningen av de gjennomsnittlige kvadratiske feilene gir:
MSE(sikke2)-MSE(sikke-12)=σ4(2ikke-1ikke2-2ikke-1)=-(3ikke-1)σ4ikke2(ikke-1)<0{\ displaystyle \ operatorname {MSE} (s_ {n} ^ {2}) - \ operatorname {MSE} (s_ {n-1} ^ {2}) = \ sigma ^ {4} \ left ({\ frac { 2n-1} {n ^ {2}}} - {\ frac {2} {n-1}} \ right) = - {\ frac {(3n-1) \ sigma ^ {4}} {n ^ { 2} (n-1)}} <0}![{\ displaystyle \ operatorname {MSE} (s_ {n} ^ {2}) - \ operatorname {MSE} (s_ {n-1} ^ {2}) = \ sigma ^ {4} \ left ({\ frac { 2n-1} {n ^ {2}}} - {\ frac {2} {n-1}} \ right) = - {\ frac {(3n-1) \ sigma ^ {4}} {n ^ { 2} (n-1)}} <0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7fa82072a42a2e4645784c5942eeef91de9a2e57)
Den partiske estimatoren er derfor bedre når det gjelder gjennomsnittlig kvadratfeil.
sikke2{\ displaystyle s_ {n} ^ {2}}![{\ displaystyle s_ {n} ^ {2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9195ba48a1dbc5f4dd565cd1f21c5ae1b38e7577)
Fortsatt når det gjelder uavgjort med erstatning og null kurtose, ved å bruke minimeringssatsen gitt ovenfor til den objektive estimatoren , finner vi at estimatoren er estimatoren som minimerer den gjennomsnittlige kvadratiske feilen, den siste er gyldig da .
sikke-12{\ displaystyle s_ {n-1} ^ {2}}
sikke+12=ikkeikke+1sikke2=ikke-1ikke+1sikke-12{\ displaystyle s_ {n + 1} ^ {2} = {\ frac {n} {n + 1}} s_ {n} ^ {2} = {\ frac {n-1} {n + 1}} s_ {n-1} ^ {2}}
2σ4ikke+1{\ displaystyle {\ frac {2 \ sigma ^ {4}} {n + 1}}}![{\ displaystyle {\ frac {2 \ sigma ^ {4}} {n + 1}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9286454286a2f25606e90a2cf2403cb8303574e0)
Estimatorens konvergens
Det er mulig å bestemme om en estimator er konvergent i sannsynlighet fra sin gjennomsnittlige kvadratiske feil, vi har faktisk:
Teorem - [(limikke→∞E(θ^)=θetlimikke→∞Var(θ^)=0)⇔limikke→∞MSE(θ^)=0]⇒θ^→sθ{\ displaystyle \ left [\ left (\ lim _ {n \ to \ infty} \ mathbb {E} ({\ hat {\ theta}}) = \ theta \ quad \ mathbf {and} \ quad \ lim _ { n \ to \ infty} \ operatorname {Var} ({\ hat {\ theta}}) = 0 \ right) \ Leftrightarrow \ lim _ {n \ to \ infty} \ operatorname {MSE} ({\ hat {\ theta }}) = 0 \ høyre] \ Rightarrow {\ hat {\ theta}} {\ xrightarrow {p}} \ theta}
Demonstrasjonen er laget på sidekonvergens av tilfeldige variabler .
Generalisering
I en mer generell ramme for en multiparametrisk modell hvor man søker å estimere flere parametere eller for å estimere en funksjon av en eller flere parametere, den midlere kvadratfeil for en estimator av er definert ved:
f(θ){\ displaystyle f (\ theta)}
δ{\ displaystyle \ delta}
f(θ){\ displaystyle f (\ theta)}![f (\ theta)](https://wikimedia.org/api/rest_v1/media/math/render/svg/205329be9269c44e4efaeb7001fc60bbe5188eaf)
Definisjon - E[t(δ-f(θ))PÅ(δ-f(θ))]{\ displaystyle \ mathbb {E} \ left [^ {t} (\ delta -f (\ theta)) A (\ delta -f (\ theta)) \ right]}
hvor A er en positiv bestemt symmetrisk matrise (som definerer derfor et dot produkt ).
Merknader og referanser
Merknader
-
Mer generelt alltid for prøvetaking med erstatning , har vi: .Var(sikke-12)=(γ2ikke+2ikke-1)σ4{\ displaystyle \ operatorname {Var} (s_ {n-1} ^ {2}) = \ left ({\ frac {\ gamma _ {2}} {n}} + {\ frac {2} {n-1 }} \ høyre) \ sigma ^ {4}}
Referanser
Se også
Bibliografi
(no) William H Greene , Econometrics , Paris, Pearson Education,2005, 5 th ed. , 943 s. ( ISBN 978-2-7440-7097-6 ) , s. 2
Relaterte artikler
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">