Kufiri Cramér–Rao

Ilustrimi i kufirit Cramer-Rao: nuk ka asnjë vlerësues të paanshëm që është në gjendje të vlerësojë parametrin (2-dimensional) me më pak variancë se lidhja Cramer-Rao, e ilustruar si elipsë e devijimit standard .

Në teorinë e vlerësimit dhe statistikë, kufiri Cramér–Rao ( CRB ) lidhet me vlerësimin e një parametri përcaktues (fiks, megjithëse i panjohur). Rezultati është emërtuar për nder të Harald Cramérit dhe C. R. Raos, por gjithashtu është nxjerrë në mënyrë të pavarur nga Maurice Fréchet, Georges Darmois, dhe nga Alexander Aitken dhe Harold Silverstone . Njihet gjithashtu si kufiri i poshtëm Fréchet-Cramér–Rao ose Fréchet-Darmois-Cramér-Rao. Ai pohon se saktësia e çdo vlerësuesi të paanshëm është e shumta sainformacioni i Fisherit ; ose (në mënyrë të njëvlerëshme) reciprokja e informacionit Fisher është një kufi më i ulët në variancën e tij.

Një vlerësues i paanshëm që e arrin këtë kufi thuhet se është (plotësisht) efikas . Një zgjidhje e tillë arrin gabimin në katror të mesataruar më të ulët të mundshëm midis të gjitha metodave të paanshme, dhe për këtë arsye është vlerësuesi minimal i variancës së paanshme (VMVP). Megjithatë, në disa raste, nuk ekziston asnjë teknikë e paanshme që arrin kufirin. Kjo mund të ndodhë ose nëse për çdo vlerësues të paanshëm, ekziston një tjetër me një variancë rreptësisht më të vogël, ose nëse ekziston një vlerësues MVU, por varianca e tij është rreptësisht më e madhe se anasjellta e informacionit Fisher.

Kufiri Cramér–Rao mund të përdoret gjithashtu për të kufizuar variancën e vlerësuesve biased të paragjykimit të dhënë. Në disa raste, një qasje e njëanshme mund të rezultojë në një variancë dhe një gabim mesatar në katror që janë below kufirin e poshtëm të paanshëm Cramér–Rao; shih zhvendosjen e vlerësuesit .

Deklarata

Rasti skalar i paanshëm

Supozoni $\theta$ është një parametër i panjohur përcaktues i cili duhet vlerësuar nga $n$ vëzhgimet (matjet) e pavarura të $x$, secila nga një shpërndarje sipas disa funksioneve të densitetit të probabilitetit $f(x;\theta )$ . Varianca e çdo vlerësuesi të paanshëm $\hat{\theta }$ e $\theta$ më pas kufizohet nga ana reciproke e informacionit Fisher $I(\theta )$ :

$\mathrm{var}(\hat{\theta })\ge \frac{1}{I(\theta )}$

ku informacioni i Fisherit $I(\theta )$ është përcaktuar nga

$I(\theta )=n{\mathrm{E}}_{X;\theta }\left[{\left(\frac{\partial \ell (X;\theta )}{\partial \theta }\right)}^2\right]$

dhe $\ell (x;\theta )=\log (f(x;\theta ))$ është logaritmi natyror i funksionit të gjasave për një kampion të vetëm $x$ dhe ${\mathrm{E}}_{x;\theta }$ tregon vlerën e pritur në lidhje me densitetin $f(x;\theta )$ e $X$ . Nëse nuk tregohet, në atë që vijon, pritshmëria merret në lidhje me $X$ .

Nëse $\ell (x;\theta )$ është dy herë i diferencueshëm dhe ekzistojnë kushte të caktuara të rregullsisë, atëherë informacioni i Fisherit mund të përcaktohet gjithashtu si më poshtë:

$I(\theta )=-n{\mathrm{E}}_{X;\theta }\left[\frac{{\partial }^2\ell (X;\theta )}{\partial {\theta }^2}\right]$

Efikasiteti i një vlerësuesi të paanshëm $\hat{\theta }$ mat sa afër është varianca e këtij vlerësuesi me këtë kufi të poshtëm; efikasiteti i vlerësuesit përcaktohet si

$e(\hat{\theta })=\frac{I(\theta {)}^{-1}}{\mathrm{var}(\hat{\theta })}$

ose variancën minimale të mundshme për një vlerësues të paanshëm pjesëtuar me variancën e tij të tanishme. Pra, kufiri i poshtëm Cramér–Rao jep

$e(\hat{\theta })\le 1$ .

Rasti i përgjithshëm skalar

Një formë më e përgjithshme e kufirit mund të merret duke marrë parasysh një vlerësues të njëanshëm $T(X)$, pritshmëria e të cilit nuk është $\theta$ por një funksion i këtij parametri, të themi, $\psi (\theta )$ . Prandaj $E\{T(X)\}-\theta =\psi (\theta )-\theta$ në përgjithësi nuk është e barabartë me 0. Në këtë rast, kufiri jepet nga

$\mathrm{var}(T)\ge \frac{[{\psi }^{\prime }(\theta ){]}^2}{I(\theta )}$

ku ${\psi }^{\prime }(\theta )$ është derivat i $\psi (\theta )$ (nga $\theta$ ), dhe $I(\theta )$ është informacioni i Fisherit i përcaktuar më sipër.

Rasti me shumë variacione

Zgjerimi i lidhjes Cramér–Rao në disa parametra, përcaktoni një vektor kolone parametri

$\mathit{\theta }={[{\theta }_1,{\theta }_2,\dots ,{\theta }_d]}^T\in {ℝ}^d$

me funksionin e densitetit të probabilitetit $f(x;\mathit{\theta })$ që plotëson dy kushtet e rregullsisë më poshtë.

Matrica e informacionit Fisher është a $d\times d$ matricë me element $I_{m,k}$ përcaktuar si

$I_{m,k}=\mathrm{E}[\frac{\partial }{\partial {\theta }_m}\log f(x;\mathit{\theta })\frac{\partial }{\partial {\theta }_k}\log f(x;\mathit{\theta })]=-\mathrm{E}[\frac{{\partial }^2}{\partial {\theta }_m\partial {\theta }_k}\log f(x;\mathit{\theta })].$

Le $𝑻(X)$ të jetë një vlerësues i çdo funksioni vektorial të parametrave, $𝑻(X)=(T_1(X),\dots ,T_d(X){)}^T$, dhe shënoni vektorin e tij të pritjes $\mathrm{E}[𝑻(X)]$ nga $\mathit{\psi }(\mathit{\theta })$ . Lidhja Cramér-Rao më pas thotë se matrica e kovariancës së $𝑻(X)$ kënaq

$I\left(\mathit{\theta }\right)\ge \varphi (\theta {)}^T{\mathrm{cov}}_{\mathit{\theta }}{(𝑻(X))}^{-1}\varphi (\theta )$ ,

${\mathrm{cov}}_{\mathit{\theta }}(𝑻(X))\ge \varphi (\theta )I{\left(\mathit{\theta }\right)}^{-1}\varphi (\theta {)}^T$

ku

• Mosbarazimi i matricës $A\ge B$ kuptohet se matrica $A-B$ është e gjysmëpërcaktuar pozitive, dhe
• $\varphi (\theta ):=\partial \mathit{\psi }(\mathit{\theta })/\partial \mathit{\theta }$ është matrica jakobiane e së cilës $ij$ elementi jepet nga $\partial {\psi }_i(\mathit{\theta })/\partial {\theta }_j$ .

Nëse $𝑻(X)$ është një vlerësues i paanshëm i $\mathit{\theta }$ (dmth, $\mathit{\psi }\left(\mathit{\theta }\right)=\mathit{\theta }$ ), atëherë kufiri Cramér–Rao reduktohet në

${\mathrm{cov}}_{\mathit{\theta }}(𝑻(X))\ge I{\left(\mathit{\theta }\right)}^{-1}.$

Kushtet e rregullsisë

Kufiri mbështetet në dy kushte të dobëta rregullsie mbi funksionin e densitetit të probabilitetit, $f(x;\theta )$, dhe vlerësuesin $T(X)$ :

• Informacioni i Fisherit është gjithmonë i përcaktuar; në mënyrë të barabartë, për të gjitha $x$ sikurse $f(x;\theta )>0$ , $\frac{\partial }{\partial \theta }\log f(x;\theta )$$$\frac{\partial }{\partial \theta }\log f(x;\theta )$$
• Veprimet e integrimit në lidhje me $x$ dhe diferencimi në lidhje me $\theta$ mund të ndërrohen në pritshmërinë e $T$ ; kjo eshte,$\frac{\partial }{\partial \theta }[\int T(x)f(x;\theta )dx]=\int T(x)[\frac{\partial }{\partial \theta }f(x;\theta )]dx$$$\frac{\partial }{\partial \theta }[\int T(x)f(x;\theta )dx]=\int T(x)[\frac{\partial }{\partial \theta }f(x;\theta )]dx$$ 

Një provë e pavarur për rastin e përgjithshëm skalar

Supozojmë se $T=t(X)$ është një vlerësues me pritshmëri $\psi (\theta )$ (bazuar në vëzhgimet $X$ ), pra atë $\mathrm{E}(T)=\psi (\theta )$ . Qëllimi është që ta vërtetojmë këtë për të gjithë $\theta$ ,

$\mathrm{var}(t(X))\ge \frac{[{\psi }^{\prime }(\theta ){]}^2}{I(\theta )}.$

Le $X$ të jetë një ndryshore e rastit me funksion të densitetit të probabilitetit $f(x;\theta )$ . Këtu $T=t(X)$ është një statistikë, e cila përdoret si vlerësues për $\psi (\theta )$ . Përcaktoni $V$ si rezultat :

$V=\frac{\partial }{\partial \theta }\ln f(X;\theta )=\frac{1}{f(X;\theta )}\frac{\partial }{\partial \theta }f(X;\theta )$

ku rregulli i zinxhirit përdoret në barazinë përfundimtare të mësipërme. Pastaj pritshmëria e $V$, shkruar $\mathrm{E}(V)$, është zero. Kjo është për shkak se:

$\mathrm{E}(V)=\int f(x;\theta )[\frac{1}{f(x;\theta )}\frac{\partial }{\partial \theta }f(x;\theta )]dx=\frac{\partial }{\partial \theta }\int f(x;\theta )dx=0$

ku derivati integral dhe i pjesshëm kanë këmbyer vendet (justifikohet me kushtin e dytë të rregullsisë).

Nëse marrim parasysh kovariancën $\mathrm{cov}(V,T)$ e $V$ dhe $T$, ne kemi $\mathrm{cov}(V,T)=\mathrm{E}(VT)$, sepse $\mathrm{E}(V)=0$ . Duke e zgjeruar këtë shprehje kemi

$\begin{array}{cc}\mathrm{cov}(V,T)& =\mathrm{E}(T\cdot [\frac{1}{f(X;\theta )}\frac{\partial }{\partial \theta }f(X;\theta )])\\ & =\int t(x)[\frac{1}{f(x;\theta )}\frac{\partial }{\partial \theta }f(x;\theta )]f(x;\theta )dx\\ & =\frac{\partial }{\partial \theta }[\int t(x)f(x;\theta )dx]=\frac{\partial }{\partial \theta }E(T)={\psi }^{\prime }(\theta )\end{array}$

përsëri sepse veprimet e integrimit dhe diferencimit ndërrohen (kushti i dytë).

Mosbarazimi Cauchy–Schwarz tregon këtë:

$\sqrt{\mathrm{var}(T)\mathrm{var}(V)}\ge |\mathrm{cov}(V,T)|=|{\psi }^{\prime }(\theta )|$

prandaj

$\mathrm{var}(T)\ge \frac{[{\psi }^{\prime }(\theta ){]}^2}{\mathrm{var}(V)}=\frac{[{\psi }^{\prime }(\theta ){]}^2}{I(\theta )}$

që vërteton propozimin.

Shembuj

Shpërndarja normale me shumë variacione

Për rastin e një shpërndarje normale <i id="mwATI">d</i> -variate

$𝒙\sim {𝒩}_d(\mathit{\mu }(\mathit{\theta }),𝑪(\mathit{\theta }))$

matrica e informacionit të Fisherit ka elemente

$I_{m,k}=\frac{\partial {\mathit{\mu }}^T}{\partial {\theta }_m}{𝑪}^{-1}\frac{\partial \mathit{\mu }}{\partial {\theta }_k}+\frac{1}{2}\mathrm{tr}\left({𝑪}^{-1}\frac{\partial 𝑪}{\partial {\theta }_m}{𝑪}^{-1}\frac{\partial 𝑪}{\partial {\theta }_k}\right)$

ku "tr" është gjurma .

Për shembull, le $w[j]$ të jetë një shembull i $n$ vëzhgime të pavarura me mesatare të panjohur $\theta$ dhe variancën e njohur ${\sigma }^2$ .

$w[j]\sim {𝒩}_{d,n}(\theta 1,{\sigma }^2𝑰).$

Pastaj informacioni i Fisher është një skalar i dhënë nga

$I(\theta )={\left(\frac{\partial \mathit{\mu }(\theta )}{\partial \theta }\right)}^T{𝑪}^{-1}\left(\frac{\partial \mathit{\mu }(\theta )}{\partial \theta }\right)=\sum _{i=1}^n\frac{1}{{\sigma }^2}=\frac{n}{{\sigma }^2},$

dhe kështu kufiri Cramér–Rao jepet si

$\mathrm{var}\left(\hat{\theta }\right)\ge \frac{{\sigma }^2}{n}.$

Variancë normale me mesataren e njohur

Supozoni se X është një ndryshore e rastit e shpërndarë normalisht me mesataren e njohur $\mu$ dhe variancë të panjohur ${\sigma }^2$ . Merrni parasysh statistikën e mëposhtme:

$T=\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{n}.$

Atëherë T është i paanshëm për ${\sigma }^2$, si $E(T)={\sigma }^2$ . Cila është varianca e T ?

$\mathrm{var}(T)=\mathrm{var}\left(\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{n}\right)=\frac{\sum _{i=1}^n\mathrm{var}(X_i-\mu {)}^2}{n^2}=\frac{n\mathrm{var}(X-\mu {)}^2}{n^2}=\frac{1}{n}[\mathrm{E}\{(X-\mu {)}^4\}-{(\mathrm{E}\{(X-\mu {)}^2\})}^2]$

(barazia e dytë rrjedh drejtpërdrejt nga përkufizimi i variancës). Termi i parë është momenti i katërt në lidhje me mesataren dhe ka vlerë $3({\sigma }^2{)}^2$ ; i dyti është katrori i variancës, ose $({\sigma }^2{)}^2$ . Kështu

$\mathrm{var}(T)=\frac{2({\sigma }^2{)}^2}{n}.$

Tani, cili është informacioni i Fisher në vëzhgime. Kujtojmë se rezultati $V$ përkufizohet si

$V=\frac{\partial }{\partial {\sigma }^2}\log [L({\sigma }^2,X)]$

ku $L$ është funksioni i përgjasisë . Kështu në këtë rast,

$\log [L({\sigma }^2,X)]=\log \left[\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-(X-\mu {)}^2/2{\sigma }^2}\right]=-\log (\sqrt{2\pi {\sigma }^2})-\frac{(X-\mu {)}^2}{2{\sigma }^2}$

$V=\frac{\partial }{\partial {\sigma }^2}\log [L({\sigma }^2,X)]=\frac{\partial }{\partial {\sigma }^2}[-\log (\sqrt{2\pi {\sigma }^2})-\frac{(X-\mu {)}^2}{2{\sigma }^2}]=-\frac{1}{2{\sigma }^2}+\frac{(X-\mu {)}^2}{2({\sigma }^2{)}^2}$

ku barazia e dytë është nga llogaritja elementare. Kështu, informacioni në një vëzhgim të vetëm është vetëm minus pritshmëria e derivatit të $V$, ose

$I=-\mathrm{E}\left(\frac{\partial V}{\partial {\sigma }^2}\right)=-\mathrm{E}(-\frac{(X-\mu {)}^2}{({\sigma }^2{)}^3}+\frac{1}{2({\sigma }^2{)}^2})=\frac{{\sigma }^2}{({\sigma }^2{)}^3}-\frac{1}{2({\sigma }^2{)}^2}=\frac{1}{2({\sigma }^2{)}^2}.$

Kështu informacioni në një mostër të $n$ vëzhgimet e pavarura janë të drejta $n$ herë kjo, ose $\frac{n}{2({\sigma }^2{)}^2}.$

Kufiri Cramér–Rao thotë se

$\mathrm{var}(T)\ge \frac{1}{I}.$

Në këtë rast, mosbarazimi është i ngopur (barazia arrihet), duke treguar se vlerësuesi është efikas .

Megjithatë, ne mund të arrijmë një gabim mesatar më të ulët në katror duke përdorur një vlerësues të njëanshëm. Vlerësuesi

$T=\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{n+2}.$

padyshim ka një variancë më të vogël, që është në fakt

$\mathrm{var}(T)=\frac{2n({\sigma }^2{)}^2}{(n+2{)}^2}.$

Anshmëria e tij është

$(1-\frac{n}{n+2}){\sigma }^2=\frac{2{\sigma }^2}{n+2}$

pra gabimi mesatar i tij në katror është

$\mathrm{MSE}(T)=(\frac{2n}{(n+2{)}^2}+\frac{4}{(n+2{)}^2})({\sigma }^2{)}^2=\frac{2({\sigma }^2{)}^2}{n+2}$

që është më pak se ajo që vlerësuesit e paanshëm mund të arrijnë sipas kufirit Cramér–Rao.