Informacioni i Fisherit

Në statistikën matematikore, informacioni i Fisherit (nganjëherë i quajtur thjesht informacion ) është një mënyrë për të matur sasinë e informacionit që një ndryshore e rastësishme e vëzhgueshme $X$ mbart për një parametër të panjohur $\vartheta$ të një shpërndarjeje që modelon $X$. Formalisht, është varianca e rezultatit, ose pritja matematike e informacionit të vëzhguar .

Roli i informacionit të Fisherit në teorinë asimptotike të vlerësimit të përgjasisë maksimale u theksua nga statisticieni Ronald Fisher (pas disa rezultateve fillestare nga Francis Ysidro Edgeworth ). Matrica e informacionit Fisher përdoret për të llogaritur matricat e kovariancës të lidhura me vlerësimet e përgjasisë maksimale . Mund të përdoret gjithashtu në formulimin e statistikave të testimit, siç është testi Wald .

Sistemet statistikore të natyrës shkencore (fizike, biologjike, etj.) funksionet e përgjasisë të së cilave i binden invariancës së zhvendosjes, është treguar se i binden informacionit maksimal të Fisherit. Niveli i maksimumit varet nga natyra e kufizimeve të sistemit.

Përkufizimi

Informacioni i Fisherit është një mënyrë për të matur sasinë e informacionit që një ndryshore e rastit e vëzhgueshme $X$ mbart një parametër të panjohur $\theta$ mbi të cilën probabiliteti i $X$ varet. Le $f(X;\theta )$ të jetë funksioni i dendësisë së probabilitetit (ose funksioni i masës së probabilitetit ) për $X$ të kushtëzuara nga vlera e $\theta$ . Ai përshkruan probabilitetin që ne të vëzhgojmë një rezultat të caktuar $X$, duke pasur parasysh një vlerë të njohur të $\theta$ . Nëse $f$ është me kulm të mprehtë në lidhje me ndryshimet në $\theta$, është e lehtë të tregohet vlera "e saktë" e $\theta$ nga të dhënat, ose në mënyrë të njëvlershme, që e dhëna $X$ jep shumë informacion në lidhje me parametrin $\theta$ . Nëse $f$ është i sheshtë dhe i shtrirë, atëherë do të duheshin shumë popullime të $X$ për të vlerësuar vlerën e tanishme "të vërtetë" të $\theta$ që do të përftoheshin duke përdorur të gjithë popullatën që po ekzaminohet. Kjo sugjeron studimin e një lloj variance në lidhje me $\theta$ .

Formalisht, derivati i pjesshëm në lidhje me $\theta$ i logaritmit natyror të funksionit të përgjasisë quhet pikë . Në kushte të caktuara rregullsie, nëse $\theta$ është parametri i vërtetë (d.m.th $X$ në fakt shpërndahet si $f(X;\theta )$ ), mund të tregohet se vlera e pritur ( momenti i parë ) i rezultatit, e vlerësuar me vlerën e vërtetë të parametrit $\theta$, është 0:

$\begin{array}{cc}\mathrm{E}\left[\frac{\partial }{\partial \theta }\log f(X;\theta )|\theta \right]=& \underset{ℝ}{\int }\frac{\frac{\partial }{\partial \theta }f(x;\theta )}{f(x;\theta )}f(x;\theta )dx\\ =& \frac{\partial }{\partial \theta }\underset{ℝ}{\int }f(x;\theta )dx\\ =& \frac{\partial }{\partial \theta }1\\ =& 0.\end{array}$

Informacioni Fisher është përcaktuar të jetë varianca e rezultatit:

$ℐ(\theta )=\mathrm{E}\left[{(\frac{\partial }{\partial \theta }\log f(X;\theta ))}^2|\theta \right]=\underset{ℝ}{\int }{(\frac{\partial }{\partial \theta }\log f(x;\theta ))}^{2}f(x;\theta )dx,$

Vini re se $0\le ℐ(\theta )$ . Një ndryshore e rastit që përmban informacion të lartë Fisher nënkupton që vlera absolute e pikësimit/rezultatit është shpesh e lartë. Informacioni Fisher nuk është një funksion i një vëzhgimi të veçantë, pasi ndryshorja e rastit $X$ është vlerësuar mesatarisht.

Nëse $\log f(x;\theta )$ është dy herë i diferencueshëm në lidhje me $\theta$, dhe në kushte të caktuara rregullsie, atëherë informacioni i Fisherut mund të shkruhet gjithashtu si

$ℐ(\theta )=-\mathrm{E}\left[\frac{{\partial }^2}{\partial {\theta }^2}\log f(X;\theta )|\theta \right],$

meqënëse

$\frac{{\partial }^2}{\partial {\theta }^2}\log f(X;\theta )=\frac{\frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )}{f(X;\theta )}-{\left(\frac{\frac{\partial }{\partial \theta }f(X;\theta )}{f(X;\theta )}\right)}^2=\frac{\frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )}{f(X;\theta )}-{(\frac{\partial }{\partial \theta }\log f(X;\theta ))}^2$

dhe

$\mathrm{E}\left[\frac{\frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )}{f(X;\theta )}|\theta \right]=\frac{{\partial }^2}{\partial {\theta }^2}\underset{ℝ}{\int }f(x;\theta )dx=0.$