Appunti Teoria dell'inferenza

1 Teoria dell’inferenza

La statistica si può classificare in varie categorie: descrittiva/esplorativa e inferenziale. Con la prima quando studio una popolazione conoscendo tutte le caratteristiche, con obiettivo di descrivere la popolazione con indici, grafici ecc. Con la statistica inferenziale immaginiamo di non avere a disposizione i dati sull’intera popolazione, analizzeremo le caratteristiche di un campione e cercare di estendere le sue caratteristiche all’intera popolazione sconosciuta.

Con l’inferenza non è quasi mai possibile arrivare a definizioni e conclusioni certe. Anzi il compito sarà quantificare quanto incerte sono le conclusioni, quanto sono precise. Osserviamo fenomeni con variabilità e non deterministici. Possiamo assegnare una probabilità sul succedere di un certo evento. L’incertezza dipende dalla variabilità delle realizzazioni di variabili casuali.

L’inferenza si divide in parametrica e non parametrica. Con inferenza parametrica intendiamo quando non conosciamo i parametri di una variabile casuale, ma il resto lo conosciamo come la distribuzione e altri dati. Abbiamo una conoscenza forte del fenomeno, l’intera distribuzione a meno di alcuni (anche tanti) parametri. Invece, la distribuzione non parametrica non fa neanche assunzioni sulla distribuzione, al massimo ci dice il tipo di distribuzione, ma non la specifica.

Noi ci orienteremo verso la struttura parametrica. Utilizzeremo un approccio basato sulla verosomiglianza. Sarà un modello generalizzato che non dovrà essere variato per ogni singolo esempio. Ciò ha dei limiti, non funziona sempre sia dal punto di vista teorico sia applicato. , … , Abbiamo le nostre osservazioni dati di un esperimento casuale appartenente al vettore casuale 1 {( },( ) = , … , ; ); = , … , ∈ Θ ⊆ una distribuzione di variabili nota a meno dei parametri 1 1 . Ad ogni valore di theta, abbiamo una distribuzione. ↔ , ad ogni parametro corrisponde una distribuzione e viceversa. In questo caso il modello è identificabile. Noi considereremo solo modelli identificabili.

Funzione di verosomiglianza

(; ) → , è la funzione base e principale per fare inferenza. Ciò che ci permette di passare da x a theta è la funzione, che può essere letta in due modi. Probabilisticamente: fissato ho una distribuzione e quindi posso calcolare qualsiasi probabilità. La logica inferenziale invece è il contrario conosco x e voglio capire e stimare . Quindi inferenzialmente vogliamo vedere una funzione di fissato Quanta probabilità di che stiamo osservando diamo ad Quindi potremmo avere alcuni elementi del campione con probabilità/densità alta, altri bassa e in alcuni casi anche nulli. Ovviamente parliamo di probabilità o densità in base al fatto che la variabile sia continua o discreta.

2013 2014 2015 2016

N° Incidenti 3 1 0 2 , , , , sono le realizzazioni dell’evento. 1 2 3 4 ] ) ~() [ = = ( . (3, = 1, 0, 2) 24 4 ∑ − −4( = , = , = , = ; ) = ∏ ( = ; ) = ∏ = = (; )1 1 2 2 3 3 4 4 ∏ ! ! =1 =1+() = (; ) = (; ): Ω → Nel nostro caso otteniamo: 6−4(; ) = 12 > 0

Creare grafico, ′ ′′ ′) ),( > ( Noi sapremo che quindi è più compatibile con i miei dati essendoci più probabilità di ′ ′ osservare il mio campione sotto . Parliamo che è più verosimile e non più probabile, termine che si usa in un ambiente Bayesiano e non frequentistico come il nostro.

Questa funzione mi dà tutta l’informazione su {( }.( ) = , … , ; ); = , … , ∈ Θ ⊆ In generale, ho una funzione generica: 1 1 +(; ) = (; ): Θ → E prendo sempre la funzione di Verosomiglianza: .{ } { }. = , … , = , … , Se abbiamo due campioni, possibili risultati del nostro esperimento, e 1 1 (; ) (; ). (; ) ∝ Calcolo le funzioni di Verosomiglianza, e Se esse solo proporzionali scriviamo (; ) (; ) = ∙ (; ). ,e quindi Sappiamo che è una quantità positiva che non dipende da allora se vale ciò le due Verosomiglianze sono dette proporzionali ed equivalenti.

′ ′ ′( ;) ∙ ( ;) ( ;)′ ′′, = = Ora consideriamo due . Costruiamo il rapporto . Quindi se sceglierò ′′( ;) ′′ ′′ ∙ ( ;) ( ;)′ il sul campione x, allora devo sceglierlo anche sul secondo campione, abbiamo lo stesso rapporto. Le Verosomiglianze vengono definite equivalenti perché portano allo stesso risultato.

Principio di verosomiglianza

Principio di Verosomiglianza {( }.( ) = , … , ; ); = , … , ∈ Θ ⊆ Dato Se i campioni e hanno Verosomiglianze 1 1 (; ) = ∙ (; ) ∀ ∈ Θ, equivalenti, allora devono condurre alle stesse conclusioni inferenziali.

Esempio: (3, (2, = 1, 0, 2) = 1,1, 2) 6−4(; ) = 124 4 ∑ − −4( = , = , = , = ; ) = ∏ ( = ; ) = ∏ = = (; )1 1 2 2 3 3 4 4 ∏ ! ! =1 =16−4 (; ) = Nel nostro caso: 4 .

Sono funzioni simili, ma che danno lo stesso risultato su Come mostrato, sono Verosomiglianze proporzionali, quindi qualsiasi conclusione voglio fare su mi porterà alle stesse conclusioni per entrambi i campioni. In termini inferenziali le conclusioni non cambiano.

Logverosimiglianza

Per varie ragioni inizieremo a lavorare con la LogVerosimiglianza, perché più facile da trattare e possiede (; ) = (; )].[alcune proprietà fondamentali. Inferenzialmente non cambia nulla. (; ) → (; ) = −∞.Se ′ (; ) = ∙ (; )] = log() + (; )[Il principio di Verosomiglianza vale anche per la LogVerosomiglianza, quindi posso aggiungere o togliere una quantità.

(; ) = ∏ ( ; )=1

(; ) = ∑ [( ; )]=1

Notiamo che è più semplice scrivere la sommatoria rispetto alla produttoria.

Esempio: ~() 4 ∑ − −4(; ) = (; ) = ∏ = ∏ ! ! =1 4(; ) = ∑ [( ; )] = −4 + ∑ [] − [ !] =1 (; ) = −4 + ∑ []−[ !], Abbiamo tolto per il principio di Verosomiglianza, perché dipende solo dalle osservazioni e non dal parametro.

Esempio: 2( −)11 −2 2) (, ) ~(, = ( ; ) = 22 2√2(; ) = ∑ [( ; )]=1 2(1 1 1 − ) 12 2 2 2] ])(, = ∑ − [ − [2] − − = − [ − [2] − ∑( − )2 22 2 2 2 2 2=1

Elimino i termini che non dipendono dai parametri, ma solo dal campione. 12 2 2])(, = − [ − ∑( − )22 2

Sufficienza

Sufficienza {( }( ) = , … , ; ); = , … , ∈ Θ ⊆ 1 1 Vogliamo fare inferenza su a partire dalle osservazioni, il campione. Vogliamo capire se è possibile raccogliere le osservazioni in una statistica, di dimensioni inferiore ad quindi al campione, ma che mantenga tutte le proprietà e informazioni del campione.

}:{ , … , → , ≪ 1 ) = ) ∙ )(; (; (; |= Una congiunta si può sempre scrivere come la marginale, per la condizionante.

~ ) ~ )(; (; |= ) = (; Può succedere che la distribuzione condizionata non dipenda dai parametri, |= ∀ ∈ Θ. ) = ) ∙ (), (; (; (). Quindi se vale ciò posso scrivere, In questo caso vuol |= |=, dire che una volta che ho osservato qualsiasi sia non cambia. Quindi se ho due campioni diversi, ma, entrambi vengono racchiusi dalla statistica allora entrambi verranno riprodotti nello stesso modo. Condizionati ad ) = ) ∙ (; (; (), Una statistica è sufficiente se vale, tutta l’informazione su è rinchiusa |=.in

Esempio di sufficienza

Esempio: 1 à { } ~(1, ) = 1≤≤0 = , … , { 1 0 à 1 − palline nere in un’urna, con Reinserimento. () = ∑ =1 5()

Ci chiediamo la Statistica pensata è sufficiente o serve conoscere altre informazioni? Posso sostituire il campione con la Statistica, senza perdere informazioni? Prendo la definizione e verifico. La distribuzione condizionata dipende o non dipende dai parametri? (). Obiettivo calcolare |= Possiamo scrivere la distribuzione come produttoria grazie all’indipendenza.

∑ 1− −∑ ) = ∏ ( ; ) = ∏ (1 − ) = (1 − )(; =1 =1 1− ) = (∑ = ; ) = ( ) (1 − ) , ℎè ℎ ∑ ~(, )(; ∑ = . Sappiamo che ∑ −∑ −(1 (1 − ) − ) 1 ) = = = (; |= 1− 1−(1 (1( ) − ) ( ) − ) ( ) ) = (; (), Concludiamo che perché non dipende da e quindi definiamo la Statistica |= |= sufficiente. Dunque, possiamo lavorare con la statistica al posto del campione.

Esempio: ′ ′′[1, [1, = 0, 1, 0]; = 1, 0, 0]; …. ∑ = = 2, Tutti i campioni rappresentati dalla Statistica quindi la distribuzione dei successi è irrilevante, , l’importante che la somma dei successi sia pari a due. Ciò non influenza ma mi dice solo l’ordine in cui sono estratti i pezzi difettosi.

Criterio di fattorizzazione di Neyman Fisher

Criterio di Fattorizzazione di Neyman Fisher {( }( ) = , … , ; ); = , … , ∈ Θ ⊆ 1 1 (; ) è la statistica da utilizzare e è sufficiente se e solo se vale il criterio di fattorizzazione, = () ∙ ℎ[(), ]() ℎ Nella Fattorizzazione dipende solo dal campione, mentre dipende dai parametri e dal campione, ma solo attraverso la statistica Ovviamente se è una statistica sufficiente allora si dimostra facilmente che: = () ∙ ℎ[(), ] = ∙ )() () (; |= Il precedente è solo un caso particolare, infatti potrebbe essere anche non la condizionata.

Esempio: ~() 1 ∑− − ) = ∏ ( = ; ) = ∏ = (; ∏ ! ! =1 =11∑− = ℎ[(), ] = (). Possiamo considerare e ∏ ! ~(, ) −1 −( ; , ) = ()(,, , > 0 = )Sappiamo che e 6 ∑−1 − −1 − , ) = ∏ ( = ; , ) = ∏ = ∏ (; () ()=1 =1 −1 ∑− (∏ ) ()() = (∏ , ∑ ) −1 ∑− , ) = (∏ ) = ℎ[(), ] ∙ ()(; ()() = 1 ℎ[(), ] In questo caso abbiamo messo e invece tutta la funzione.

Avrei potuto lavorare sulla funzione di probabilità nel seguente modo: −1 1∑ ∑− − , ) = (∏ ) = (∏ ) (; ∏() () 1 ∑ − (∏ )() = ℎ[(), ] = In questo caso abbiamo messo e ∏ ()

Statistica sufficiente minimale

Statistica Sufficiente Minimale In generale non abbiamo una sola statistica sufficiente, quindi valutiamo quella migliore o che ci semplifica maggiormente i dati.

∑ 1− −∑ ) = ∏ ( ; ) = ∏ (1 − ) = (1 − )(; =1 =1() = ∑ ′ = (∑ , ∑ ) = () [ (), ()] 1 2=1 =+1 Abbiamo due statistiche sufficienti. La seconda calcola il numero di successi spaccando il campione in due rami.

−()+ () ()− () (1 − )1 2 1 2′ ′ℎ[ ] () = 1. (), ()Consideriamo come tutta la funzione, mentre Anche è sufficiente.() Quindi tra le due statistiche sufficienti quale scelgo? In questo caso ovviamente scelgo essendo più ′ (), semplice e compatto rispetto a ed essendo entrambe sufficienti.

Definizione

Definizione Data una famiglia parametrica, è statistica sufficiente minimale se vengono soddisfatti i due requisiti seguenti:

• È sufficiente;
• Data una statistica qualunque , . Quindi ha dimensione minore.

′ ′ () = [ ()] ′ ′ ′ , = [()], () () () Se è sufficiente e è una trasformata biunivoca di allora è sufficiente.

−1 ′ ′ ′ ) = () ∙ ℎ[(); ] = () ∙ ℎ[ ] = () ∙ ℎ ](; [ ()]; [ (); ′ , Noi sappiamo che è funzione di ogni statistica sufficiente, perché è minimale. Ma è funzione di quindi è funzione di ogni statistica sufficiente.

Una funzione è definita biunivoca quando è sia iniettiva sia suriettiva, cioè quando c’è una corrispondenza uno ad uno tra gli elementi di due insiemi.

Partizione dello spazio campionario

Partizione dello spazio campionario, ∈ Η (): Η → ′H = ∈ Η: () = } Η ∩ Η ≠ 0, ≠ &