Statistica Avanzata - Appunti

Statistica avanzata1: introduzione all’inferenza statistica e funzione diverosimiglianza

1.1: Introduzione

La statistica descrittiva affronta un problema diretto, ovvero di deduzione, perché si passa dalla popolazione alla raccolta di informazioni su di essa, quindi all’esame della distribuzione osservata ed alla sintesi degli aspetti più rilevanti.

Queste analisi (descrittive) non richiedono la specificazione di modelli probabilistici (le metodologie di statistica descrittiva vengono affrontate con rigore nei capitoli I-VII del libro di testo).

Con l’inferenza statistica si affronta il problema inverso, ovvero di induzione probabilistica, poiché dai dati osservati su di un campione si giunge ad affermazioni circa la popolazione da cui è stato estratto.

Le metodologie di inferenza si basano quindi sull’assunzione di modelli probabilistici. In pratica, l’idea alla base dell’inferenza statistica si concretizza nel descrivere la relazione esistente tra la popolazione e il campione usando il calcolo delle probabilità.

Ne consegue che il contenuto dell’intero corso non può essere compreso senza possedere una solida preparazione di base sul calcolo delle probabilità (il calcolo delle probabilità è affrontato nei capitoli VIII-XIII del libro di testo).

1.2: Richiami di calcolo delle probabilità

Innanzitutto è necessario introdurre le seguenti definizioni:

• Spazio campione: insieme (di numerosità finita o infinità) di tutti i possibili esiti di un esperimento aleatorio. Ω = •
• Evento elementare: generico elemento di Ω. ω = Ω •
• Evento: sottoinsieme di Ω, ovvero E ⊆ Ω. E = Ω • i i

Possiamo quindi fornire la definizione frequentista di probabilità, che è la più utilizzata nella teoria della probabilità: dato un esperimento perfettamente ripetibile e dato un evento E, indichiamo con:

• Frequenza assoluta (dell’evento E): ovvero il numero di volte che si è verificato in una serie di prove ripetute nelle medesime condizioni. fr E) = • (n E n
• Frequenza relativa (dell’evento E): rappresenta la percentuale di occorrenza dell’evento sul totale delle prove. fr E)(n • n E n

La probabilità che si verifichi l’evento E è data dal limite della frequenza relativa al crescere del numero di prove: Pr lim(E) = ➢ nn→+∞ fr E)(n . σ-

Altra definizione fondamentale per la teoria della probabilità è quella di σ-algebra. Una σ-algebra (o algebra di Boole) è una collezione di eventi Α che soddisfa le seguenti proprietà: E₁, E₂, ... , E_i, .. .

• Se E_i ∈ Α, allora Ē_i ∈ Α.
• Se E_i ∈ Α, allora ∪^+∞_i=1 E_i ∈ Α.

Quindi l’algebra di Boole rappresenta una lista di eventi dei quali ci interessa misurare il grado di incertezza.

Una misura di probabilità è una funzione P definita sugli eventi di tale Α che:

• P(E_i) ≥ 0, ∀ E_i ∈ Α.
• P(Ω) = 1.
• Data una successione di eventi tale che E₁, E₂, ... , E_i, .. . E_i ∩ E_j = ∅ ∀ i ≠ j vale: P(∪^+∞_i=1 E_i) = ∑^+∞_i=1 P(E_i).

La terna (Ω, Α, P) viene detta spazio di probabilità.

Le variabili casuali costituiscono dei possibili modelli adatti a rappresentare il comportamento aleatorio dei fenomeni oggetto di studio. Inoltre hanno un ruolo fondamentale nella valutazione dell’informazione che possiamo trarre dalle osservazioni campionarie per fare inferenza su alcune caratteristiche della popolazione.

Una variabile casuale X(ω) è una funzione definita su uno spazio di probabilità (Ω, Α, P) tale che:

• ∀ ω ∈ Ω, X(ω) = x ∈ ℝ.
• ∀ x ∈ ℝ, {ω ∈ Ω: X(ω) ≤ x} ∈ Α.

In particolare si distinguono:

• Variabili casuali discrete: una variabile casuale X è discreta se assume valori in un insieme finito o infinitamente numerabile D_X = {x₁, x₂, ... , x_k}. Definiamo quindi le due seguenti funzioni: D_X = {x₁, x₂, ...}.

1. Funzione di probabilità: la funzione di probabilità di una variabile casuale discreta è definita come: p(x) = {P(X = x), se x ∈ D_X; 0, se x ∉ D_X}. 0 ≤ p(x) ≤ 1, ∑_{x ∈ DX} p(x) = 1.

2. Funzione di ripartizione: la funzione di ripartizione di una variabile casuale discreta è definita come: F(x) = P(X ≤ x); lim_x→−∞ F(x) = 0; lim_x→+∞ F(x) = 1.

E soddisfa le seguenti proprietà:

• È monotona non decrescente. F(x)
• È continua a destra e i suoi punti di discontinuità coincidono con gli elementi di D_X. F(x)

Definiamo infine:

1. Valore atteso: il valore atteso di una variabile casuale discreta è definito come: E(X) = ∑_DX xp(x).

2. Varianza: la varianza di una variabile casuale discreta è definita come: ∑_DX (x − E(X))² p(x).

• Variabili casuali continue: una variabile casuale X è assolutamente continua se assume valori in un insieme infinito e non numerabile e se esiste la funzione di ripartizione F(x) = P(X ≤ x). D_X = [a, b] ⊆ ℝ.

Definiamo come per il caso discreto, le due funzioni:

1. Funzione di ripartizione: la funzione di ripartizione di una variabile casuale continua è definita come: F(x) = P(X ≤ x); lim_x→−∞ F(x) = 0; lim_x→+∞ F(x) = 1.

E soddisfa le seguenti proprietà:

• È monotona non decrescente. F(x)
• È continua. F(x)

2. Funzione di densità (di probabilità): se F(x) è una funzione derivabile, allora la funzione di densità di probabilità della variabile casuale continua X (è l’equivalente nel caso continuo della funzione di probabilità vista nel caso discreto) è definita come: f(x) = dF(x)/dx; f(x) ≥ 0; ∫_DX f(x)dx = 1.

Si definisce la funzione di densità in questo modo poiché una definizione equivalente a quella della funzione di probabilità discreta, fornirebbe come risultato sempre zero, poiché la probabilità che si verifichi un evento elementare appartenente ad un insieme infinito non numerabile è sempre tendente a zero.

Definiamo infine:

1. Valore atteso: il valore atteso di una variabile casuale continua è definito come: E(X) = ∫_DX xf(x)dx.

2. Varianza: la varianza di una variabile casuale continua è definita come: ∫_DX (x − E(X))² f(x)dx.

Altro concetto molto importante da tenere a mente è quello di momento:

• Momento r-esimo rispetto all’origine: è definito come: μ_r = E(X^r).

Ne consegue che il valore atteso di una variabile casuale non è altro che il suo momento di ordine 1 rispetto all’origine.

• Momento r-esimo rispetto al valore medio: è definito come: μ̄_r = E[(X − E(X))^r].

Ne consegue che la varianza di una variabile casuale non è altro che il suo momento di ordine 2 rispetto al valore medio.

Supponiamo di avere una collezione di variabili casuali X₁, X₂, ... , X_i, ... , X_n.

Queste sono variabili stocasticamente indipendenti se e solo se la loro funzione di probabilità (o la loro funzione di densità, a seconda del tipo di variabili) congiunta è uguale al prodotto delle funzioni di probabilità (o di densità) marginali delle singole variabili. Ovvero se vale la seguente uguaglianza: f_{X1, X2,..., Xi,..., Xn}(x₁, x₂, ... , x_i, ... , x_n) = ∏_i=1ⁿ f_Xi(x_i).

Ora consideriamo una combinazione lineare di variabili casuali. Date n variabili casuali X_i, i = 1, ... , n tali che E(X_i) = μ_i e V(X_i) = σ_i², e una loro combinazione lineare Y = ∑_i=1ⁿ a_iX_i, a_i ∈ ℝ, otteniamo:

• Valore atteso di una combinazione lineare di variabili casuali: è dato dalla seguente uguaglianza: E(Y) = ∑_i=1ⁿ a_iμ_i.
• Varianza di una combinazione lineare di variabili casuali: è data da: V(Y) = ∑_i=1ⁿ a_i²σ_i² + 2∑_i=1ⁿ∑_j<i a_ia_jCov(X_i, X_j).

Consideriamo ora una famiglia ordinata di variabili casuali (o successione di variabili casuali) (X_n)_n∈ℕ ~ F_n(x). Capita spesso che queste successioni abbiano un limite finito (per x_n o che tende ad infinito), ovvero che convergano a particolari valori o funzioni. Vediamo qui di seguito le diverse tipologie di convergenza:

• Convergenza in probabilità: la successione di variabili casuali (X_n)_n∈ℕ ~ F_n(x) converge in probabilità alla variabile casuale X ~ F(x) (ovvero X_n →^p X), se e solo se: lim_n→+∞ P(|X_n − X| < ε) = 1; ∀ ε > 0.

Nel caso in cui X sia una variabile casuale degenere che assume solo il valore costante θ, allora la successione X_n converge in probabilità alla costante θ se e solo se: lim_n→+∞ P(|X_n − θ| < ε) = 1; ∀ ε > 0.

• Convergenza in distribuzione: la successione di variabili casuali (X_n)_n∈ℕ ~ F_n(x) converge in distribuzione alla variabile casuale X ~ F(x) (ovvero X_n →^d X), se per tutti i punti di continuità di F(x) si ha: lim_n→+∞ F_n(x) = F(x).
• Convergenza quasi certa: la successione di variabili casuali (X_n)_n∈ℕ ~ F_n(x) converge quasi certamente alla variabile casuale X ~ F(x) (ovvero X_n →^qc X), se e solo se: lim_n→+∞ P(|X_n − X| = 0) = 1.

Nel caso in cui X sia una variabile casuale degenere che assume solo il valore costante θ, allora la successione X_n converge in probabilità alla costante θ se e solo se: lim_n→+∞ P(|X_n − θ| = 0) = 1.

• Convergenza in media quadratica: la successione di variabili casuali (X_n)_n∈ℕ ~ F_n(x) converge in media quadratica alla variabile casuale X ~ F(x) (ovvero X_n →^m X), se e solo se: lim_n→+∞ E(X_n − X)² = 0.

Nel caso in cui X sia una variabile casuale degenere che assume solo il valore costante θ, allora la successione X_n converge in probabilità alla costante θ se e solo se: lim_n→+∞ E(X_n − θ) = 0.

Tra i criteri di convergenza appena visti sussistono le seguenti relazioni: X_n →^qc X ⇒ X_n →^p X ⇒ X_n →^d X; X_n →^m X ⇒ X_n →^p X.

Concludiamo introducendo due dei teoremi più importanti per la teoria della probabilità:

• Legge dei grandi numeri (di Kolmogorov): si consideri una successione di variabili casuali (X_i)_i∈ℕ, indipendenti e identicamente distribuite (i.i.d.) con E(X_i) = μ e E(|X_i|) < ∞, e sia S_n = ∑_i=1ⁿ X_i, allora vale: S_n/n →^qc μ.
• Teorema del limite centrale (di Lindeberg-Lévy): si consideri una successione di variabili casuali (X_i)_i∈ℕ, indipendenti e identicamente distribuite (i.i.d.) con E(X_i) = μ e V(X_i) = σ², e sia S_n = ∑_i=1ⁿ X_i, allora vale: Z_n = (S_n − nμ)/(√nσ) →^d N(0,1).

1.3: Inferenza statistica classica

L’inferenza statistica classica è basata sulla definizione frequentista di probabilità. Le procedure inferenziali, dedotte dal campione osservato, vengono costruite e valutate sulla base della distribuzione di probabilità dei possibili campioni che avremmo potuto osservare (Principio del campionamento ripetuto).

Ogni inferenza si basa sulla specificazione accurata dei seguenti elementi:

1) Determinazione della popolazione di riferimento: si definisce popolazione l’insieme delle informazioni statistiche che esauriscono il problema oggetto di studio. È compito dello statistico tradurre il problema reale in un problema statistico grazie a una o più variabili casuali.

2) Procedura di raccolta delle informazioni: dalla popolazione X viene estratto un campione di unità statistiche. La procedura di selezione genera una n-tupla di variabili casuali X = (X₁, X₂, ... , X_i, ... , X_n) la cui determinazione numerica specifica una n-tupla di numeri reali detta campione osservato x = (x₁, x₂, ... , x_i, ... , x_n).

La variabile casuale X_i ha la stessa distribuzione di X, quindi costituisce un insieme di n repliche di X. Se tali repliche sono indipendenti, allora si definisce campione casuale semplice.

Lo schema di campionamento appena riportato è talvolta definito campionamento da popolazioni infinite. Nel caso di campionamento da popolazioni finite, lo schema precedente è valido nel caso che il campionamento avvenga con reintroduzione, ovvero nel caso in cui le unità statistiche possono essere estratte dalla popolazione con la stessa probabilità ad ogni estrazione, e ogni unità statistica può essere estratta ripetutamente.

Se il campionamento è casuale semplice, allora le variabili casuali X = (X₁, X₂, ... , X_i, ... , X_n) saranno stocasticamente indipendenti e avranno tutte la stessa distribuzione di probabilità, rappresentabile attraverso la funzione di densità di probabilità X ~ f₀(⋅).

L’obiettivo dello statistico è di utilizzare x per trarre conclusioni sulla distribuzione di X, f₀(⋅), ovvero di fare inferenza su f₀(⋅).

Si interpreta il campione osservato come la realizzazione di n variabili casuali i.i.d., e si costruisce un modello statistico, definendo la distribuzione congiunta del campione come:

a) f₀(x) = f₀(x₁) × f₀(x₂) × ... × f₀(x_n) = ∏_i=1ⁿ f₀(x_i).

In generale non si può assumere che f₀(⋅) sia una funzione di densità qualsiasi. Molti vincoli sono imposti sulle possibili alternative dai seguenti elementi:

• Natura del fenomeno a cui siamo interessati.
• Conoscenze acquisite sul fenomeno analizzato.
• Tipo di campionamento.

Genericamente, si può pensare che f₀(⋅) appartenga ad una famiglia di funzioni di densità F, con f₀(⋅) ∈ F definita in modo coerente con (a), (b) e (c).

Se tutti gli elementi di F sono funzioni dello stesso tipo, distinte tra loro unicamente dal valore di un vettore m-dimensionale di parametri θ, allora il modello statistico viene detto modello statistico parametrico, ed F può essere scritta come: F = {f(⋅, θ); θ ∈ Ω(θ) ⊆ ℝ^m}; con: Ω(θ) = spazio parametrico (ovvero l’insieme dei valori che i parametri possono assumere).

Lo spazio campionario (ovvero l’insieme di tutti i possibili campioni compatibili con un dato modello statistico) viene invece indicato con Χ.

Gli elementi di F sono in corrispondenza con gli elementi di Ω(θ), e in particolare esiste un valore θ₀ ∈ Ω(θ) che è associato a f₀(⋅) e che definiamo “valore vero” del parametro.

In particolare, l’oggetto dell’inferenza statistica sarà θ₀, costante di popolazione non nota, ma considerata fissa nell’inferenza statistica classica. Le conclusione delle analisi su θ₀ saranno soggette ad incertezza in quanto la natura casuale di X che determina x si ripercuote sulle nostre affermazioni. Il nostro compito è quindi di fare in modo che:

• Sia possibile valutare il grado di incertezza a cui sono sottoposte le nostre inferenze.
• Il grado di incertezza sia il più piccolo possibile, compatibilmente con l’informazione campionaria.

3) Tecnica inferenziale per giungere dal risultato parziale alla popolazione: le principali procedure inferenziali sono 3:

• Stima puntuale.
• Stima intervallare.
• Verifica di ipotesi.

Tutte queste tecniche inferenziali hanno alcune caratteristiche in comune:

• L’inferenza avviene sempre sulla base di un campione estratto dalla popolazione X.
• Occorre sintetizzare per riformul