Appunti Statistica 2 - completi

Campionamento

Popolazione

Popolazione: insieme dei possibili esiti che, a parità di condizioni, possono essere ottenuti da un esperimento (misurazione, rilevazione, …).

Popolazione finita

Per popolazione finita si intende un insieme di unità statistiche realmente esistenti che possono essere oggetto di rilevazione totale oppure parziale.

Sono esempi di popolazione finita: l’insieme delle famiglie di un dato Comune; l’insieme delle aziende industriali di una certa Regione ecc.

Popolazione infinita

L’espressione popolazione infinita (virtuale) indica l’insieme potenziale delle osservazioni connesse alla ripetizione, teoricamente illimitata, di un esperimento casuale condotto nelle stesse condizioni.

Sono esempi di popolazione infinita: gli esiti (guarigione - non guarigione) di una terapia somministrata a soggetti omogenei; i pezzi che escono da un processo di produzione industriale ecc.

Modello descrittivo della popolazione

Per modello descrittivo della popolazione intendiamo:

• La distribuzione di frequenze relative di un carattere all’interno di una popolazione finita, oppure.
• Una funzione (modello) matematico che esprime la probabilità o la densità della variabile casuale che descrive l’esito della singola prova di un esperimento nel caso di una popolazione infinita/virtuale.

f(x)

In entrambi i casi, useremo il simbolo.

Inferenza statistica

L’obiettivo non è descrivere quantitativamente una situazione empirica, ma partendo da questa descrizione, inferire aspetti generali della popolazione di riferimento.

Di riferimento) teoria della probabilità fornisce i modelli (popolazione per i fenomeni la possibilità di misurare l’errore commesso nell’inferenza.

L’analisi descrittiva produce evidenze relative a tali modelli basandosi sui dati rilevati.

L’inferenza statistica permette di “risalire” dai dati osservati empiricamente alle caratteristiche del modello/popolazione (per es. stimare la curva sovrapposta all’istogramma, i suoi parametri).

Campione

Campione: sottoinsieme finito degli elementi presenti nella popolazione.

Numerosità (ampiezza) campionaria: numero di campioni n.

Campione casuale

Data la variabile casuale X oggetto di studio, con distribuzione f(x), un campione casuale è l’insieme di variabili casuali indipendenti e identicamente distribuite come X.

X₁, …, X_n f(x) C.C. (X₁, …, X_n) i.i.d. come X ~ ⇒ 1 n.

Il campionamento con reinserimento da una popolazione finita rappresenta un campionamento casuale, quello senza reinserimento non è casuale.

Campione osservato

Valore del campione casuale, quando l’ho osservato. Numero che ottengo quando faccio la rilevazione.

Vettore di numeri x₁, .., x_n.

Variabilità campionaria: il campione osservato è solo uno dei possibili campioni estraibili dalla popolazione d’interesse. Prima di osservarlo il campione è un vettore di variabili casuali, ho un solo campione osservato.

Spazio campionario: insieme dei possibili campioni di numerosità prefissata estraibili dalla popolazione.

Un generico campione è costituito da n numeri (x₁, …, x_n) dove x₁ è il possibile valore di X₁, ecc.

Lo spazio campionario è l’insieme di tutti i vettori di numeri possibili.

Distribuzione congiunta del campione: probabilità congiunta associata ad ogni campione; ovvero la probabilità associata al verificarsi di ogni campione.

A ogni elemento (x₁, …, x_n) (campione) dello spazio campionario è associata una probabilità (densità) data dalla funzione di probabilità (densità) congiunta: f(x₁, .., x_n) = f(x₁) * .. * f(x_n) = ∏ ( ).

Dove f_X(.) è la funzione di probabilità/densità della variabile casuale X oggetto di studio.

Statistiche, stimatori e stime

La funzione di probabilità/densità di determinate variabili casuali sono determinate da parametri (θ, λ).

Stima del parametro

Da questi parametri dipendono anche i corrispondenti valori attesi e varianza; dalla posso ⇒ risalire anche a questi valori.

Spazio parametrico: dove si muove il parametro, che valori può assumere. (Θ)

Statistica = funzione nota dei dati campionari.

Le statistiche campionarie dipendono dal (sono funzioni del) campione su cui sono calcolate e, come questo, sono quindi affette da variabilità. Poiché in pratica si osserva un unico campione tra i possibili occorre assegnare al valore della statistica una misura di tale variabilità.

== (x₁, …, x_n), S = S() nota, S: ad esempio media campionaria ∑ ℝ → ℝ ⇒ 1 n = varianza campionaria ∑ ( − ) = ∑ ( − ). Sono statistiche campionarie (o variabili casuali campionarie).

Stimatore = statistica utilizzata per stimare un determinato parametro, è una variabile casuale.

T = T() = T(x₁, …, x_n) ad esempio media campionaria e varianza campionaria. ⇒ 1 n.

Distribuzione campionaria: distribuzione dello stimatore.

Stima = è un possibile valore assunto dalla variabile casuale (stimatore).

In generale nella singola realizzazione campionaria (singolo campione) si può avere (e generalmente si ha) una stima il cui valore è diverso da quello del parametro. Alcune stime possono essere anche molto lontane dal valore vero altre molto vicine.

Stimatore naturale di un parametro è lo stimatore ottenuto calcolando sul campione la quantità corrispondente a quella che si vuole stimare nella popolazione.

È lo stimatore naturale di E(X) ⇒ e stimatori naturali di Var(X) ⇒.

Distribuzione campionaria della media

Dato X ~ f(X) e c.c. (X₁, …, X_n) siano μ e σ² rispettivamente media e varianza della popolazione.

Il valore atteso e la varianza della media campionaria sono: E() = E(X) = μ e Var() = =.

Popolazione normale con varianza nota

X ~ N(μ, σ²) con X, μ e σ > 0 noto; (X₁, …, X_n) c.c. da X. 2 2 ~ ∈ ℝ ∈ ℝ 1 n.

Funzione generatrice dei momenti: = = = ricavo la distribuzione di dalla ∑ ∑ ∑ ( ) = E[ ] = () ( ). . ∑ ] = E [∏ ] = == E[ ] = E[ ∏ ∏ ∏ [ ] ( ) () ∑ ∑ = N (∑, ) = N (μ, ) con noto ∑ ~ ⇒ E() = = = = μ = E(X) ∑ ∑ Var() = = = = ∑ ∑ indipendenza e identica distribuzione.

Basta che sia un campionamento basato su perché valga questo valore atteso e questa varianza (non solo per popolazione normale).

Per grandi campioni: distribuzione asintotica di. Dato X ~ f(X) e (X₁, …, X_n) c.c. da X (i.i.d come X), e date E(X) = μ e Var(X) = σ² finite.

Z = N(0,1) per n → +∞, n >> 0 risultato asintotico → → n /√.

F_n(x) funzione di ripartizione di Z_n, e Φ(), funzione di ripartizione di N(0,1).

F_n(x) lim_n→∞ () = Φ() ≍ Φ() ⇒ ⇒ N(0,1) N(μ, ) risultato approssimato ~ ↝ ~ /√.

Valore atteso momenti campionari

X ~ f(X) e (X₁, …, X_n) c.c. da X. r momento r-esimo M_r = ∑ ~ ∈ ℕ ⇒ 1 n ∑ () μ_r = E(X^r) = ∫ = i^r () == = = E(M_r) = ∑ ∑ ∑] ] [.

Momento campionario = momento dell’intera popolazione, per ogni distribuzione. ⇒

Stima puntuale

La stima puntuale si occupa di affrontare il problema di come scegliere lo stimatore più “conveniente” per attribuire un valore al parametro di interesse θ.

La stima intervallare invece consiste nell’individuare un insieme di valori plausibili per il parametro θ.

Proprietà di uno stimatore: correttezza o non distorsione

Dato un campione casuale (X₁, …, X_n) di una popolazione di cui interessa stimare il parametro θ, lo stimatore T_n = t(X₁, …, X_n) di θ, è detto non distorto se: E(T_n) = θ.

Bias(T_n) = 0 non è distorto.

La distorsione la calcoliamo con Bias(T_n) = E(T_n − θ) = E(T_n) − θ se ⇒ Bias(T_n) = Var(X) − E(T_n).

Stimatore corretto (non distorto) di E(X) ⇒ stimatore distorto di Var(X), poiché E( ) ≠ Var(x) ⇒ stimatore corretto di Var(X), infatti la chiamo varianza corretta ⇒.

Proprietà asintotiche: non distorsione

Sia T_n stimatore di θ, Bias(T_n) = E(T_n) − θ = 0.

Se allora T_n è asintoticamente non distorto, ovvero all’aumentare della numerosità (n →) campionaria lo stimatore tende ad essere migliore e la distorsione diminuisce.

E(T_n) ≍ θ, n >> 0, se T_n è asintoticamente non distorto (Bias(T_n) ≍ 0) allora ⇒.

Distribuzione campionaria della varianza

Con popolazione normale ignoti X ~ N(μ, σ²) con X, μ e σ > 0; (X₁, …, X_n) c.c. da X. 2 2 ~ ∈ ℝ ∈ ℝ 1 n.

= stimatore di σ² ∑ ( − ) == = = ∑ ∑ ∑ ) (( − ) + ( − )) [( − ) + 2( − )( − ) + ( − ) ]( + == + ∑ ∑ ∑ ( − ) ( − )( − ) ( − ) = + = + ∑ ∑ ( ) ( − ) ) ( )( /√?

Y = W = Z = ∑ ∑ (~ ) ~ ( ) ~ /√N(0,1) poiché N(μ, σ²) ~ ~ ~ ⇒⇒.

G_Y(t) = E[ ] = (se W e Z indipendenti) = E[ ] E[ ] = G_W(t) G_Z(t)/( )( ).

G_W(t) = = = ovvero la funzione generatrice dei momenti di ( ) W ( ) /)(W = ∑ ( ~ ) ⇒ = = = ∑ ∑ ∑ ( − ) ( − )( ) ~ ⇒.

E( ) = n − 1 quindi E( ) = σ² ≠ σ² = Var(x) ⇒.

Stimatore non corretto Bias( ) = E( ) - σ² = - < 0 quindi tende a sottostimare la varianza campionaria = 0.

Anche se quindi è asintoticamente non distorto. ( ) →.

Stimatori corretti di σ²

= ignoti X ~ N(μ, σ²) con X, μ e σ > 0; (X₁, …, X_n) c.c. da X 2 2 ∑ ( − ) ~ ∈ ℝ ∈ ℝ 1 n.

] = E [E[S²] = E [ ] = E [ ] = σ² = σ² = Var(X) 2 2 2 ∑ ( − ).

Bias(S²) = 0 è uno stimatore corretto, non distorto. ⇒

= μ noto X ~ N(μ, σ²) con e σ > 0; (X₁, …, X_n) c.c. da X 2 2 ∑ ( − ) ~ 1 n.

Ma direttamente il valore della media. Essendo μ noto non devo considerare la stima, ] =] = E [ ] essendo E[S²] = E [ E [∑² ∑ ∑ ∑ ( − ) ( ~ ( − ) ( ) ) = = = Var(X) stimatore corretto ⇒ S = =.

Inoltre osserviamo che 2∑ ∑ ( ) ( − ) ~ ~.

Varianza corretta

Varianza corretta = per popolazione normale ∑ ( − ) ( ) = S = = 2∑ ( − ) ( − ) ~ ⇒ ⇒ = Var(X).

E[S²] = σ² 2 2( ) ( ) Var[S²] = 2 (n-1) essendo, quindi Var[S²] = 2 (n-1) 2 2.

Var[S²] = mi dice quanto è variabile la stima (oscillazione rispetto a quel valore) 2 ( ).

Ma se non conosco devo stimarlo, per stimare la varianza dello stimatore uso lo stimatore di: S² = [ ] ( ).

Altro modo per calcolare Var[S²] = dove = E [(X-μ)⁴] momento quarto e μ = E(x) 2 4( + ). In generale, non solo per popolazione normale.

Ricalcolo in generale dove M = Considero Var(x) = E(x²) − [E(x)]², = M - 2 2 ∑ 22.

E(M₂) ) = (lin & i.d.) = E( ) = E(M - E(X²) = Var(X) + E (X) = σ² + μ²) = E(M₂) - E( ) = E( 2 2 2 22 2 ∑ ⇒ 22 E( ) + E () = + μ² = Var() 2 2 2 - μ² = σ² = σ² + μ² - 2 22.

Var[ ] = Var[S²] = = Var[ ] 2 ( ) ( )( ) Var( ) =.

Deviazione standard

Deviazione standard: = = σ() √.

Disuguaglianza di Jensen

Convessità

Convessità: il grafico di g(x) è sopra il grafico della tangente a g(x).

Funzione g: (a,b) → ℝ con (, ) ⊆ ℝ è convessa se il g’’(x) ≥ 0 in ogni ∀ ∈ (, ).

Inoltre: se g(x) è derivabile due volte allora; g(x) > 0 strettamente convessa.

Se allora la funzione è concava su (a,b) se - g(x) è convessa. Invece dico che g(x) è.

Disuguaglianza di Jensen

Sia X una variabile casuale, E(|x|) < ∞ e g(x) una funzione convessa. Allora: () ≥ (()).

Dimostrazione

Sia la retta tangente a g(x) in E(x), = g(x)() () + . = = = (lin) = =(()) (()) + () [ + ] () E(x) l(x).

Perché g convessa() ≥ () () ≥ () = (()) ⇒ x.

Esempio

X ~ f(x), g(x) = x² convessa. E(x²) ≥ [E(x)]². Allora Var(x) = E(x²) - [E(x)]² ≥ 0 ⇒.

Proprietà di uno stimatore: efficienza relativa

Errore quadratico medio: MSE

Ci dà idea della distorsione dello stimatore e della sua dispersione rispetto al centro.

(x₁, …, x_n) c.c. da X. X ~ f(x,θ), θ ∈ Θ e ~ ∈ 1 n.

T_n = T(X₁, …, X_n) stimatore di θ.

MSE(T_n) = E(T_n - θ)² media degli errori al quadrato che commettiamo stimando θ con T_n.

= Var(T_n) + (Bias(T_n))².

MSE_θ(T_n) = quando c’è il pedice vuol dire che è una funzione di θ non di T ( − ) () ∫θ n n ℝ.

Dimostro che E(T_n - θ)² = Var(T_n) + (Bias(T_n))².

E(T_n - θ)² = E[(T_n - E(T_n) + E(T_n) - θ) ] = E[(T_n - E(T_n)) + 2(T_n - E(T_n)) (E(T_n) - θ) + (E(T_n) - θ) ] = lin = 2 2 2 2 n n n n n n n n n n.

= E[(T_n - E(T_n)) ] + E[2(T_n - E(T_n)) (E(T_n) - θ)] + E[(E(T_n) - θ) ] = 2 2 n n n n n n.

= E[(T_n - E(T_n)) ] + 2 (E(T_n) - θ) E[T_n - E(T_n)] + (E(T_n) - θ) = dove (Var(T_n) = E[T-E(T)] ) 2 2 2 n n n n n n.

= Var(T_n) + (E(T_n) - θ) = 2 n n.

= Var(T_n) + (Bias(T_n))².

MSE(T_n) = Var(T_n) quando uno stimatore è corretto, non distorto e quindi E(T_n) = θ ⇒ n n n.

Definizione: T1 è più efficiente di T2

X ~ f(x,θ), (x₁, …, x_n) c.c. da X; e T₁ e T₂ stimatori di θ. Allora posso dire che se:

MSE_θ(T₁) ≤ MSE_θ(T₂) ∀ θ ∈ Θ, o MSE_θ(T₁) < MSE_θ(T₂) per almeno un θ in Θ.

( ) E = dati due stimatori è preferibile quello con MSE minore.

( ) Confronto e ( ) ( ) MSE_θ( ) = Var( ) + Bias( ) = + (- ) = MSE_θ( ) = Var( ) + 0 = 2 2 θ θ.

( ) = < 1 MSE_θ( ) < MSE_θ( ) quindi è più efficiente anche se distorto E = ⇒ θ θ.

Efficienza assoluta

Uno stimatore per cui MSE è pari a tale valore minimo è detto efficiente fra tutti gli stimatori non distorti (in termini assoluti).

Stimatori UMVUE

Sono stimatori corretti a varianza uniformemente minima; cioè uniformemente uguale per ogni θ.

UMVUE T* di θ è detto stimatore se Var(T*) < Var(T) e se E(T*) = θ ∀ θ ∈ Θ ⇒ dove T è uno stimatore non distorto di θ.

Teorema di unicità dell’UMVUE

Se T* è UMVUE θ allora è unico.

Dimostrazione

Supponiamo che esista U di θ tale che E(U) = θ e Var(U) = Var(T*). Introduciamo V = , terzo stimatore.

E(T*) + E(U) = θ quindi è non distorto.

E(V) = Var(V) = Var(T*+U) = [Var(T*) + Var(U) + 2 Cov(T*,U)] = [2 Var(T*) + 2 Cov(T*,U)] = [Var(T*) + ρ = [Var(T*) + ρ Var(T*)] = Var(T*) = * (T*) (U)] ≤ 1, e data Cov(T*,U) = ρ.