Appunti Modelli statistici

MODELLI STATISTICI

Modelli probabilistici-matematici che permettono di esplicitare la relazione tra variabili statistiche.

Esempio

• Valutare pressione del sangue di un individuo con e senza la somministrazione di un farmaco, tenendo conto delle sue caratteristiche individuali (età, peso, fumatore sì/no).

Modelli statistici e realtà

• Ogni modello → rappresentazione semplificata della realtà.
• Compromesso → un modello deve essere sufficientemente semplice per essere interpretabile e utilizzabile, non troppo semplice per riuscire ad avvicinarsi alla realtà.

Formalizzazione

• Variabile interesse → pressione sangue
• Variabili esplicative → farmaco sì/no, caratteristiche individuali

Tipi variabili

• Variabile interesse (Y) → ruolo variabile risposta
• Altre variabili concomitanti (X₁, ..., X_p) → ruolo variabili esplicative

Costruzione Modello

1. Specifica Modello
2. Stima Modello
3. Verifica e Diagnostica Modello
4. Utilizzo Modello

1. Specifica Modello - Modello viene specificato sulla base:

• Variabili interesse, relazione tra variabili, ipotesi di studio
• Metodologia di raccolta dati, pre-processing dei dati

2. Stima Modello - Parametri modello vengono stimati sulla base dei dati osservati

3. Verifica e Diagnostica del Modello - Verificare assunzioni alla base del modello sono coperti coi dati.Se non è così, una diversa specificazione è necessaria

4. Utilizzo Modello - Per fare stima di quantità di interesse o previsioni

MODELLO REGRESSIONE LINEARE SEMPLICE

Primi passi di analisi esplorativa per lo studio della dipendenza tra 2 variabili - Scatterplot

Coefficiente di correlazione

Coefficiente correlazione

• r(xy) = s(xy) / √s(x²) s(y²) Є [-1, +1]

s(xy) = 1/n Σ (x_i - x̄) (y_i - ȳ)

s(x²) = 1/n Σ (x_i - x̄)²

s(y²) = 1/n Σ (y_i - ȳ)²

x̄ = 1/n Σ x_i

ȳ = 1/n Σ y_i

1. Specificazione modello y_i = f(x_i) + ε_i

• 2 cose da specificare - componente sistematica f
• Distribuzione della variabile errore (assunzioni sulla distribuzione)

⇒ y_i = β₀ + β₁x_i + ε_i

• ⇒ Assunzioni classiche - ε (ε_i) = 0 i=1,...,n "Non sistematicità degli errori"
• Var (ε_i) = σ² > 0 "Omoschedasticità degli errori"
• Cov (ε_i,ε_j) = 0 "Incorrelazione degli errori" i≠j

00E

β₀ = ŷ - β₁ x

β₁ = Sxy / Sx²

dove (β₀, β₁) è l'unico punto critico di S(β₀, β₁)

È un punto di minimo?

Test dell'Hessiana

H = ² S(β₀, β₁)     ² S(β₀, β₁) Ωβ₀²     β₀β₁ ² S(β₀, β₁)

se det(H) > 0 e ² S(β₀, β₁) / β₀² = (β₀, β₁) = (β₀, β₁) > 0

allora (β₀, β₁) è un punto di minimo

² Σ[y_i - β₀ - β₁ x_i] = -2(-n) = 2n

H = ^{2n 2n} 2nx     2εx²

det(H) = 2n 2εx² - 4n εx² - 4n εx^{2 x} - 4n Σx_i (x_i - x_i) (x_i - x) β₀

> β₀

² S(β₀, β₁) / β₀² = 2n > 0

(β₀, β₁) è punto di minimo inoltre è l'unico (perché esiste un solo punto critico) ed è un punto di minimo assoluto

Indice di determinazione R²

∑(Y_i - Ȳ)² = ∑(Y_i - Ŷ)² + ∑(Ŷ - Ȳ)²

• Devianza tot = devianza residua + devianza spiegata
• SQtot = SQreg + SQres

R² = _SQreg/^SQtot

R² ∈ [0,1]

R² nel modello di regressione lineare semplice

R² = (r(xy))²

R² misura la forza della relazione lineare tra x e y, indipendentemente dal segno della correlazione.

Dimostrazione

R² = _SQreg/^SQtot = _{∑(Ŷ - Ȳ)²}/^{∑(Y_i - Ȳ)2}= (β̂² ∑(X_i-X̄)²)/∑(Y_i - Ȳ)²

[∑(X_i - X̄)(Y_i - Ȳ)]² / [∑(X_i - X̄)² ∑(Y_i - Ȳ)²]= (r(xy))²

T = β*₁ - b₁

T = _√3² nS_X²

T = _√3² nS_X²

TOSS

VALORE OSSERVATO DELLA STATISTICA TEST T*

t_oss = _{β*1 - b1 S²}

DENSITÀ T_n-2

ACCEHO

SCEGLIO LIVELLO SIGNIFICATIVO

AD ESEMPIO α=0.05

REGIONE CRITICA T_R DEL TEST

T_R = {t _{toss FOSSE L'ESCLUSIVA DI un EFFETTO significativo su Y}

SEC - e TR -> NON RIFIUTO HO | INON È SIGNIFICATIVA

P-VALUE

P-VALUE = P[OSSERVARE VALORI DI T COME T_OSS O PIÙ ESTREMI]

DENSITÀ T

P(T >=|t_oss|) | NON RIFIUTO HO

Intervallo confidenza per t_n

M̄_X ± t_α/2√N(0,1)

M̄_X ± t_α/2√t_n-2

Fisso il livello di confidenza 1-α

1-α = P(-t_n-2,1-α/2 ≤ M̄_X - μ √(s̄_X² 1/n((X_X - X̄)²/s̄_X²)) ≤ t_n-2,1-α/2)

M̄_X ± t_n-2,1-α/2√(s̄_X² 1/n(μ+(X_X - X̄)²/s̄_X²))

Matching di conf. per t_μ

Se sostituisco a M̄_X e s̄_X² e loro ben rappresentata

Analisi Grafiche

Grafico utile - Scatterplot con esplicativa Xi su asse X e residui standardizzati su asse Y (o residui studentizzati).

Osservazione

Usare residui standardizzati o studentizzati per avere omoschedasticità dei residui.

Grafico mostra andamento sistematico?

• Sì

Concludiamo che le assunzioni sulla variabile errore non valgono.

Modello inadeguato - possiamo pensare a modificare il modello.

Esempi Scatterplot Residui Standardizzati vs Esplicativa

• Non evidenziano andamenti sistematici.
• Violazione linearità modello.
• Violazione assunzione omoschedasticità degli errori.

N=50

ASSUNZIONE NORMALITÀ VARIABILE ERRORE VIOLATA

N=500

ASSUNZIONE NORMALITÀ VARIABILE ERRORE VIOLATA

ASSUNZIONE NORMALITÀ TEST KOLMOGOROV - SMIRNOV

H0 FORMALE RIPARTITRICE TEORICA DEI RESIDUI STUDENTIZZATI È Φ

STATISTICA TEST

DN=sup_x|FO(x) - Φ(x)|

IN R->KS.TEST