Appunti econometria applicata, prof Trovato

BINOMIAL DATA

Esempio OPAPGS relazione Temperatura al lancio e rottura d'impulsi. Come la probabilità di fallimento è relativa alla temperatura in fase di lancio dello shuttle.

Il problema con il modello lineare è che la probabilità è e e (0,1) mentre i divieto formuel del modello non rispettano questi limiti. Una probabilità è traunca

valuta tra 0 e 1 ma non è credibile che le probabilità accettano 0 o 1.

Possiamo consideare y= n^o d'incidenti essera distribuito come una binomiale. Inatti il modello linearerichiede che gli errori si distribuiscano come una numeriaffandi l'inferenza se accicota. Questo non vale fin labinomiale (construo) plural nel nostro che ricavato non è costrutito caai sola il lancuato di anochiocistruit? Visiamo quindi come modello la REGRESSIONE BINOMIALE

Y_i~Bin(Mi,p)

con Y_i indeperenzit

P(y_i=y_i)= ( _ni y_i) = p^y_i * (1-p)^ni-y

le pure individual che corpongono le risposte Yi sono tuesoffette aja resi il predicato: Xi1,...XipCovariate cess i giudoo di podadi arcni poueServe un modello che descriva la relazione tra X1, ... Xp ep Linear predicto:

N_in = B+X_sXi_+--+Xpg

Il predittor lineare pu' aseree compato le predttori qualetativie quantilatativi con l'uso di dinmies nostrie permette dicompere trasformazioni e combinazioni der predttori originalip è filexible ma interpretaterno.

Nel nostro caso, M_i = p_i non è appropriato poiché 0 ≤ p ≤ 1.Usiamo la LINK FUNCTION g.

M_i = g(p_i)

con g monotona e 0 ≤ g^-1(n) ≤ 1 ∀ n.

1. Logit: η = log(p / (1 - p))

2. Probit: η = Φ^-1(p) con Φ^-1 è l'inversa della distr. N.

3. Complementary log-log: η = log(-log(1 - p))

La link function collega il predittore lineare alla media delle risposte.

• Stima dei parametri: metodo delle Massime Verosimiglianze (APPENDICE A).

Log Likelihood: l(p) = Σ_i=1ⁿ [ y_i η_i - n_i log(1 + e^η_i) + log(n_i / n_i!)]

max l(p) per stimare p̂

e Influenza

Modello più grande con l parametri e b₁ likelihood

Modello più piccolo s parametri: L_S è chi approssima un sotto spazio lineare (una restrizione lineare di parametri) del modello più grande.

Likelihood ratio statistic:

2 log (L_G / L_S)

Se per puntiamo al modello basta (quanti tanti parametri, quanti sono mini e che fitted values p̂_i = ĝ^-1(η_i)). Il test devianza:

D = 2Σ_i=1ⁿ [ y_i log y_i / ŷ + (n_i - y_i) log(n_i - y_i) / (n_i - ŷ)]

con ŷ_i = fitted values del modello più piccolo.

Per modellare l'overdispersione si introduce un parametro di dispersione q²

Nel caso binomiale standard q² = φ = 1. Stima dai dati:

q² = χ²/n - p dove χ² è quello di devianza

Lo stimatore di β₂ non è affetto da q², cambia la varianza:

Var(β₂) = q² (X^TWX)^–1 , l'errore standard va scalato di q²

Per confrontare modelli non si può usare le differenze in devianza perché la statistica test t non distribuisce χ² con q² sconosciuto.

Si usa la statistica F:

F = (Deviance_small - Deviance_large) / (df_small - df_large) / q²

• Matched Case-Control Studies

Si cerca di determinare l’effetto di un certo fattore di rischio

sull’outcome. In un matched control study il college ogni caso

con uno o più controlli che hanno gli stessi valori

di alcune potenziali variabili che confondono. Si perde la possibilità

di determinare gli effetti delle variabili usate per il match

(es) il sesso). Inoltre, i dati non saranno un campione casuale

della popolazione di interesse.

Link function

si assume che _E(_Y) = _μ (parametro medio) è collegata alla covariataattraverso il predittore lineare: η = g(_μ).

Canonical link η = g(_μ) = ϴ il parametro canonico.

Basta definire che g'(_l(ϴ)) = ϴ.Ultimando questo X^Tξ è sufficiente per φ

• Normale η = _μ Varianza 1
• Poisson η = log_{μ μ}
• Binomiale η = log(_μ/1-_μ) _μ(1-_μ)

Fitting a GLM

I parametri: _β possono essere stimati con la ML

L(ϴ_i,φ - _yi) = w_i[^{yiϴ_i - b(ϴ_i)}+ c(y_iφ)/φ]

Per le osservazioni indipendenti si ha ϴ.

• Dritto

Si usa una ottimizzazione numerica per ottenere _β: il metodo Newton-Raphson con Fisher scoring, applicato, dimostra che l'ottimizzazione è equivalente a (IRWLS) iteratively reweighted least squares:

η = g(_μ) * con _μ = _E(_Y)

Espansione: g(y)_≈g(_μ)+(y_-μ)g'(_μ) = η+(y_-μ) ^dη/_dt ≡ z

IRWLS procedure:

1. Valori iniziali ^η e _μ0
2. z₀ = ^η+_(y-⊂μ)^dη/_dtμ0 predittore
3. Pes. W^-1:

 dη

 (dη/dt)_μ0 ^V(_μ⁰)

4. Stime di _β per ottenere η₁

5. Ripetizione fino a convergenza.

Stima della varianza: Var(_Ż) = (X^TWX)^-1 φ

Nel modello bionomiale φ = 1, in quello gaussian φ = _σ²

Se assumiamo per l'effetto random β ~ N(0, σ²D), allora

Var(Y) = Var(Zβ) + Var(ε) = σ²Z D Z^T + σI, possiamo scrivere

le distribuzioni non condizionate: y ~ N (Xβ, σ²(I + ZDZ^T))

Se consideriamo possiamo stimare β con il metodo dei minimi

quadrati generalizzati.

Chiamiamo V = I + Z D Z^T la densità congiunta per la risposta è:

exp(− ¹/_2σ² (y − Xβ)^T V⁻¹ (y − Xβ))

_{2π^m/2 | σ²V |^1/2}

log likelihood

l(β, σ, D|y) = − ⁿ/₂ log 2π − ¹/₂ log |σ²V| − ¹/_2σ²(y − Xβ)^T V⁻¹(y − Xβ)

da cui possiamo stimatore MLE

Problemi: MLE è distorta β = ^{Σ_i=1m (X_i − X̄)2}/_n mentre n

denominatore dovrebbe essere m−1.

Questo problema viene risolto con gli stimatori di max verosimiglianza

ristretti REML: l'idea è quella di prendere una combinazione

lineare della risposta Κ: Κ X = 0 > К y ~ N(0, К T Κ V К

si può massimizzare la verosimiglianza basata su Κ y che non

include i parametri degli effetti fissi. Una volta stimati i parametri

degli effetti random è semplice ottenere quelli degli effetti fissi.

• Inferenza
• Likelihood ratio test:

2 ( l(_{β̂, σ̂, D̂ | y, M}) − ℓ(_{β̂, σ̂, D̂ | y}) )

~ χ²

_{ipotesi alternativa ipotesi null}

con gradi di libertà pari alla differenza di dimensione dei 2 spazi parametrici.

• Testare gli effetti fissi: non si può usare lo REML poiché

la combinazione lineare elimina gli effetti fissi. I valori, utilizzando

la ML ordinaria, tendono ad essere piccoli, si possono usare metodi

bootstrap oppure usare i test costruendo ripetuti ai valori

stimati degli effetti random.

• Testare gli effetti random:

H₀: σ² = 0, se la χ² di test tende

ad essere conservativo (p-valore più grande del dovuto).