Calcolo delle probabilità e Statistica Matematica 2 - Appunti

... , α una base ortonormale per V, grazie al teorema di Gram-Schmidt, è possibileSia α r1 r , . . . , α , con n > r ad una base ortonormale per V .ampliare la base a α n1 n nP∈ ∈z αPossiamo riscrivere Y V : Y = e possiamo anche riscrivere η V attraverso la basein riirP= ẑαortonormale: η iiQuindi si ottiene: r n X XX X 2 2−− − = (z ẑ ) + zY η = (z ẑ )α + z α i ii i i ii=1 i=r+1Poiché questa è un somma di termini positivi, l’unico modo per minimizzarla è annullare quantipiù coefficienti possibili, e quindi prendere ẑ = z , i = 1, 2, . . . , ri iLa scelta di questi ẑ equivale a quella di prendere η come proiezione ortogonale di Y su V, cioèi r− ∀j − ⇒ −(Y η)⊥ξ = 1, . . . , p e quindi ξ (Y X β) = 0 XY XX β = 0 che è una equazionej j T Tnormale.Nota. −1 −1 −1Se S è invertibile, allora si

ha che β̂ ] = XY ] = S X ] = S XX β = βE[ E[S E[YM Q T

Proposizione 5.5. k ×Sia X un vettore aleatorio con matrice di covarianza Cov(X) in e A una matrice m kRdeterministica. Allora si ha Cov(AX) = A Cov(X)A T

Dalla precedente proposizione si evince che, supponendo S invertibile−1 −1 −1 −1 −1 −12 2Cov(S XY ) = S X Cov(Y )(S X) = σ [S XI X S ] = σ ST n T−1e poiché in generale S non è diagonale, le componenti di β̂ sono correlati.M Q

Definizione 5.6. (Funzione parametrica)p p∈ ∈Sia c deterministico e β il vettore dei parametri del modello di regressione lineareR R  Y = X β + εT ] = X βE[Y T 2Cov(Y ) = σ I nβ è detta funziona parametrica.La funzione Ψ = cT

Definizione 5.7. (Funzione parametrica stimabile)Una funzione Ψ parametrica si dice stimabile se possiede uno stimatore lineare in Y non distorto,∃ ∈ciò se a V tale che [aY

= Ψ.En β 40

Lemma 5.8. ∈ V tale che [aY ] = Ψ. Sia d la proiezione diSia Ψ una funzione parametrica stimabile e a En βa su un sottospazio V , allorar1. [dY ] = ΨEβ2 2≥2. σ (aY ) σ (dY )= cβ̂3. dY M Q⊂4. Se e V è un vettore tale che ] = Ψ, allora e = dE[eYrDimostrazione.1) può venir scritto in maniera univoca nel seguente modo: a = b + d con b⊥V e quindiIl vettore a raY = (b + d)Y = bY + dYe di conseguenza Ψ = [aY ] = [bY ] + [dY ] = bX β + [dY ]E E E Eβ β β T βPer l’ortogonalità si ha bX = 0 e quindiT Ψ = [dY ]Eβ2 2 2 2kak kbk kdkPer come è stato decomposto il vettore a si può scrivere = + e quindi2 2 2 2 2 2kak ≥ kdkσ (aY ) = a Cov a = σ σ = σ (dY )3Si ha Y ] = Ψ = c β per definizione e Y ] = d ] = d X β da cui segue vtc =E[d E[d E[Y T TT T T T Td X .TT −Si consideri η̂ = X β̂ , essa è la proiezione

Allora lo stimatore Ψ̂ dei minimi quadrati di Ψ ha varianza minima nella classe degli stimatori non distorti per Ψ e lineari in Y.

Dimostrazione. ∈ ∀β.∃a V tale che Y = Ψ + a.

Sia Ψ stimabile, allora E[an] = 0.

Sia d la proiezione di a su V, allora si ha Ψ̂ = d Y = c β̂.

MQ = M QT TY un’altro stimatore per Ψ lineare in Y non distorto, allora:

1. Se b ∈ V si ha b = d e quindi var(b Y ) = var(d Y ) = var(Ψ̂).

2. Se b non ∈ V è possibile considerare la sua proiezione su V, che avrà varianza pari a var(d Y ) = var(Ψ̂) < var(b).

Corollario 5.11. ∈∀c V la funzione Ψ è stimabile e Ψ̂ è ottimale.

Sia rk(X) = n il massimo possibile; allora n = MQ, come anche tutti i β̂ MQ,j.

Dimostrazione. -1

Se il rango di X è massimo la matrice S è invertibile, quindi β̂ = S XY. Se scelgo c = (0, . . . , 0, 1, 0, . . . , 0) allora c β̂ = β̂ ed esso ha varianza minima.

k - −η̂ = ] = (n r) var(z ) = (n r)σE[zE M Q jjj=r+1

Quindi 2kY - kη̂E M Q2σ̂ = - (n r)è uno stimatore della varianza. 42

Verifica di ipotesi sul modello lineare di regressione∈ V , cioè η soddisfa q ipotesi lineari con

Un test di ipotesi che si è soliti fare è H : η r-q0∈0 < q < r stiamo quindi verificando se alcuni parametri β sono nulli o meno.

N, iSi pone preventivamente X 2-s = s(Y, β) = (Y ])E[Yi isi denota con s se si sta supponendo vera l’ipotesi H oppure con s se non si suppone nessunaH 0 H0 2∼ipotesi. Se si suppone Y N (η, σ I ) una normale multivariata, si ha che, per l’indipendenzandelle Yi s(Y,β)n z }| {1 12 X 22 2- − )L(Y, β, σ ) = exp σ (Y ]E[Yi i22πσ 2 {z }|=η i2Fissato σ , massimizzare L rispetto a β sotto l’ipotesi H , è equivalente a cercare0 2kY -min s(Y, β) = min