La statistica F nella regressione

Un'altra statistica test è la statistica F. Mentre la statistica t si riferisce alla significatività singola, la statistica F si riferisce alla significatività dell'intera regressione. Quindi, se i regressori possono essere considerati complessivamente significativi, la statistica F ci porta a dire di rifiutare l'ipotesi nulla, quindi almeno un regressore è significativo.

La statistica F, che viene riportata nel summary della regressione, ha come ipotesi nulla che tutti i coefficienti, esclusa l'intercetta, siano uguali a zero, tranne uno. Esiste anche una versione diversa del test F che ci consente di effettuare test congiunti sui parametri che scegliamo noi. Ad esempio, non vogliamo considerare tutti i parametri, ma ne vogliamo considerare due, per esempio.

Nel nostro caso abbiamo detto che la Forza Lavoro e la Perc_over65 non sono significativi, quindi complicano il modello senza.

Aiutarci nella spiegazione. È un modello sovra-parametrizzato. Possiamo escluderle entrambe. Le due variabili ci danno informazioni in qualche modo comuni. Dobbiamo considerare quindi che entrambe, considerate insieme, non sono significative o no, perché se prese singolarmente il test t ci dice che non lo sono dobbiamo verificare congiuntamente - questa ipotesi. Questa è la regressione che ho stimato. Rispetto alle scorse formulazioni, l'intercetta è sempre inclusa se supponiamo che moltiplichi una variabile che è sempre uguale a uno. Nel modo seguente: Considerare la Perc_over65 e la Forzalav non significative, vuol dire considerarle uguali a zero. Quindi dico che sotto le ipotesi nulla dico che B3 e B5 sono uguali a zero e non significative, l'ipotesi alternativa è che almeno una è significativa. Da un lato vado a stimare il mio modello originario, esteso (non vincolato si dice). Di questo modello considero l'adattamento, ovvero la

somma dei quadrati dei residui. Allo stesso tempo stimo il modello vincolato, il modello nel quale inserisco i vincoli previsti sotto l'ipotesi nulla. Quindi vado a stimarmi un secondo modello in cui la variabile "crimini" è spiegata per mezzo della mia intercetta + "Popolazione" ecc., nel seguente modo, con 0 al posto degli elementi della mia ipotesi nulla. Pesarle per zero, significa non includerle.

Modello vincolato = vincolo i parametri a soddisfare la mia ipotesi nulla. Ne stimo l'adattamento (del modello vincolato), sempre come somma dei quadrati dei residui del modello.

Ora stimo l'adattamento dei due modelli:

• Se l'adattamento non è significativamente diverso, significa che non posso rigettare l'ipotesi nulla.
• I minimi quadrati sono per definizione il metodo di stima che mi consente di ottenere l'RSS più piccola possibile; quindi, in nessun caso potrò stimare un modello imponendo dei valori ai coefficienti che mi porti a ottenere un RSS più piccolo.

modello migliore quello dei minimi quadrati, al quale avevo lasciato la libertà sul valore dei coefficienti. Quindi ovviamente l'adattamento di questo modello sarà peggiore del primo modello, ma se non è tanto peggiore, vuol dire che ponendo B3 e B5 = 0, allora vuol dire che l'adattamento ci può stare, allora non posso rigettare l'ipotesi nulla- Se il secondo modello è di gran lunga peggiore del primo, allora il valore che ho dato ai miei coefficienti, allora devo rigettare il modello

Quindi abbiamo scoperto che abbiamo usato un k di regressori troppo alto, allora torniamo indietro e decidiamo di utilizzare un altro modello, il "mod2" dell'esercizio "Demograf" di R

Notiamo come è cambiamo R^2

Verifica dell'ipotesi di linearità vera e propria

Noi abbiamo detto che tra crimini, popolazioni e percentuale di diplomati esiste una relazione lineare, ma come facciamo a verificarlo? Utilizziamo il Reset

Test - Ci avvaliamo sempre del p-value per capire se rigettare o meno l'ipotesi nulla (in R vediamo sotto la voce specificazione).

Devo osservare i residui se l'ipotesi non è soddisfatta.

Verifica ipotesi della normalità dei termini di disturbo.

Qualora si aggiunga la componente di normalità, se gli errori fossero normali, non potremmo avvalerci del reset test, della statistica F. VEDI FILE R PER MAGGIOR DETTAGLIO E PAGINA 201 DELLA DISPENSA.

Se le statistiche t sono sovrastimate, vuol dire che aumenta la probabilità di rigettare H0 quando è vera. Se sono sovrastimate vuol dire che rischio di rigettare l'ipotesi nulla anche quando in realtà è vera, quindi aumenta la probabilità di errore di primo tipo.

Come faccio a verificare l'omoschedasticità? Posso iniziare a vedere l'analisi grafica dei residui, altrimenti faccio un test di ipotesi.

Se sono non sistematici, dovrebbero muoversi intorno allo zero. I residui

n’è qualcuna cui corrisponde un valore di yi molto diverso dalle altre, oppure valore xi isolato rispetto agli altri. In generale, osservazione per cui non vale la medesima relazione tra endogena/esogena esistente fra le altre osservazioni. Retta verde corrisponde la blu equazione. Un valore posizionato lontano dalla retta di regressione potrebbe essere considerato un valore anomalo ed dovrebbe presentare in valore assoluto un residuo standardizzato molto elevato. Può avere effetti rilevanti sulla regressione! di 43 43 Attraverso il grafico dei residui standardizzati e il grafico di normalità P-P è possibile identificare deviazioni dovute alla presenza di valori anomali. Due dei tre punti “sospetti” presentano nel grafico degli scostamenti. Notiamo che la mia intenzione era quella di correggere gli standard R, quindi, i valori dei coefficienti non sono cambiati. Quello che è cambiato sono i valori degli standard R, di conseguenza cambiano le

statistiche t. Quindi l'unica differenza tra le due versioni si trova nella colonna degli standard error

In questo esempio in particolare, le conclusioni non cambiano. In realtà la percentuale di diploma è più significativa di prima. La probabilità di sbagliare rifiutando H0 era del 10%, ora invece è del 5%, precisamente del 3.2%.

Il problema della correlazione lo si ha soprattutto nell'analisi di serie storiche. Se utilizziamo dati cross section, il problema della correlazione tra errori si risolve cambiando l'ordine delle osservazioni (essendo dati cross-section posso farlo). Di seguito, l'incorrelazione, dove se ad errori positivi, seguono errori negativi più frequentemente ecc, quindi ha un andamento di questo tipo:

Oppure c'è un'alternanza costante. Quindi non c'è una casualità nel valore dei residui, c'è un'alternanza decisa dei segnoi

La Non Stocasticità

è la prossima ipotesi da verificare. Essa vuol dire che gli errori nonsono correlati con le X, quindi se vado a valutare la correlazione tra regressore eresidui, dovrebbe essere una correlazione trascurabile. Se invece le variabili X sonostocastiche, gli OLS sono proprio distorti, quindi non c’è modo di stimare il modello congli OLS.

L’ultima ipotesi è quella di Non Collinearità. In particolare, nessuno dei regressori deveessere riscrivibile come combinazione lineare degli altri e K < N (più osservazioniabbiamo meglio è). Nel caso in cui una variabile sia esprimibile come combinazionelineare delle altre ce ne accorgiamo subito perché non riusciamo a stimare il modello.Inoltre, può anche essere dovuto (non solo ad una variabile che è combinazionelineare delle altre) al fato in cui non c’è combinazione lineare esatta, perché c’è untermine di errore. Ovvero x1 non è dato

Esattamente dalla somma di x2 e x3, ma più o meno si.

Quindi il problema si pone anche quando la correlazione è SUFFICIENTEMENTE ELEVATA. Quando la correlazione è troppo elevata? Dipende da quante osservazioni abbiamo a disposizione, se sono cross-section o time series.

Se sono cross-section e abbiamo un campione che è nell’ordine di qualche decina, allora una correlazione elevata si ha quando il coefficiente di correlazione è sopra allo 0.8. Esso è un problema se stiamo lavorando con campioni piccoli.

Se i campioni sono grandi, una correlazione fastidiosa la si ha già quando Rò >= 0.5, Rò è il coefficiente di correlazione.

Con le correlazioni dobbiamo ragionare a coppie, ma se la correlazione è tra più variabili e non a coppie? Usiamo i VIF.

Dobbiamo sapere i valori di riferimento dei VIF, che cambiano a seconda se abbiamo a che fare con campioni piccoli o grandi, come già descritto.

Posso togliere X1

OTTAVA LEZIONE

Problema degli outlier - Valori anomali o estremi

I punti rossi si differenziano ed appaiono appunto più distanti. Tra le xi ce n'è qualcuna cui corrisponde un valore yi molto diverso dalle altre, oppure valore di xi isolato rispetto agli altri. In generale, osservazione per cui non vale la medesima relazione tra endogena/esogena esistente fra le altre osservazioni. Fra la y e le x, corrisponde una relazione diversa da quelle che rileviamo dalle altre osservazioni.

Perché dobbiamo prestare attenzione a questi outlier e non li eliminiamo e basta dal dataset? Gli outlier potrebbero avere un impatto sulla regressione molto forte - Outlier influente

In questo grafico notiamo una nuvola di punti rossa ed altri d