Metodi quantitativi

Proprietà dello stimatore LS

La media stimata LS è non distorta, consistente (se valgono certe ipotesi su X'X), coincide con lo stimatore di massima verosimiglianza sotto certe ipotesi forti e BLUE (Best Linear Unbiased Estimator).

Non è possibile inserire variabili qualitative tra i regressori. Per considerare questo tipo di variabili all'interno del modello, è necessario costruire delle variabili dummy (dicotomiche 0-1) che identificano le modalità della variabile originaria. Per una variabile qualitativa con k modalità, è necessario costruire (k-1) dummy. Le variabili dummy saranno utilizzate come regressori.

Interpretazione dei coefficienti:

• Impatto di Xj su Y, posto che nel modello sono presenti altre variabili.
• Tasso di variazione di Y al variare di Xj.
• Come varia Y al variare di una unità di Xj se gli altri regressori non variano.
• Il segno del coefficiente indica la direzione.

dell'impatto del regressore a cui è associato.

• Valore del coefficiente indica l'incremento marginale di Y.
• Dipende dall'unità di misura di Xj.
• Le variabili qualitative possono essere inserite nel modello come regressori solo dopo opportuna dicotomizzazione.

Se Xj è qualitativa con modalità x1, ..., xk, si costruiscono k-1 variabili dummy Z1, ..., Zk-1:

• Zi=1 se X=Xi e Zi=0 altrimenti (r=1,...,k-1; i=1,...,n);
• Per la modalità k-esima (residuale) la variabile dummy sarebbe ridondante (combinazione lineare delle altre mal condizionamento della matrice di var-cov di X1,...,Xp).

Non c'è un modo univoco di costruire variabili dummy (ad es. si possono anche raggruppare più modalità in un'unica variabile dummy). INTERPRETAZIONE DEI COEFFICIENTI: variabili qualitative Per ogni variabile categorica si producono k-1 variabili dummy dove k è il numero di modalità.

numero delle modalità. Come si interpretano i k-1 coefficienti? - Passando dalla modalità k alla modalità j del regressore la Y varia di una quantità βj. Valore del coefficiente. Per valutare l'impatto relativo dei singoli regressori è necessario considerare i coefficienti standardizzati. Indicatori di bontà del modello - Test F OK p-value con valori bassi. Per valutare la significatività dei coefficienti. Se il p-value del test è inferiore al livello di significatività fissato, rifiuto l'ipotesi che i coefficienti siano tutti nulli il modello ha capacità esplicativa. - R-quadro OK valori alti. Per valutare la capacità esplicativa del modello capacità di rappresentare la relazione tra la variabile dipendente e i regressori (varia tra 0 e 1, quanto più si avvicina ad 1 tanto migliore è il modello). R-quadro adjusted, come R ma indipendente dal numero di regressori.

R-quadro adjusted OK valori alti. singoli- Test t per valutare la significatività dei coefficienti (se il p-value del test è inferiore al livello di significatività fissato, rifiuto l'ipotesi di coefficiente nullo il regressore corrispondente è rilevante per la spiegazione della variabile dipendente).Test F per valutare la significatività congiunta dei coefficienti- ipotesi nulla: H : Beta = … = Beta = 0.0 1 p- ipotesi alternativa: H : Beta ≠ 0.1 i- statistica test.- valutazione se p-value piccolo (rifiuto l'hp di coefficienti tutti nulli) il modelloha buona capacità esplicativa.Scomposizione della varianza SST=SSE+SSM- SST = variabilità di Y.- SSE = variabilità dei residui.- SSM = variabilità spiegata.R-quadro= SSM/SSTmisura la % di variabilità di Y spiegata dal modello = capacità esplicativa del modello.misura la variabilità delle osservazioni intorno alla

‘retta’ di regressione.

SSM=0 (R-quadro=0) il modello non spiega.

SSM=SST (R-quadro=1) OK.

R-quadro adjusted= [1-(1-SSM/SST)] / [(n-1)(n-p-1)]come R-quadro ma indipendente dal numero di regressori.

combina adattabilità e parsimonia.

Indicatori sintetici di bontà del Modello:

R-quadro Ha valori compresi tra 0 e 1.

- R-quadro = 0 => Il Modello non è esplicativo.

- R-quadro =1 => Il Modello spiega perfettamente.

- R-quadro >0.2/0.3 => Il Modello ha capacità esplicativa.

R-quadro adjusted- Varia tra 0 e 1.

- Ok x valori > 0.2/0.3.

Test t per valutare la significatività dei singoli coefficienti

- ipotesi nulla (j=1,…,p) -> H : Beta = 0.0 j

- ipotesi alternativa H : Beta ≠ 0.1 j

- statistica test.

- valutazione il coefficiente è significativo (significativamente diverso da 0) seil corrispondente p-value è piccolo (ossia, rifiuto l’ipotesi di coefficiente nullo) il regressore a cui il

coefficiente è associato è rilevante per la spiegazione del fenomeno. Interpretazione dei coefficienti: - impatto di Xj su Y posto che nel modello sono presenti altre variabili. - variazione marginale di Y al variare di Xj. - quanto varia Y al variare di una unità di Xj posto che gli altri regressori non varino (assenza di multicollinearità). ATTENZIONE!! I valori dei coefficienti dipendono dall'unità di misura della variabile a cui sono associati, quindi non sono direttamente confrontabili ed utilizzabili per stabilire un ordine di importanza tra i regressori rispetto all'impatto sulla variabile Y. Segno del coefficiente: - indica la direzione dell'impatto del regressore a cui è associato. - segno atteso diverso da quello osservato può indicare interazione tra i regressori (multicollinearità). Ordine di grandezza: - il valore assoluto del coefficiente determina l'impatto di Xj sulla variabile dipendente Y. - il valore

Il valore assoluto del coefficiente dipende dall'unità di misura della variabile indipendente Xj.

Multicollinearità

Quando un regressore è combinazione lineare di altri regressori nel modello, le stime sono instabili e hanno standard error elevato. Questo problema è chiamato multicollinearità.

VIF: indicatore che serve per individuare la presenza di multicollinearità ed è calcolato per ciascuna variabile del modello.

Variance Inflation Factors

VIF>1.2 o 1.3 = multicollinearità (nella pratica VIF>2).

X1,...,Xp non sono vettori linearmente indipendenti.

- forte correlazione tra i regressori (o alcuni di essi).

- La varianza dello stimatore dei minimi quadrati tende ad esplodere.

Problema di stabilità delle stime.

Per verificare la presenza di multicollinearità:

- regressione lineare di Xj sui rimanenti p-1 regressori:

- Rj² - misura la quota di varianza di Xj spiegata dai rimanenti p-1 regressori.

valori > 0.2 / 0.3 presenza di multicollininearità - Variance Inflation Index (VIFj): VIFj = 1 / (1 – Rj²) misura il grado di relazione lineare tra Xj e i rimanenti p-1 regressori valori > 1.2 / 1.3 presenza di multicollininearità.

Soluzioni: trasformazione delle variabili correlate, selezione di una variabile rappresentativa dal gruppo di variabili legate da relazione lineare e rimozione delle altre variabili correlate, analisi delle componenti principali trasformazione dei regressori in componenti non correlate (nella nuova regressione andranno incluse tutte le componenti principali).

La selezioni dei regressori:

• Poche variabili:
  • capacità previsiva .
  • fit .
  • parsimonia .
  • interpretabilità .
• Tante variabili:
  • capacità previsiva .
  • fit .
  • parsimonia .
  • interpretabilità .

Criteri di selezione: valutazioni soggettive, confronto tra tutti i possibili modelli, algoritmi di selezione.

automatica. Procedura di calcolo automatico che seleziona il sottoinsieme di variabili ottimo tra quelli possibili: - forward selection inserisce nell'equazione una variabile per volta, basandosi sul contributo del regressore inserito alla spiegazione della variabilità di Y. - backward selection rimuove dall'equazione una variabile per volta, basandosi sulla perdita di capacità esplicativa della variabilità di Y conseguente all'eliminazione del regressore. - stepwise selection (forward+backward selection) ogni variabile può entrare/uscire dal modello. La Stepwise Selection è una procedura sequenziale che valuta l'ingresso/uscita dal modello dei singoli regressori (in base a indicatori legati all'R-quadro). Step 0 si considerano tutti i potenziali regressori. - Step 1 entra il primo regressore. Ossia, viene stimato un modello contenente un unico regressore tra quelli proposti (viene scelto il regressore che...variabilità della variabile dipendente. Step 1: si individua il regressore che ha il maggior contributo nella spiegazione della variabilità della variabile dipendente. Step 2: si valutano tutti i possibili modelli che includono il regressore individuato nello Step 1 e uno dei rimanenti regressori. Si tiene il modello con il miglior adattamento, ovvero quello che fornisce il maggior contributo nella spiegazione della variabilità. Step 3 e seguenti: si valuta l'uscita di ciascun regressore presente nel modello, basandosi sulla minore perdita di capacità esplicativa del modello. Si valuta anche l'ingresso di un nuovo regressore, basandosi sul maggior incremento nella capacità esplicativa del modello. Tra tutti i regressori rimanenti, si sceglie quello che fornisce il maggior contributo nella spiegazione della variabilità della variabile dipendente. NB: un regressore incluso nei passi precedenti può essere rimosso successivamente se l'inserimento di altri regressori rende il suo contributo originale non più significativo nella spiegazione della variabilità.

variabilità di Y. Ultimo step la procedura si arresta quando nessun regressore rimanente• può essere inserito in base al livello di significatività scelto (slentry) e nessun regressore incluso può essere eliminato in base al livello di significatività scelto (slstay). In pratica quando non si riesce in alcun modo ad aumentare la capacità esplicativa del modello.

I coefficienti standardizzati sono utili per valutare l’importanza relativa dei regressori.