Appunti lezioni di Statistica aziendale

Modello di regressione lineare

La regressione lineare si differenzia dalla correlazione in quanto quest'ultima consente solo di valutare la forza e la direzione dell'associazione tra due variabili numeriche se legate in modo lineare, ma non permette di capire la relazione funzionale che lega le x alla y. La regressione permette anche di conoscere quale relazione le lega.

Metodo OLS

Per trovare la retta migliore, in quanto la variabile y può assumere qualsiasi valore reale. Ricordare che i parametri rappresentano la componente deterministica. ε rappresenta il contributo di tutti gli altri fattori non osservati e giustifica la differenza tra valore osservato per valori prefissati di x e quello previsto. Dobbiamo aggiungere il termine di errore perché la relazione non è quasi mai esatta: potrebbero influire altre variabili oppure potrebbero avere errori di misurazione, oppure …

Assunzioni del modello

• Tra le possibili funzioni di regressione che possono descrivere il legame tra y e le x, si è scelta una funzione lineare. Linearità non per forza rispetto alle covariate.
• Componente erratica v.c., si richiede che il suo valore atteso sia in media pari a zero, così da essere ininfluente. Garantisce che gli stimatori OLS siano corretti.
• Le osservazioni sono tra di loro incorrelate e hanno la stessa varianza. Varianza costante, omoschedasticità. Garantisce che gli stimatori siano consistenti, è possibile calcolare intervalli di confidenza e test di ipotesi in modo affidabile.
• Distribuzione errori normale, se questa è verificata, allora una loro trasformazione lineare segue ancora una distribuzione normale.
• Errori indipendenti.
• Matrice X a rango pieno è necessaria per ottenere la stima del vettore dei parametri beta. Per non avere multicollinearità la matrice deve essere così.

Il valore dell'intercetta in molti casi può non avere un significato pratico. Betai è anche chiamato effetto marginale di xi su y e misura quindi l'effetto di xi su y a parità di tutte le altre condizioni.

Verifica dell'utilità del modello

• k numero parametri inserite
• n numero di osservazioni

Almeno uno dei nostri regressori è utile a spiegare la relazione con la variabile dipendente? k gradi di libertà al numeratore e n-k-1 gradi di libertà al denominatore. In base al valore della statistica F confrontato con il valore che assume la distribuzione F con k e n-k-1 gradi di libertà decido se rifiutare o accettare.

Se rifiuto l'ipotesi nulla, almeno uno dei regressori contribuisce a spiegare la variabilità di y e quindi la variabilità spiegata dal modello sia più elevata di quella residua. Di conseguenza, avendo rifiutato l'ipotesi nulla, si devono implementare i test di significatività sui singoli regressori. Prima congiuntamente e poi singolarmente.

Significatività delle stime

t-test si distribuisce come una t di Student con n-k-1 gradi di libertà, si deve confrontare con le tavole. R fornisce già il valore del p-value: ci permette di valutare se una variabile è significativa. Il coefficiente stimato si può considerare pari a zero, la variabile può essere eliminata. Prima calcolo t, e poi calcolo la probabilità associata a quel t.

Esempio

Per ora tralasciamo i newspaper. Obiettivo è quello di sviluppare un modello accurato che possa determinare se i dati forniscono una prova di associazione tra spesa e vendite e possa essere utilizzato per prevedere le vendite sulla base dei budget pubblicitari. Data frame: file excel, insieme dei nostri dati. Mod1: voglio salvare in questo oggetto, tutto ciò che specifico dopo. (estimate - 0) / standard error = t value.

Senza investimenti pubblicitari, le vendite attese corrispondono a 2921 unità. Beta1 indica che un incremento di 1000 dollari in pubblicità televisiva è associato a un aumento delle vendite di circa 46 unità (mantenendo fisso tutto il resto). Beta2 = + 188 unità aggiuntive. Coefficienti tutti significativi: il p-value è inferiore alla soglia di alfa 0.05. F ha un p-value associato molto piccolo, quindi almeno uno dei regressori aiuta a spiegare la variabilità di y.

P value è molto piccolo: la probabilità di errore è molto piccola. Probabilità di osservare sulla variabile casuale t di student con x gradi di libertà, valori più estremi rispetto a quello ottenuto con la nostra statistica test.

Previsione

Attraverso i parametri stimati, otteniamo il valore stimato della variabile dipendente. Se la covariata xj varia da 40 a 125 e vogliamo prevedere il valore di y considerando il valore 80. Sempre con l'esempio di prima, vogliamo considerare il valore di xj pari a 150. Non è compreso nell'intervallo di dati.

Per dei valori di x supponiamo di osservare solo valori da 170 a 190, stimiamo un modello di regressione in base ai punti verdi nel grafico. Noi abbiamo disegnato la retta blu, se facciamo una previsione di y per un valore di x pari a 210, potremmo sbagliare, perché in realtà la relazione è rappresentata dalla curva rossa. Il modello si basa solo sui dati osservati. Più l'ampiezza dell'intervallo è elevata, meno utili sono le previsioni per prendere decisioni. Intervalli ampi possono essere dati da: una scarsa precisione con cui si stimano i coefficienti e l'elevata varianza dei residui della regressione, ovvero uno scarso adattamento del modello ai dati (indice di determinazione).

Ridurre il grado di incertezza di stime e previsioni, cambiando la specificazione del modello considerando più regressori o migliorando la specificazione del modello.

Esempio previsioni

Per i primi due casi siamo all'interno del range dei valori osservati (interpolazione). Abbiamo creato un data set tramite il quale fare delle previsioni. Nel primo caso abbiamo delle vendite previste pari a 15.88 (tramite 150 e 32.4). Gli intervalli di previsione ci forniscono un intervallo in cui ci aspettiamo di trovare il valore delle vendite in un singolo mercato con le caratteristiche indicate. Vendite medie per i mercati con questi budget (15.6 - 16.16). Per un mercato con i valori specificati (12.56 - 19.21). "Fit" è la previsione puntuale, che è sempre quella sopra.

Valutare la bontà di adattamento del modello

Residual standard error La differenza tra y e y stimato sono i residui. L'RSE è considerato come una stima di quanto i valori di y si discostano in media dal valore vero e ignoto dell'iperpiano di regressione. È difficile stabilire se il valore osservato indichi un adattamento accettabile ai dati, meglio una misura relativa: meglio il coefficiente di determinazione.

Coefficiente di determinazione

Devianza residua/devianza totale. È sempre necessario valutare anche altri aspetti come l'interpretazione delle variabili indipendenti, la validità dell'ipotesi del modello, eventuale presenza di overfitting (adattamento eccessivo). Se vicino alla zero il modello non è corretto o la varianza dell'errore è elevata. Aggiungo una variabile esplicativa, il valore della varianza residua diminuisce e l'R quadro aumenta (anche se regressori non rilevanti). L'R quadro fornisce un indice per eccesso.

Coefficiente di determinazione corretto

Devianza residua/gradi di libertà, tutto rapportato alla devianza totale/n-1. Mostra la proporzione di variabilità spiegata da tutte le variabili indipendenti, corretta per il numero di variabili utilizzate. Penalizza l'impiego eccessivo di variabili non importanti, è utile per confrontare i modelli.

Coefficiente di determinazione: cautele nell'interpretazione

Non implica causalità: un valore elevato non implica una relazione causa-effetto tra le variabili. Non ci dice che siano state considerate le variabili migliori, non fornisce info sulla correttezza del modello (è basato su modelli lineari), infine è sensibile all'unità di misura. R quadro da solo, quindi, potrebbe non essere sufficiente a valutare la bontà.

Il Quartetto di Anscombe

Classico esempio per dimostrare che valutare un modello solo guardando i valori numerici dell'output può portare a conclusioni fuorvianti. Viene riportata la retta stimata e il coefficiente di determinazione. I 4 hanno le stesse stime dei coefficienti, stessa retta e stesso coeff di regressione, ma con dati diversi.

Analisi dei residui

Dopo aver verificato che il modello potrebbe rappresentare un adattamento soddisfacente. Valutare se la distribuzione dei residui ha varianza costante, se sono indipendenti e se la distribuzione approssima quella normale.

Tipi di residui

La retta di regressione è una semplificazione e non riesce a cogliere tutta la variabilità: per questo aggiungiamo il termine di errore. Residuo è una stima dell'errore che si commette nel prevedere y tramite y stimato. Osservato - stimato è il residuo di regressione. Standardizzati: sono divisi per la deviazione standard, hanno media zero e varianza unitaria. Valutare meglio se il modello soddisfa gli assunti. Studentizzati: residuo/standard error del residuo. Usata per identificare i valori outlier o influenti.

Analisi grafica dei residui

Linearità della relazione VEDERE SLIDES Scatter plot: a destra vediamo che la relazione non è molto lineare. Omoschedasticità dei residui I punti dovrebbero distribuirsi in modo uniforme in tutto l'intervallo. La varianza degli errori è costante.

Esempio: analisi dei residui

Valutare sia l'assunzione di linearità che di omoschedasticità dei residui. La linea rossa è una linea di tendenza che ci aiuta a verificare l'ipotesi di linearità: se questa è abbastanza sovrapponibile alla tratteggiata (livello dello 0), allora l'ipotesi è verificata. Qui servono ulteriori approfondimenti. Se i punti sono sopra e sotto alla tratteggiata in modo causale allora l'ipotesi di omoschedasticità è verificata. Anche per questo non è ottimale, si dispongono ad "U". Come avevamo detto prima non avevamo colto un andamento ad "U" e il residuo ce lo plotta.

Residui standardizzati consentono di valutare quanto sono lontani dalla media le unità standardizzate. Se sono molto grandi è un problema. Anche questo ha un andamento ad "U".

Normalità dei residui

Le deviazioni dalla normalità possono manifestarsi con code pesanti o asimmetrie.

Osservazioni particolari: valori anomali

Le osservazioni con valori di leverage hanno il potenziale di avere maggiore influenza sulle stime dei parametri. Non tutti i punti di leva sono problematici. Calcola quanto cambiano le previsioni del modello se un’osservazione venisse rimossa dal dataset. Se molto maggiore di uno, l’osservazione è influente.

Effetto di un leverage nella stima del modello

Venti osservazioni. Uno dei punti ha un valore di x molto lontano. Questo punto però non influenza i risultati della regressione lineare. Il suo valore di y segue il trend degli altri.

Effetto di un outlier nella stima del modello

Ha un valore di x all’interno di tutti i valori di x, mentre y ha un valore anomalo. La retta si è spostata un po’ in alto, verso il punto.

Effetto di un influence nella stima del modello

Il punto lo riportiamo dopo era prima, ma spostiamo verso il basso il leverage. X rimane un punto di leva, ma anche y diventa un outlier. La retta stimata cambia radicalmente. Ha quindi una forte influenza. Cambia la stima dei parametri.

Esempio: valori anomali

Residui standardizzati mi permette di identificare un outlier, quindi riferiti a y, mentre i punti di leva alla y. Le cook’s distance vengono riportate solo se maggiori di 1. Qui non ci sono. Valori di cook bassi: la rimozione dell’osservazione ha poco effetto sui risultati. Valori devianti dalla tendenza. Maggiori di 1: possibili outlier. Valori anomali: meglio rimuoverli dal campione. Ma hanno anche informazioni, come difetti nel piano di campionamento o nella raccolta.

Cosa fare in presenza di valori anomali

Non posso eliminarli prima di aver capito la presenza di tale anomalia (vedere).

Considerazioni finali del modello stimato

Se i risultati non fossero soddisfacenti si potrebbero aggiungere altre variabili e/o trasformarne altre.

Termini non lineari ed errata specificazione del modello

Stima di modelli con termini non lineari

Regressione polinomiale. Effetto su di una variazione in nelle funzioni non lineari. Ogni volta che compare x1: stiamo facendo una variazione in questo regressore. Identifichiamo la funzione che descrive i nostri dati, la funzione è ignota e la dobbiamo stimare. Sostituiamo la stima alla funzione e così riusciamo a determinare la variazione.

Funzione stimata

Modello di regressione quadratica

Beta0 qui non ha interpretazione, in maniera analoga il termine di errore che si riferisce a beta1 non ha interpretazione diretta in un modello di regressione quadratica.

Esempio: regressione quadratica

Variabile test score= facciamo la media dei punteggi. Relazione positiva tra punteggio del test e reddito, ma non è un’interpretazione lineare. Quando il reddito è molto basso o molto alto, vediamo valori sotto la retta stimata. Tra reddito 15-30 è sopra la retta. Sembra esserci una curvatura, che la retta non riesce a cogliere. I coefficienti ignoti possono essere sempre stimati tramite il metodo OLS. Funzione lm (linear model) per stimare un modello. Coefficienti diversi da zero, significativi, F ha un p-value molto basso e R quadro soddisfacente. Il modello sembra buono, ma non è sufficiente per dire che il modello si adatta bene ai dati osservati. Ricordare che R quadro all’aumentare dei parametri aumenta sempre, quello corretto può anche diminuire se vengono inseriti regressori non rilevanti. Non stiamo confrontando modelli: utilizziamo.