Covarianza
La covarianza è un indice che misura la contemporaneità della variazione di due variabili causali. Essa può assumere sia valori positivi che negativi, variando da -∞ a +∞. Non distingue tra variabile dipendente (VD) e variabile indipendente (VI) ed è simmetrica, ovvero COVx,y=COVy,x.
La covarianza si può calcolare solo se entrambe le variabili sono numeriche e sono legate all'osservazione di un unico fenomeno (osservazioni congiunte). È indicata con i simboli S, σ, COV(X,Y) ed è ottenuta come la somma del prodotto degli scarti dalla media delle due variabili X e Y su ogni unità statistica h, diviso il numero di unità statistiche (n)-1.
Interpretazione della covarianza
- Covarianza > 0: All'aumentare di una variabile è associato un aumento dell'altra.
- Covarianza = 0: Non c'è associazione tra l'aumento di una variabile e l'altra.
- Correlazione positiva (0 < ρ < +1): I punti sono sparsi attorno a una linea retta positiva ascendente.
- ρ = 0: Nessuna correlazione, i punti sono dispersi in una nuvola.
Regressione lineare
Un predittore nel modello di regressione lineare multipla consente di individuare la retta che meglio esprime la relazione tra VI e VD. La regressione lineare semplice ha come espressione geometrica la retta sul piano e si basa su due parametri:
- α (intercetta): Corrisponde al valore medio della variabile Y quando la variabile X ha valore 0.
- β (coefficiente angolare): Indica come varia Y al variare di X, ossia quanto cresce o decresce in media la variabile Y a un incremento unitario della variabile X.
L'analisi consiste nella stima di α e β. La retta individuata è detta retta di regressione.
Devianza
- Devianza totale: Somma delle differenze tra il valore osservato (yi) e la media (y), al quadrato. Rappresenta il modo in cui la variabile y devia dalla sua media.
- Devianza di regressione: Somma delle differenze tra il valore atteso sulla retta di regressione e la media generale y, al quadrato. Rappresenta la parte di SST spiegata dalla retta di regressione.
- Devianza residua: Somma delle differenze tra il valore atteso sulla retta di regressione e il valore osservato yi, al quadrato. Rappresenta la parte di SST non spiegata dalla retta di regressione.
Ciascun valore osservato può quindi essere espresso da un valore della retta interpolante (SSreg) più un residuo (SSres). La retta di regressione è la retta che rende minima la SSres.
Metodo dei minimi quadrati
L'algoritmo dei minimi quadrati stima α e β della retta di regressione. Il coefficiente di regressione β indica l'inclinazione della retta. Se β=0, la retta è parallela all'asse x e quindi le variabili non sono correlate. In questo caso, tutta la variabilità dei dati è espressa da SSres e la retta di regressione coincide con la media dei valori di y. Se la retta coincide perfettamente con i valori empirici, SSres tende a 0 e tutta la variabilità è espressa da SSreg.
L'analisi dei residui permette una prima valutazione sulla bontà dell'adattamento ai dati della retta stimata. Per definizione, la media dei residui è 0 e la loro distribuzione dovrebbe essere normale. In generale, dovremmo aspettarci residui non troppo elevati, con valori sia positivi che negativi, mediana approssimativamente uguale a 0, e minimo e massimo approssimativamente uguali.
Test F
Il test F è utilizzato per valutare l'ipotesi che il coefficiente di regressione sia 0. Nota bene, il modello della regressione è di tipo asimmetrico e ha come obiettivo la misurazione del grado con cui il predittore influenza la variabile dipendente (VD).