Riassunto esame Analisi dei dati, Prof. Rosato Rosalba, libro consigliato Analisi dei dati. Tecniche multivariate per la ricerca psicologica e sociale, 2° ed, LED (capitoli 2, 3), C. Barbaranelli

Regressione lineare semplice

Quando si utilizza questo modello di regressione lineare semplice?

Quando ci troviamo ad analizzare fenomeni misurati a livello cardinale, quindi almeno a livello di scala ad intervalli, allora è lecito chiedersi che tipo di relazione esista tra due variabili di questo tipo, costruendo un modello che mi permette di dire se queste due quantità numeriche viaggiano insieme, ovvero covariano, oppure no. L’indice statistico assoluto per valutare la presenza di una concordanza tra variabili cardinali è la covarianza, che è una generalizzazione della formula della varianza.

Quando parliamo di varianza misuriamo gli scarti che esistono tra una variabile e la rispettiva media, presi al quadrato, e ne facciamo una sorta di media. Questa è la misura che rappresenta una sintesi del grado in cui ciascuna osservazione si discosta dal punto che meglio rappresenta quella specifica variabile. Quando noi ci spostiamo dal caso di una variabile al caso di due variabili, generalizziamo la formula della varianza, andando a calcolare al numeratore [non più la somma degli scarti al quadrato dalla media di una variabile, ma] il prodotto incrociato tra gli scarti dalla media di una variabile per gli scarti dalla media della seconda variabile, il tutto fratto N-1.

Questa è la misura che sta alla base dei coefficienti e delle statistiche usati per misurare la relazione tra due variabili cardinali, soprattutto quando studiamo questa relazione in termini di relazione lineare. La covarianza, come la varianza, ha il difetto di avere un’unità di misura non interpretabile, perché si basa sul prodotto degli scarti dalla media di due variabili cardinali, ciascuna misurata con la propria unità di misura!

Ad esempio, nel caso della varianza, se lavoriamo con l’età, la varianza esprime la dispersione in termini di anni al quadrato, ma nel caso della covarianza, ad esempio studiamo la relazione tra punteggio di autostima e punteggio di qualità della vita, l’unità di misura della covarianza è il prodotto delle due unità di misure, non si capisce!!

Da quello noi ci spostiamo verso altre statistiche che consentono di misurare la relazione tra due variabili togliendo il problema dell’unità di misura! Dalla covarianza, si passa ad una misura standardizzata della relazione tra due variabili cardinali, ovvero il coefficiente di correlazione lineare r di Pearson, che è un indice relativo, a differenza della covarianza!

Ripasso - statistiche assolute, queste esprimono il coefficiente con l’unità di misura della variabile, le statistiche relative sono depurate dall’unità di misura!

Per calcolare questo coefficiente di correlazione lineare di Pearson noi dobbiamo rapportare la misura assoluta, quindi la covarianza, per il prodotto delle due deviazioni standard [perché il massimo valore che può assumere l’indice di covarianza, è il prodotto delle due deviazioni standard].

È bene ricordarsi che il coefficiente di correlazione lineare ha un range di valori ammissibili predeterminato ed oscilla tra -1 e +1 dove questi due valori identificano una perfetta correlazione lineare e lo 0 identifica l’assenza di relazione!

Qual è la grossa differenza tra la correlazione lineare e la regressione lineare?

La differenza sta nel tipo di relazione che andiamo a studiare! Ovvero, quando noi calcoliamo un coefficiente di correlazione lineare, prendiamo la misura assoluta di covariazione tra le due variabili, la rapportiamo al valore massimo che questa può assumere, e quindi studiamo la relazione simmetrica che esiste tra la variabile x e la y. Detto in altri termini, se io cambio l’ordine e studio la relazione tra y e x, il valore resta lo stesso. Non impongo un verso nella relazione!

Quando si fa un modello di regressione le cose cambiano perché il ricercatore ha a disposizione informazioni che ci permettono di predire una variabile in funzione dell’altra ovvero noi possiamo distinguere da un punto di vista teorico la natura delle due variabili che mettiamo in relazione, ovvero possiamo parlare di una variabile che dipende dall’altra! Ecco che possiamo non limitarci a calcolare la relazione simmetrica tra le due variabili, ma possiamo valutare quanto varia la variabile dipendente in funzione della variabile indipendente.

Esempio

Immaginiamo di voler studiare il fenomeno della ilarità e il consumo di alcool. Il ricercatore prende 11 soggetti e nell’arco di una serata valuta quante birre ha consumato e quanti sorrisi ha elargito. Posso studiare se consumo di birra e numero di sorrisi covariano. Ma è anche lecito immaginare che sia il numero di sorrisi che dipende dalla quantità di birra assunta. Attribuiamo alla variabile sorrisi lo status di variabile dipendente, e alla variabile birre lo status di variabile indipendente. Per convenzione la variabile dipendente è indicata come Y e la variabile indipendente come X.

V.D. y = sorrisi
V.I. x = birre

Diagramma di dispersione

Per prima cosa, per rappresentare il fenomeno, è importante costruire il diagramma di dispersione dei punti rappresentati in tabella. Il diagramma di dispersione è un diagramma in cui in un sistema di assi cartesiani mettiamo la variabile indipendente x sulle ascisse, e sulle ordinate rappresentiamo la variabile dipendente y. Il diagramma plotta i singoli soggetti in un sistema di assi cartesiani, dove il singolo soggetto è rappresentato dalla coppia di valori ottenuti su y e x.

Rappresentare graficamente la nuvola di punti ci permette di identificare la presenza o meno di un pattern di relazione. Quando facciamo un modello di regressione vogliamo prevedere il valore della variabile dipendente in funzione del valore della variabile indipendente, e questo lo facciamo attraverso l’equazione della retta, proprio perché è un modello di regressione lineare, quindi misura la relazione lineare tra due variabili. Noi cerchiamo di prevedere il valore della variabile y per il soggetto i-esimo in funzione dei valori che esistono sulla variabile indipendente attraverso l’equazione di una retta:

In alcune notazioni possiamo trovare:

Quello che fa questa equazione è, attraverso questa relazione, riprodurre il valore della variabile dipendente assumendo una relazione di tipo lineare tra le due variabili.

Xi = valore della variabile indipendente
Ŷi = valore riprodotto della variabile dipendente
Yi = valore osservato per i-esimo soggetto sulla variabile dipendente
a = intercetta [è il punto in cui la retta tocca l’asse delle ordinate]
b = coefficiente di regressione lineare

Proviamo a rappresentare graficamente, per vedere il significato di a intercetta.

Quindi

Quando facciamo un modello di regressione cerchiamo attraverso l’equazione della retta di riprodurre il valore della V.D. per ogni soggetto. Questa previsione è una previsione media, perché tiene in considerazione i valori di TUTTI i soggetti! Data l’equazione della retta quindi io faccio una previsione in media della variabile dipendente in funzione della variabile indipendente.

Il valore di a, è un valore di Ŷi riprodotto se x=0! Quindi se noi nella equazione della retta poniamo b=0, vediamo che Ŷi=a!! Quindi a, coefficiente intercetta, non è un coefficiente di relazione ma è una costante, una misura di livello perché dipende dall’unità di misura della variabile dipendente. Ne consegue che se io cambio unità di misura nella mia variabile dipendente, ad esempio aggiungendo una costante, ecco che la mia intercetta cambia! Quindi l’intercetta è un parametro della retta che è una costante quindi rappresenta il valore medio della variabile dipendente quando la variabile indipendente assume valore 0! L’intercetta è un parametro invariante di scala, quindi varia se cambio la scala dell’unità di misura.

b coefficiente di regressione

Che significato ha?

Il coefficiente b esprime la relazione tra le due variabili indipendenti, ed è il coefficiente di regressione lineare. Se volessimo rappresentare b graficamente, ecco che questo coefficiente angolare, è il coefficiente che esprime la forza della relazione tra le due variabili, ed indica quindi di quanto cambia in media il valore della variabile dipendente se io mi sposto di una unità di misura sulla variabile indipendente. Detto in altre parole mi dice per ogni variazione unitaria della variabile indipendente x qual è l’entità della relazione che esiste sulla variabile dipendente.

Proviamo a rappresentarlo sul piano cartesiano per due diversi valori della variabile x (x=0; x=1). b rappresenta il delta sulla variabile indipendente. Per ogni variazione unitaria di x cosa succede sulla variabile dipendente?

Quindi il coefficiente che misura la relazione tra la variabile dipendente e la variabile indipendente è il coefficiente b, che è espresso in termini di unità di misura della variabile dipendente, perché mi dice di quanto varia in media la variabile dipendente per ogni variazione unitaria della variabile indipendente. Il coefficiente è sempre lo stesso, è costante!

Ma come si calcolano questi due coefficienti?

Abbiamo detto che quando consideriamo l’intercetta, noi valutiamo il valore della intercetta come il valore medio della variabile dipendente quando la variabile indipendente vale 0. Quando rappresentiamo una nuvola di punti attraverso una retta, la retta di regressione è quella che viene scelta per essere la retta che meglio interpola la nuvola di punti! Affinché questa retta sia la migliore interpolazione di tale nuvola di punti, sicuramente questa deve passare per il baricentro della distribuzione, ovvero per il valore medio di x e y. Io quindi posso prevedere il valore medio di y in funzione di quello che è il valore medio di x.

Il valore dell’intercetta è pari al valore medio di y quando io faccio assumere alla variabile indipendente il valore 0! Per rappresentare questo valore, lo calcoliamo come uno scarto tra il valore medio della variabile indipendente rispetto al valore medio della variabile dipendente quando x=0.

Quindi, io parto dall’equazione della retta e rappresento il valore medio della variabile dipendente quando la variabile indipendente vale 0

Se io manipolo un po' l’equazione ecco che posso calcolare a come uno scarto tra il valore della media della variabile indipendente, e il valore della y quando x=0. a è lo scarto tra la media complessiva della variabile - b per xmedio, dove b per xmedio è la pendenza della retta, ovvero il passaggio che io ho tra il valore medio della variabile dipendente e il valore medio della variabile indipendente quando x=0.

Quindi si calcola come il valore medio di y meno il valore riprodotto sulla retta, per il valore di x medio. OK non ho capito

Per calcolare poi il coefficiente di regressione b, questo dipende dalla forza della relazione tra le due variabili, quindi se queste sono tanto correlate la retta avrà una pendenza maggiore, mentre l’inclinazione più vicina allo 0 si ha quando le due variabili sono poco correlate. Il coefficiente angolare può essere calcolato a partire dalla relazione lineare tra x e y, quindi dalla covarianza! La covarianza però è una misura simmetrica, mentre noi abbiamo imposto un verso nella relazione! Vogliamo vedere come varia y per ogni variazione unitaria di x. Per ogni variazione unitaria di x vuol dire che io devo rapportare la misura di covarianza alla variabilità della variabile indipendente [tengo ferma quindi la variabilità della variabile indipendente.]

Il coefficiente angolare b è dato dal rapporto tra la COV(xy) / S²(x). A questo punto semplifico 1/N-1, quindi uso la codevianza di x e y e la devianza di x! Il massimo del coefficiente di regressione è = 1!

Regressione semplice e multipla

Regressione semplice - parliamo di semplice quando mettiamo in relazione una variabile indipendente e una variabile dipendente.

Regressione multipla - parliamo di regressione multipla quando abbiamo due o più variabili indipendenti che ci aiutano a predire il comportamento della variabile dipendente.

Uso del diagramma di dispersione

Il diagramma di dispersione è molto utile perché ci permette di rappresentare graficamente la relazione tra due variabili. Quando facciamo un modello di regressione lineare e usiamo l’equazione della retta per stimare la relazione che esiste tra V.D. e V.I. assumiamo una relazione di questo tipo:

In A il coefficiente angolare avrà un segno positivo, perché all’aumentare di x aumenta anche y, mentre in B abbiamo un coefficiente angolare con segno negativo, perché all’aumentare della x diminuisce la y. Quando abbiamo una retta di questo tipo:

ci fa presupporre che non esiste relazione lineare tra le due variabili, perché per ogni variazione di x io non ho un pattern di variazione su y che rimane sempre uguale, le due variabili non sono tra loro correlate! Le altre rappresentazioni grafiche ci danno un'idea su una relazione che non può più essere rappresentata attraverso l’equazione della retta! Richiedono funzioni con parametri diversi. Possiamo fare un modello di regressione lineare solo quando la relazione è lineare!

Scopo della regressione lineare

La regressione si fa per cercare di comprendere gli effetti di una o più variabili indipendenti sulla variabile dipendente, quindi con uno scopo esplicativo per capire se effettivamente una variabile influenza o modifica l’altra. La regressione si fa anche con scopo predittivo, per individuare una combinazione lineare di variabili indipendenti per predire il valore assunto dalla variabile dipendente. Questo perché se io identifico questo tipo di relazione, la conoscenza dei pattern di covariate mi da la possibilità di avere già una info su quello che avviene sulla mia variabile dipendente.

Modello teorico della regressione

L’equazione della retta può essere scritta così:

L’uso delle lettere greche è motivato dal fatto che in questo caso ci si riferisce alla retta di regressione nella popolazione, quindi abbiamo alfa, che è il coeff. a dell’intercetta, e abbiamo beta che è b. Se tutti i punti cadessero esattamente sulla retta la previsione sarebbe perfetta, non avremmo dispersione. Ma se tutti i punti cadessero su questa retta vuol dire che conoscere il valore della variabile indipendente coincide esattamente con il conoscere il valore della variabile dipendente - non ci sarebbe residuo tra i valori di x e y!

Ma quando noi usiamo i dati campionari per stimare il modello di regressione lineare dobbiamo tenere conto anche della presenza di un errore!! Quindi il modello sarà questo:

Su questo termine erratico vengono fatte una serie di assunzioni, che sono le stesse fatte sulla variabile dipendente.

Rivediamo quello che abbiamo visto prima

Torniamo quindi ai coefficienti della retta di regressione, che sono a e b. Per rappresentarli bisogna partire dal loro significato:

• a = intercetta, che è un valore condizionale della variabile dipendente che dipende da un determinato valore della VD. Infatti, l’intercetta è il valore atteso della VD quando x=0.
• b = coefficiente angolare, questo ci permette di valutare la pendenza della retta e di vedere per ogni variazione unitaria della VI, cosa succede sulla VD.

Metodo dei minimi quadrati

Quale metodo viene usato per stimare i parametri della retta? Il metodo è il metodo dei minimi quadrati.

Data una nuvola di punti, posso far passare tantissime rette! Come scelgo la retta che meglio interpola la nuvola di punti? Uso questo metodo che dice: per ogni valore osservato della VI vengono scelti quei valori di alfa e beta che minimizzano la somma degli scarti al quadrato tra il valore osservato della variabile dipendente, e il valore che viene previsto usando i parametri della retta. Il metodo quindi trova diversi valori di alfa e beta e sceglie quelle stime che rendono minime le somme dei quadrati tra Yi [=valore osservato di VD] e Ŷi [=valore stimato di VD].

RICORDA - quando parliamo di valori predetti parliamo di MEDIE!! Perché è una previsione in media. Se io usassi semplicemente la somma degli scarti tra valore osservato e valore stimato sarebbe come fare la somma degli scarti da una media, che per definizione è sempre 0. Per questo eleviamo gli scarti alla seconda.

Il coefficiente di regressione e l’intercetta sono espressi nell’unità di misura della variabile dipendente e indipendente. Talvolta quindi, soprattutto se vogliamo usare più VI, può diventare difficile interpretare il valore del coefficiente angolare [che Ricorda - esprime la relazione tra la Vd e la VI nell’unità di misura delle due variabili, perché mi dice quanto cambia in media y per ogni variazione unitaria di x]! Quindi se io voglio confrontare due coeff. angolari per due VI misurate su scale diverse, non posso confrontarli direttamente, perché risentono dell’unità di misura delle variabili! Per questo, per esprimere la relazione su una scala immediatamente comprensibile si sceglie di lavorare con variabili standardizzate!

Quando vogliamo variabili standardizzate, togliamo da quella variabile l’effetto della media e della deviazione standard. Produciamo numeri adimensionali. Quindi, il coefficiente angolare che viene calcolato lavorando sulle variabili standardizzate viene chiamato peso beta, che è un indice adimensionale che esprime il grado di relazione tra VD e VI espressa sul numero di deviazioni standard. Posso così direttamente confrontare i coefficienti di variabili misurate con unità di misura diverse.

Come calcolo il peso beta?

• Lo calcolo attraverso le solite formule ma usando i dati di variabili standardizzate
• Lo calcolo con una formula specifica, attraverso il prodotto tra il coefficiente angolare misurato su x e y, moltiplicato per il rapporto delle due deviazioni standard.