Riassunto esame Analisi dei dati, Prof. Rosato Rosalba, libro consigliato Analisi dei dati. Tecniche multivariate per la ricerca psicologica e sociale, 2° ed, LED (capitoli 2, 3), C. Barbaranelli

REGRESSIONE LINEARE SEMPLICE

Quando si utilizza questo modello di regressione lineare semplice?

Quando ci troviamo ad analizzare fenomeni misurati a livello cardinale, quindi almeno a

livello di scala ad intervalli, allora è lecito chiedersi che tipo di relazione esista tra due

variabili di questo tipo, costruendo un modello che mi permette di dire se queste due

quantità numeriche viaggiano insieme, ovvero covariano, oppure no.

L’indice statistico assoluto per valutare la presenza di una concordanza tra variabili cardinali

covarianza

è la misura di , che è una generalizzazione della formula della varianza.

Quando parliamo di varianza misuriamo gli scarti che esistono tra una variabile e la

rispettiva media, presi al quadrato, e ne facciamo una sorta di media.

Questa è la misura che rappresenta una sintesi del grado in cui ciascuna osservazione si

discosta dal punto che meglio rappresenta quella specifica variabile.

Quando noi ci spostiamo dal caso di una variabile al caso di due variabili, generalizziamo la

formula della varianza, andando a calcolare al numeratore [non più la somma degli scarti

al quadrato dalla media di una variabile, ma] il prodotto incrociato tra gli scarti dalla media di

una variabile per gli scarti dalla media della seconda variabile, il tutto fratto N-1.

Questa è la misura che sta alla base dei coefficienti e delle statistiche usati per misurare la

relazione tra due variabili cardinali, soprattutto quando studiamo questa relazione in termini

di relazione lineare.

La covarianza, come la varianza, ha il difetto di avere un’unità di misura NON interpretabile,

perchè si basa sul prodotto degli scarti dalla media di due variabili cardinali, ciascuna

misurata con la propria unità di misura!

Es. - nel caso della varianza, se lavoriamo con l’età, la varianza esprime la

dispersione in termini di anni al quadrato, ma nel caso della covarianza, ad esempio

studiamo la relazione tra punteggio di autostima e punteggio di qualità della vita, l’unità di

misura della covarianza è il prodotto delle due unità di misure, non si capisce!!

Da quello noi ci spostiamo verso altre statistiche che consentono di misurare la relazione tra

due variabili togliendo il problema dell’unità di misura!

Dalla covarianza, si passa ad una misura standardizzata della relazione tra due variabili

coefficiente di correlazione lineare r di Pearson

cardinali, ovvero il , che è un indice

relativo, a differenza della covarianza!

Ripasso - statistiche assolute, queste esprimono il coefficiente con l’unità di misura

della variabile, le statistiche relative sono depurate dall’unità di misura!

Per calcolare questo coefficiente di correlazione lineare di Pearson noi dobbiamo rapportare

la misura assoluta, quindi la covarianza, per il prodotto delle due deviazioni standard [perchè

il massimo valore che può assumere l’indice di covarianza, è il prodotto delle due deviazioni

standard]. con Sx,y = covarianza!!

E’ bene ricordarsi che il coefficiente di correlazione lineare ha un range di valori ammissibili

predeterminato ed oscilla tra -1 e +1 dove questi due valori identificano una perfetta

correlazione lineare e lo 0 identifica l’assenza di relazione!

Qual è la grossa differenza tra la correlazione lineare e la regressione lineare?

La differenza sta nel tipo di relazione che andiamo a studiare!

Ovvero, quando noi calcoliamo un coefficiente di correlazione lineare, prendiamo la misura

assoluta di covariazione tra le due variabili, la rapportiamo al valore massimo che questa

può assumere, e quindi studiamo la relazione simmetrica che esiste tra la variabile x e la y.

Detto in altri termini, se io cambio l’ordine e studio la relazione tra y e x, il valore resta lo

stesso. Non impongo un verso nella relazione!

Quando si fa un modello di regressione le cose cambiano perchè il ricercatore ha a

disposizione informazioni che ci permettono di predire una variabile in funzione dell’altra

ovvero noi possiamo distinguere da un punto di vista teorico la natura delle due variabili che

mettiamo in relazione, ovvero possiamo parlare di una variabile che dipende dall’altra!

Ecco che possiamo non limitarci a calcolare la relazione simmetrica tra le due variabili, ma

possiamo valutare quanto varia la variabile dipendente in funzione della variabile

indipendente.

Esempio

Immaginiamo di voler studiare il fenomeno della ilarità e il consumo di alcool.

Il ricercatore prende 11 soggetti e nell’arco di una serata valuta quante birre ha consumato e

quanti sorrisi ha elargito.

Posso studiare se consumo di birra e numero di sorrisi covariano. Ma è anche lecito

immaginare che sia il numero di sorrisi che dipende dalla quantità di birra assunta.

Attribuiamo alla variabile sorrisi lo status di variabile dipendente, e alla variabile birre lo

status di variabile indipendente.

Per convenzione la variabile dipendente è indicata come Y e la variabile indipendente come

X.

V.D. y = sorrisi

V.I. x = birre diagramma di

Per prima cosa, per rappresentare il fenomeno, è importante costruire il

dispersione dei punti rappresentati in tabella.

Il diagramma di dispersione è un diagramma in cui in un sistema di assi cartesiani mettiamo

la variabile indipendente x sulle ascisse, e sulle ordinate rappresentiamo la variabile

dipendente y. Il diagramma plotta i singoli soggetti in un sistema di assi cartesiani, dove il

singolo soggetto è rappresentato dalla coppia di valori ottenuti su y e x.

Rappresentare graficamente la nuvola di punti ci permette di identificare la presenza o meno

di un pattern di relazione. Quando facciamo un modello di regressione vogliamo prevedere il

valore della variabile dipendente in funzione del valore della variabile indipendente, e questo

equazione della retta

lo facciamo attraverso l’ , proprio perchè è un modello di regressione

lineare, quindi misura la relazione lineare tra due variabili.

Noi cerchiamo di prevedere il valore della variabile y per il soggetto i-esimo in funzione dei

valori che esistono sulla variabile indipendente attraverso l’equazione di una retta:

In alcune notazioni possiamo trovare:

Quello che fa questa equazione è, attraverso questa relazione, riprodurre il valore della

variabile dipendente assumendo una relazione di tipo lineare tra le due variabili.

Xi = valore della variabile indipendente

Ŷi = valore riprodotto della variabile dipendente

Yi = valore osservato per i-esimo soggetto sulla variabile dipendente

a = intercetta [è il punto in cui la retta tocca l’asse delle ordinate]

b = coefficiente di regressione lineare a intercetta

Proviamo a rappresentare graficamente, per vedere il significato di .

QUINDI

Quando facciamo un modello di regressione cerchiamo attraverso l’equazione della retta di

riprodurre il valore della V.D. per ogni soggetto. Questa previsione è una previsione media,

perché tiene in considerazione i valori di TUTTI i soggetti!

Data l’equazione della retta quindi io faccio una previsione in media della variabile

dipendente in funzione della variabile indipendente.

Il valore di a, è un valore di Ŷi riprodotto se x=0! Quindi se noi nella equazione della retta

poniamo b=0, vediamo che Ŷi=a!!

Quindi a, coefficiente intercetta, non è un coefficiente di relazione ma è una costante, una

misura di livello perchè dipende dall’unità di misura della variabile dipendente. Ne consegue

che se io cambio unità di misura nella mia variabile dipendente, ad esempio aggiungendo

una costante, ecco che la mia intercetta cambia!

Quindi l’intercetta è un parametro della retta che è una costante quindi rappresenta il valore

medio della variabile dipendente quando la variabile indipendente assume valore 0!

L’intercetta è un parametro invariante di scala, quindi varia se cambio la scala dell’unità di

misura. b coefficiente di regressione

Che significato ha ?

Il coefficiente b esprime la relazione tra le due variabili indipendenti, ed è il coefficiente di

regressione lineare.

Se volessimo rappresentare b graficamente, ecco che questo coefficiente angolare, è il

coefficiente che esprime la FORZA della relazione tra le due variabili, ed indica quindi di

quanto cambia in media il valore della variabile dipendente se io mi sposto di una unità di

misura sulla variabile indipendente. Detto in altre parole mi dice per ogni variazione unitaria

della variabile indipendente x qual è l’entità della relazione che esiste sulla variabile

dipendente.

Proviamo a rappresentarlo sul piano cartesiano per due diversi valori della variabile x (x=0;

x=1). b rappresenta il delta sulla variabile indipendente. Per ogni variazione unitaria di x

cosa succede sulla variabile dipendente?

Quindi il coefficiente che misura la relazione tra la variabile dipendente e la variabile

indipendente è il coefficiente b, che è espresso in termini di unità di misura della variabile

dipendente, perchè mi dice di quanto varia in media la variabile dipendente per ogni

variazione unitaria della variabile indipendente. Il coefficiente è sempre lo stesso, è costante!

Ma come si calcolano questi due coefficienti?

Abbiamo detto che quando consideriamo l’intercetta, noi valutiamo il valore della intercetta

come il valore medio della variabile dipendente quando la variabile indipendente vale 0.

Quando rappresentiamo una nuvola di punti attraverso una retta, la retta di regressione è

quella che viene scelta per essere la retta che meglio interpola la nuvola di punti!

Affinché questa retta sia la migliore interpolazione di tale nuvola di punti, sicuramente questa

deve passare per il baricentro della distribuzione, ovvero per il valore medio di x e y. Io

quindi posso prevedere il valore medio di y in funzione di quello che è il valore medio di x.

Il valore dell’intercetta è pari al valore medio di y quando io faccio assumere alla variabile

indipendente il valore 0! Per rappresentare questo valore, lo calcoliamo come uno scarto tra

il valore medio della variabile indipendente rispetto al valore medio della variabile

dipendente quando x=0.

Quindi, io parto dall’equazione della retta e rappresento il valore medio della variabile

dipendente quando la variabile indipendente vale 0

Se io manipolo un pò l’equazione ecco che posso calcolare a come uno scarto tra il valore

della media della variabile indipendente, e il valore della y quando x=0.

a è lo scarto tra la media complessiva della variabile - b per xmedio, dove b per xmedio è la

pendenza della retta, ovvero il passaggio che io ho tra il valore medio della variabile

dipendente e il valore medio della variabile indipendente quando x=0.

Quindi si calcola come il valore medio di y meno il valore riprodotto sulla retta, per il valore di

x medio. OK non ho capito

Per calcolare poi il coefficiente di regressione b, questo dipende dalla forza della relazione

tra le due variabili, quindi se queste sono tanto correlate la retta avrà una pendenza

maggiore, mentre l’inclinazione più vicina allo 0 si ha quando le due variabili sono poco

correlate.

Il coefficiente angolare può essere calcolato a partire dalla relazione lineare tra x e y, quindi

dalla covarianza! La covarianza però è una misura simmetrica, mentre noi abbiamo imposto

un verso nella relazione! Vogliamo vedere come varia y per ogni variazione unitaria di x.

Per ogni variazione unitaria di x vuol dire che io devo rapportare la misura di covarianza alla

variabilità della variabile indipendente [tengo ferma quindi la variabilità della variabile

indipendente.]

Il coefficiente angolare b è dato dal rapporto tra la COV(xy) / S2(x).

A questo punto semplifico 1/N-1, quindi uso la codevianza di x e y e la devianza di x!

Il massimo del coefficiente di regressione è = 1!

Regressione semplice - parliamo di semplice quando mettiamo in relazione una variabile

indipendente e una variabile dipendente

Regressione multipla - parliamo di regressione multipla quando abbiamo due o più

variabili indipendenti che ci aiutano a predire il comportamento della variabile dipendente.

diagramma di dispersione

Il è molto utile perchè ci permette di rappresentare

graficamente la relazione tra due variabili.

Quando facciamo un modello di regressione lineare e usiamo l’equazione della retta per

stimare la relazione che esiste tra V.D. V.I. assumiamo una relazione di questo tipo:

In A il coefficiente angolare avrà un segno positivo, perchè all’aumentare di x aumenta

anche y, mentre in B abbiamo un coefficiente angolare con segno negativo, perchè

all’aumentare della x diminuisce la y.

Quando abbiamo una retta di questo tipo:

ci fa presupporre che non esiste relazione lineare tra le due variabili, perchè per ogni

variazione di x io non ho un pattern di variazione su y che rimane sempre uguale, le due

variabili non sono tra loro correlate!

Le altre rappresentazioni grafiche ci danno un'idea su una relazione che non può più essere

rappresentata attraverso l’equazione della retta! Richiedono funzioni con parametri diversi.

Possiamo fare un modello di regressione lineare solo quando la relazione è lineare!

Scopo della regressione lineare

La regressione si fa per cercare di comprendere gli effetti di una o più variabili indipendenti

sulla variabile dipendente, quindi con uno scopo esplicativo per capire se effettivamente una

variabile influenza o modifica l’altra.

La regressione si fa anche con scopo predittivo, per individuare una combinazione lineare di

variabili indipendenti per predire il valore assunto dalla variabile dipendente. Questo perchè

se io identifico questo tipo di relazione, la conoscenza dei pattern di covariate mi da la

possibilità di avere già una info su quello che avviene sulla mia variabile dipendente.

Modello teorico della regressione

L’equazione della retta può essere scritta così:

L’uso delle lettere greche è motivato dal fatto che in questo caso ci si riferisce alla retta di

regressione nella popolazione, quindi abbiamo alfa, che è il coeff. a dell’intercetta, e

abbiamo beta che è b.

Se tutti i punti cadessero esattamente sulla retta la previsione sarebbe perfetta, non

avremmo dispersione.

Ma se tutti i punti cadessero su questa retta vuol dire che conoscere il valore della variabile

indipendente coincide esattamente con il conoscere il valore della variabile dipendente - non

ci sarebbe residuo tra i valori di x e y!

Ma quando noi usiamo i dati campionari per stimare il modello di regressione lineare

errore

dobbiamo tenere conto anche della presenza di un !! Quindi il modello sarà

questo:

Su questo termine erratico vengono fatte una serie di assunzioni, che sono le stesse fatte

sulla variabile dipendente.

RIVEDIAMO QUELLO CHE ABBIAMO VISTO PRIMA.

Torniamo quindi ai coefficienti della retta di regressione, che sono a e b.

Per rappresentarli bisogna partire dal loro significato:

a = intercetta, che è un valore condizionale della variabile dipendente che dipende da un

determinato valore della VD. Infatti, l’intercetta è il valore atteso della VD quando x=0.

b = coefficiente angolare, questo ci permette di valutare la pendenza della retta e di vedere

per ogni variazione unitaria della VI, cosa succede sulla VD. metodo dei

Quale metodo viene usato per stimare i parametri della retta? Il metodo è il

minimi quadrati .

Data una nuvola di punti, posso far passare tantissime rette! Come scelgo la retta che

meglio interpola la nuvola di punti? Uso questo metodo che dice:

per ogni valore osservato della VI vengono scelti quei valori di alfa e beta che minimizzano

la somma degli scarti al quadrato tra il valore osservato della variabile dipendente, e il valore

che viene previsto usando i parametri della retta.

Il metodo quindi trova diversi valori di alfa e beta e sceglie quelle stime che rendono minime

le somme dei quadrati tra Yi [=valore osservato di VD] e Ŷi [=valore stimato di VD].

RICORDA - quando parliamo di valori predetti parliamo di MEDIE!! Perchè è una previsione

in media. Se io usassi semplicemente la somma degli scarti tra valore osservato e valore

stimato sarebbe come fare la somma degli scarti da una media, che per definizione è

sempre 0. Per questo eleviamo gli scarti alla seconda.

Il coefficiente di regressione e l’intercetta sono espressi nell’unità di misura della variabile

dipendente e indipendente. Talvolta quindi, soprattutto se vogliamo usare più VI, può

diventare difficile interpretare il valore del coefficiente angolare [che Ricorda - esprime la

relazione tra la Vd e la VI nell’unità di misura delle due variabili, perchè mi dice quando

cambia in media y per ogni variazione unitaria di x]! Quindi se io voglio confrontare due

coeff. angolari per due VI misurate su scale diverse, non posso confrontarli direttamente,

perchè risentono dell’unità di misura delle variabili! Per questo, per esprimere la relazione su

una scala immediatamente comprensibile si sceglie di lavorare con variabili standardizzate!

Quando vogliamo variabili standardizzate, togliamo da quella variabile l’effetto della media e

della deviazione standard. Produciamo numeri adimensionali.

Quindi, il coefficiente angolare che viene calcolato lavorando sulle variabili standardizzate

peso beta

viene chiamato , che è un indice adimensionale che esprime il grado di relazione

tra VD e VI espressa sul numero di deviazioni standard. Posso così direttamente confrontare

i coefficienti di variabili misurate con unità di misura diverse.

Come calcolo il peso beta?

> Lo calcolo attraverso le solite formule ma usando i dati di variabili standardizzate

> Lo calcolo con una formula specifica, attraverso il prodotto tra il coefficiente angolare

misurato su x e y, moltiplicato per il rapporto delle due deviazioni standard.