Blocco 8 Modelli di sistemi biologici - Regressione lineare

Modelli di Sistemi Biologici

Blocco 8

Regressione lineare

Dispensa discorsiva per la preparazione dell’esame orale

con formule in LaTeX, interpretazione dei grafici, domande probabili ed errori da evitare

Fonti di riferimento

Fonte principale: Integrazione con:

MODELLI APPUNTI.pdf. Blocco 8 - Regres-

esercitazioni collegate e richiami

sione lineare.pdf, Domande orale Modelli.pdf,

ai blocchi su stima parametrica, esperimento ottimo, interazione tra farmaci e

modelli di popolazione.

File sorgente LaTeX generato per lo studio del Blocco 8

Indice

8 Regressione lineare 2

8.1 Regressione lineare, correlazione e significato modellistico . . . . . . . . . . . . . . 2

8.1.1 Perche’ la regressione lineare e’ importante . . . . . . . . . . . . . . . . . . 2

8.1.2 Correlazione e regressione . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

8.1.3 Correlazione non significa causalita’ . . . . . . . . . . . . . . . . . . . . . . 3

8.1.4 Indipendenza, incorrelazione e gaussianita’ . . . . . . . . . . . . . . . . . . 3

8.1.5 Regressione come modello ingresso-uscita . . . . . . . . . . . . . . . . . . . 4

8.1.6 Perche’ non bisogna estrapolare . . . . . . . . . . . . . . . . . . . . . . . . . 4

8.1.7 Scatterplot e primo controllo del modello . . . . . . . . . . . . . . . . . . . 4

8.2 Regressione lineare semplice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

8.2.1 Il modello . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

8.2.2 Intercetta e pendenza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

8.2.3 Predizioni e residui . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

8.2.4 Minimi quadrati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

8.2.5 Formule delle stime . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

8.2.6 Derivazione essenziale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

8.2.7 Forma matriciale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

8.2.8 Regressione con intercetta nulla . . . . . . . . . . . . . . . . . . . . . . . . . 7

8.3 Bonta’ del fitting, residui e coefficiente . . . . . . . . . . . . . . . . . . . . . . . 7

2

R

8.3.1 Perche’ valutare il fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

8.3.2 Modello nullo e variabilita’ totale . . . . . . . . . . . . . . . . . . . . . . . . 8

8.3.3 Variabilita’ spiegata e residua . . . . . . . . . . . . . . . . . . . . . . . . . . 8

8.3.4 Coefficiente di determinazione . . . . . . . . . . . . . . . . . . . . . . . . . . 8

8.3.5 Perche’ alto non basta . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2

R

8.3.6 Analisi dei residui . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

8.3.7 Collegamento con ANOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

8.4 Ipotesi probabilistiche, incertezza e test sulla pendenza . . . . . . . . . . . . . . . . 10

1

Modelli di Sistemi Biologici Blocco 8

8.4.1 Perche’ serve la probabilita’ . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

8.4.2 Ipotesi sugli errori . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

8.4.3 Stima della varianza residua . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

8.4.4 Errore standard della pendenza . . . . . . . . . . . . . . . . . . . . . . . . . 11

8.4.5 Errore standard dell’intercetta . . . . . . . . . . . . . . . . . . . . . . . . . 11

8.4.6 Distribuzione t e test sulla pendenza . . . . . . . . . . . . . . . . . . . . . . 11

8.4.7 P-value . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

8.4.8 Intervallo di confidenza della pendenza . . . . . . . . . . . . . . . . . . . . . 11

8.4.9 Intervallo della media e intervallo predittivo . . . . . . . . . . . . . . . . . . 12

8.5 Regressione lineare multipla . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

8.5.1 Estensione a piu’ regressori . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

8.5.2 Interpretazione dei coefficienti . . . . . . . . . . . . . . . . . . . . . . . . . . 13

8.5.3 Perche’ non equivale a tante regressioni semplici . . . . . . . . . . . . . . . 13

8.5.4 Interpretazione geometrica . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

8.5.5 Forma matriciale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

8.5.6 Gradi di liberta’ e varianza residua . . . . . . . . . . . . . . . . . . . . . . . 14

8.5.7 Test sui singoli coefficienti e test globale . . . . . . . . . . . . . . . . . . . . 14

8.5.8 Regressione polinomiale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

8.5.9 Collinearita’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

8.5.10 Collegamento ai modelli di popolazione . . . . . . . . . . . . . . . . . . . . 15

8.6 Selezione del modello: test F, adjusted e stepwise regression . . . . . . . . . . . 15

2

R

8.6.1 Perche’ scegliere il modello . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

8.6.2 Modello completo e modello ridotto . . . . . . . . . . . . . . . . . . . . . . 16

8.6.3 Test F tra modelli annidati . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

8.6.4 Perche’ semplice non basta . . . . . . . . . . . . . . . . . . . . . . . . . 16

2

R

8.6.5 Differenza tra test F e adjusted . . . . . . . . . . . . . . . . . . . . . . . 16

2

R

8.6.6 Stepwise regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

8.6.7 Regole gerarchiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

8.7 Variabili categoriche e interazioni . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

8.7.1 Variabili categoriche binarie . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

8.7.2 Categoria di riferimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

8.7.3 Variabili categoriche con piu’ livelli . . . . . . . . . . . . . . . . . . . . . . . 18

8.7.4 Variabile continua piu’ variabile categorica . . . . . . . . . . . . . . . . . . . 19

8.7.5 Interazioni . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

8.7.6 Interazione tra categorica e continua . . . . . . . . . . . . . . . . . . . . . . 19

2

Modelli di Sistemi Biologici Blocco 8

8.7.7 Collegamento con interazione tra farmaci . . . . . . . . . . . . . . . . . . . 19

8.8 Mini-scheda finale del Blocco 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

8.8.1 Formule essenziali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

8.8.2 Domande piu’ probabili all’orale . . . . . . . . . . . . . . . . . . . . . . . . 21

8.8.3 Risposta orale complessiva del blocco . . . . . . . . . . . . . . . . . . . . . 22

3

Capitolo 8

Regressione lineare

Idea generale del blocco

La regressione lineare è un modello empirico ingresso-uscita: serve a descrivere o predire

una variabile dipendente a partire da uno o più regressori Non è, da sola, una prova

y x.

di causalità. Il blocco parte dalla distinzione tra correlazione e regressione, costruisce la

regressione lineare semplice, introduce residui, , inferenza sui coefficienti, regressione

2

R

multipla, scelta del modello, variabili categoriche e interazioni.

8.1 Regressione lineare, correlazione e significato modellistico

8.1.1 Perche’ la regressione lineare e’ importante

La regressione lineare è uno degli strumenti più usati in ambito biomedico perché permette di

collegare una variabile osservata a una o più variabili esplicative. Per esempio, si può voler studiare

se un parametro farmacocinetico dipende dal peso corporeo, se una risposta fisiologica dipende

dalla dose, oppure se un parametro individuale cambia con età, altezza o superficie corporea.

A differenza dei modelli compartimentali, la regressione non descrive necessariamente la strut-

tura interna del sistema. Non introduce compartimenti, flussi, equazioni differenziali o leggi

meccanicistiche. Descrive invece una relazione empirica tra variabili osservate:

regressori variabile dipendente.

−→

Per questo motivo va usata con cautela: può essere molto utile per descrivere e predire, ma non

basta per concludere che una variabile causi l’altra.

Frase da orale

La regressione lineare è un modello empirico che descrive una relazione tra una variabile

dipendente e uno o più regressori. È utile per predire o descrivere associazioni, ma non

dimostra automaticamente causalità.

8.1.2 Correlazione e regressione

La correlazione e la regressione sono concetti collegati ma non equivalenti.

4

Modelli di Sistemi Biologici Blocco 8

La misura la forza e il verso del legame lineare tra due variabili. Il coefficiente di

correlazione

correlazione, indicato con soddisfa:

r, 1.

−1 ≤ ≤

r

Se è vicino a 1, le variabili tendono ad aumentare insieme. Se è vicino a quando una

−1,

r r

aumenta l’altra tende a diminuire. Se è vicino a 0, non c’è un forte legame lineare.

r

La invece, costruisce un modello predittivo. Nel caso più semplice scrive:

regressione, = + +

y β β x ε .

i i i

0 1

Quindi non si limita a dire che e sono associate, ma prova a predire a partire da

x y y x.

Differenza essenziale

correlazione = indice numerico del legame lineare

regressione = modello predittivo tra variabili

8.1.3 Correlazione non significa causalita’

Uno degli errori più frequenti è interpretare una regressione significativa come prova di causalità.

Se due variabili sono associate, non significa che una causi l’altra. Possono essere entrambe legate

a una terza variabile, oppure la relazione può essere dovuta a un confondente.

Un esempio intuitivo è quello tra persone che vanno in piscina e raccolta di pomodori. Potremmo

osservare che entrambe aumentano nello stesso periodo, ma non vuol dire che andare in piscina

faccia crescere i pomodori. Più probabilmente entrambe dipendono dall’estate.

Quindi: correlata con causa

̸⇒

X Y X Y.

Per parlare di causalità servono ipotesi sperimentali, randomizzazione, conoscenza del meccanismo

o disegni specifici.

8.1.4 Indipendenza, incorrelazione e gaussianita’

Una precisazione utile riguarda il rapporto tra indipendenza e incorrelazione. Se due variabili

sono indipendenti, allora sono incorrelate:

indipendenza incorrelazione.

⇒

Il contrario, però, non è sempre vero. Due variabili possono avere correlazione lineare nulla ma

essere comunque legate da una relazione non lineare. Un esempio classico è = con

2

Y X X

simmetrica attorno a zero: la correlazione lineare può essere nulla, ma la relazione è fortissima.

Nel caso particolare di variabili gaussiane, invece, l’incorrelazione implica indipendenza:

gaussianita’ + incorrelazione indipendenza.

⇒

Questa distinzione è importante perché la regressione lineare studia principalmente relazioni

lineari, non qualunque dipendenza possibile. 5

Modelli di Sistemi Biologici Blocco 8

8.1.5 Regressione come modello ingresso-uscita

La regressione è un modello ingresso-uscita. La variabile dipendente è ciò che vogliamo descrivere

y

o predire; i regressori sono le informazioni usate per farlo.

x , . . . , x p

1

Nei modelli dinamici studiati nei blocchi precedenti, la variabile indipendente era spesso il tempo.

Nella regressione, invece, i regressori possono essere grandezze fisiologiche o sperimentali: peso,

età, dose, sesso, altezza, superficie corporea, funzionalità renale, trattamento.

Questo è particolarmente importante nei modelli di popolazione: le covariate, come peso o età,

sono proprio regressori usati per spiegare parte della variabilità tra soggetti.

8.1.6 Perche’ non bisogna estrapolare

La regressione lineare è un modello empirico e va usata soprattutto nel range dei dati osservati.

Se ho stimato una relazione tra peso e volume di distribuzione su soggetti adulti tra 50 e 100 kg,

non posso applicarla automaticamente a bambini, soggetti estremamente magri o molto obesi.

Predire dentro il range osservato si chiama interpolazione. Predire fuori dal range osservato si

chiama estrapolazione. L’estrapolazione è rischiosa perché la relazione potrebbe non essere più

lineare, o potrebbe cambiare tra popolazioni diverse.

8.1.7 Scatterplot e primo controllo del modello

Prima di stimare una regressione, conviene sempre guardare lo scatterplot. Se i punti sembrano

disporsi attorno a una retta, il modello lineare può essere ragionevole. Se invece si vede una curva,

un gruppo di sottopopolazioni o outlier molto forti, una semplice retta potrebbe essere inadeguata.

Possibili domande d’orale

• Che differenza c’è tra correlazione e regressione?

• La regressione lineare implica causalità?

• Perché la regressione lineare è un modello empirico?

• Perché bisogna evitare estrapolazioni non giustificate?

• Che cosa sono variabile dipendente e regressori?

Risposta orale pronta

La regressione lineare è un modello empirico usato per descrivere o predire una variabile

dipendente a part