Blocco 5 Modelli di sistemi biologici - Stima Parametrica

Blocco 5

Stima parametrica

Dispensa di studio per esame orale

Basata su pp. 38–58 circa

MODELLI APPUNTI.pdf,

Come usare questo file

Questa dispensa riunisce tutto il Blocco 5 in forma discorsiva, con formule in L TEX,

A

spiegazioni semplici ma complete, risposte orali, domande probabili ed errori da

evitare. Il blocco parte dai minimi quadrati, passa per WLS, residui, incertezza delle

stime, Monte Carlo, bootstrap, confronto tra modelli, massima verosimiglianza, stima

bayesiana e MCMC. Modelli di Sistemi Biologici

Blocco 5 - Stima parametrica Modelli di Sistemi Biologici

Indice

Mappa rapida del blocco 4

5.1Capitolo 5.1 - Introduzione alla stima parametrica 5

5.1.1 Da identificabilita’ a stima parametrica . . . . . . . . . . . . . . . . . . . . . . . . . 5

5.1.2 Errore di predizione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

5.1.3 Approcci principali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

5.2Capitolo 5.2 - Minimi quadrati: errore di predizione e funzionale 6

J(p)

5.2.1 Idea dei minimi quadrati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

5.2.2 Perche’ i quadrati? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

5.2.3 LS non significa interpolazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

5.2.4 Stima della fase terminale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

5.3Capitolo 5.3 - Caso lineare nei parametri: soluzione analitica LS 7

5.3.1 Lineare nei parametri non significa retta . . . . . . . . . . . . . . . . . . . . . . . . . 7

5.3.2 Forma matriciale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

5.3.3 Soluzione analitica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

5.3.4 Condizione di unicita’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

5.3.5 e bonta’ del fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2

R

5.4Capitolo 5.4 - Caso non lineare: metodi iterativi e Gauss-Newton 8

5.4.1 Perche’ servono algoritmi iterativi . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

5.4.2 Linearizzazione di Gauss-Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

5.4.3 Aggiornamento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

5.4.4 Calcolo della sensitivita’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

5.4.5 Funzione per . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

lsqnonlin

5.5Capitolo 5.5 - Valori iniziali, minimi locali e simulated annealing 10

5.5.1 Valori iniziali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

5.5.2 Minimi locali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

5.5.3 Simulated annealing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

5.6Capitolo 5.6 - Minimi quadrati pesati, matrice dei pesi e modello dell’errore 10

5.6.1 Perche’ pesare i residui . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

5.6.2 Matrice di covarianza dell’errore . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

5.6.3 Soluzione WLS lineare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

5.6.4 SD costante e CV costante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

5.7Capitolo 5.7 - Analisi dei residui e residui pesati 12

5.7.1 Residui semplici . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

1

Blocco 5 - Stima parametrica Modelli di Sistemi Biologici

5.7.2 Perche’ guardare i residui . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

5.7.3 Residui pesati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

5.7.4 Residui troppo piccoli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

5.8Capitolo 5.8 - Precisione delle stime, matrice di covarianza, CV e correlazione 13

5.8.1 Perche’ non basta il fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

5.8.2 Standard error e CV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

5.8.3 Correlazione tra parametri . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

5.8.4 Formula approssimata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

5.9Capitolo 5.9 - Monte Carlo e bootstrap per propagare l’incertezza 14

5.9.1 Idea comune . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

5.9.2 Monte Carlo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

5.9.3 Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

5.9.4 Percentili . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

5.10

Capitolo 5.10 - Varianza ignota, gradi di liberta’ e confronto tra modelli 15

5.10.1Quando Σ e’ nota a meno di una costante . . . . . . . . . . . . . . . . . . . . . . . 15

v

5.10.2Stima di . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

α

5.10.3Confronto tra modelli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

5.11

Capitolo 5.11 - AIC, MDL, BIC, ICOMP e validazione pratica 16

5.11.1Fit contro complessita’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

5.11.2AIC e BIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

5.11.3MDL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

5.11.4ICOMP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

5.11.5Validazione descrittiva e predittiva . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

5.12

Capitolo 5.12 - Massima verosimiglianza e collegamento con LS/WLS 17

5.12.1Dal criterio di distanza alla probabilita’ dei dati . . . . . . . . . . . . . . . . . . . . . 18

5.12.2Caso gaussiano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

5.12.3Quando ML differisce da WLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

5.12.4Proprieta’ asintotiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

5.13

Capitolo 5.13 - Stima bayesiana e MAP 19

5.13.1Parametri come variabili casuali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

5.13.2Teorema di Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

5.13.3MAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

5.13.4Caso gaussiano con prior gaussiana . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

5.13.5Perche’ usare Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

5.14

Capitolo 5.14 - MCMC, Metropolis-Hastings e Gibbs sampling 20

2

Blocco 5 - Stima parametrica Modelli di Sistemi Biologici

5.14.1Perche’ serve MCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

5.14.2Markov Chain Monte Carlo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

5.14.3Metropolis-Hastings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

5.14.4Single-component Metropolis-Hastings . . . . . . . . . . . . . . . . . . . . . . . . . . 21

5.14.5Full conditional e Gibbs sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

5.14.6Burn-in e convergenza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

Scheda finale del Blocco 5 22

3

Blocco 5 - Stima parametrica Modelli di Sistemi Biologici

Mappa rapida del blocco

Il Blocco 5 risponde alla domanda: una volta scelto un modello e verificata l’identificabilita’ a priori,

come stimiamo concretamente i parametri dai dati sperimentali?

La sequenza logica e’:

modello scelto dati rumorosi criterio di stima validazione della stima.

−→ −→ −→ −→

p̂

Cap. Tema Pagine

5.1 Introduzione alla stima parametrica p. 38

5.2 Minimi quadrati: errore di predizione e funzionale pp. 38–39

J(p)

5.3 Caso lineare nei parametri: soluzione analitica LS pp. 39–40

5.4 Caso non lineare: metodi iterativi e Gauss-Newton pp. 40–41

5.5 Valori iniziali, minimi locali e simulated annealing pp. 41–42

5.6 Minimi quadrati pesati, matrice dei pesi e modello dell’errore pp. 42–44

5.7 Analisi dei residui e residui pesati pp. 44–45

5.8 Precisione delle stime, matrice di covarianza, CV e correlazione pp. 45–46

5.9 Monte Carlo e bootstrap per propagare l’incertezza pp. 46–47

5.10 Varianza ignota, gradi di liberta’ e confronto tra modelli pp. 47–50

5.11 AIC, MDL, BIC, ICOMP e validazione pratica pp. 50–52

5.12 Massima verosimiglianza e collegamento con LS/WLS pp. 52–54

5.13 Stima bayesiana e MAP pp. 54–56

5.14 MCMC, Metropolis-Hastings e Gibbs sampling pp. 56–58

Da ricordare

L’idea centrale del blocco e’ che stimare un modello non significa solo trovare una curva che

passa vicino ai dati. Bisogna anche verificare che i parametri siano precisi, plausibili, non

troppo correlati e che i residui assomiglino davvero a rumore casuale.

4

Blocco 5 - Stima parametrica Modelli di Sistemi Biologici

5.1 Capitolo 5.1 - Introduzione alla stima parametrica

p. 38 circa.

Riferimento PDF: MODELLI APPUNTI.pdf,

5.1.1 Da identificabilita’ a stima parametrica

Nel Blocco 4 la domanda era teorica:

i parametri sono determinabili dalla relazione ingresso-uscita?

Nel Blocco 5 la domanda diventa pratica:

dati esperimenti reali, quali valori numerici assegno ai parametri?

La stima parametrica si fa quindi dopo aver fissato la struttura del modello e, idealmente, dopo aver

verificato che il modello sia identificabile a priori.

Il modello produce una predizione: y(t, p),

dove e’ il vettore dei parametri. I dati sperimentali sono invece misure discrete:

p z , z , . . . , z

1 2 N

raccolte agli istanti: t , t , . . . , t .

1 2 N

Il vettore delle predizioni negli istanti di misura e’:

 

y(t , p)

1

y(t , p)

 

2

=  

..

H(p) .

 

.

 

 

y(t , p)

N

5.1.2 Errore di predizione

I dati reali non coincidono mai esattamente con la curva teorica, perche’ ci sono errori di misura,

disturbi, variabilita’ biologica e approssimazioni del modello. Definiamo quindi:

= −

e(p) z H(p).

Componente per componente: (p) = −

e z y(t , p).

k k k

La stima parametrica cerca un valore che renda piccolo questo errore secondo un criterio scelto.

p̂

5.1.3 Approcci principali

Gli approcci principali sono tre:

• minimi quadrati, LS, e minimi quadrati pesati, WLS;

deterministico:

• massima verosimiglianza;

probabilistico:

• posterior, MAP e MCMC.

bayesiano: 5

Blocco 5 - Stima parametrica Modelli di Sistemi Biologici

Il primo ragiona in termini di distanza tra dati e modello. Il secondo ragiona in termini di probabi