Identificazione di modelli

IDENTIFICAZIONE DI MODELLI

! 2 of 55

!

1. Introduzione ..................................................................................................................................... 4

Analisi e modellistica di serie temporali e sistemi 4

2. Processi ARMA ................................................................................................................................

5

Calcolo di media e funzione di covarianza per i processi arma 5

Valore medio 5

Funzione di covarianza per 5

Caso generale: processo ARMA 7

1. Media 7

2. Funzione di covarianza 7

Processi a media non nulla 8

1. Media 8

2. Funzione di covarianza 8

Interpretazione alternativa della depolarizzazione 9

3. Processi ARMAX modelli stocastici per sistemi I/O .....................................................................

11

Teorema di fattorizzazione spettrale 19

4. Predizione di processi ARMA e ARMAX .....................................................................................

21

5. Imprementazione del predittore .....................................................................................................

27

6. Predizione processo ARMA a media non nulla .............................................................................

29

1. Raccolta dei dati 31

2. Definizione della classe di modelli 32

3. Introduzione di criteri di identificazione 34

7. Identificazione PEM (Prediction Error Minimization) ...................................................................

36

8. Modelli ARX ..................................................................................................................................

37

9. Analisi asintotica dell’identificazione PEM ....................................................................................

41

10. Identificazione PEM di modelli ARMAX ....................................................................................

46

11. Validazione del modello ................................................................................................................

48

12. Filtraggio alla Kalman ..................................................................................................................

52

! 3 of 55

!

! 4 of 55

!

1. Introduzione

Analisi e modellistica di serie temporali e sistemi y

s è un fenomeno di interesse che genera una

Serie temporale: y (t )

variabile di uscita ! interessante.

y (t )

s è inaccessibile, mentre ! è

y (1), y (2), . . . y (n)

y (t) osservabile (! )

s Esempi: segnale audio, concentrazione t

di polveri sottili, indice di borsa, 0 1 2 3 4 n

ECG… y (t )

è nota almeno una sorgente di variabiità per l’uscita ! a cui viene dato il nome di

Sistema in/out:

u(t )

ingresso ! . y

s è il meccanismo attraverso cui è generata ! , ed è

y (t)

u(t) inaccessibile.

s u(t ) y (t )

! e ! sono invece misurabili:

{

y (1), y (2), . . . , y (n) t = 1,2,...,n

! u(1), u(2), . . . , u(n)

y (t ) u(t )

capire e studiare la variabilità di ! dato l’andamento dell’ingresso ! .

Problema:

esempi:

Corrente immessa in un motore elettrico

• Momento della forza generata

• Segnale audio a lato trasmettitore

• Segnale audio a lato ricevitore

• Precipitazioni

• Concentrazione PM10

• …

• serie temporale vs sistema i/o dipende dalla possibilità di accedere alla realtà.

Osservazione: ⇒ t

! .

Accesso alle variabili tramite campionamento discreto

( )

y (k) = y t + k ΔT , k ∈ ℕ, ΔT =

! intervallo di campionamento

0 y (t )

Fenomeni complessi sono fenomeni per i quali l’andamento di ! è determinato da una molteplicità di

cause a cui non possiamo accedere. y (t )

I modelli deterministici non riescono a rendere conto della realtà. Per spiegare l’andamento di ! è

necessario cambiare il paradigma per tenere conto delle sorgenti di variabilità senza conoscerle: si utilizzano

(modelli

modelli incerti stocastici). Page ! 5 of ! 55

2. Processi ARMA

Calcolo di media e funzione di covarianza per i processi arma

Un processo è stazionario se tutti i poli hanno modulo minore di 1. A partire da questo teorema si può

calcolare media e covarianza anche per i processi autoregressivi.

( )

2

y (t ) = a y (t − 1) + e(t ) e(t ) W N 0,λ

! dove ! , Quando y(t) è stazionario

−1

y (t ) = a z y (t ) + e(t )

! 1

−1

(1 − a z )y (t ) = e(t ) ⇒ y (t ) = e(t )

! 1 − a x −1

Passiamo a potenze positive di z:

1 z z

y (t ) = ⋅ e(t ) ⇒ y (t ) = e(t ) ⇒ p ol o z = a

! 1 − az z z − a

−1 | |

a < 1

y(t) è un processo stocastico stazionario se e solo se ! .

Valore medio

Dato che il processo è stazionario, il valore medio è pari al valore atteso

m = E [y (t )] = E [a y (t − 1) + e(t )]

! y

Dato che il valore atteso è un operatore lineare:

⇒ m = a E [y (t − 1)] + E [e(t )] ⇒ m = a m + 0 ⇒ m = 0

! y y y y

± ±

γ (τ) τ = 0, 1, 2,...

Funzione di covarianza " per "

y

Se y è stazionario: | |

γ (t , t ) = γ (τ) τ = t − t

! , dove !

y 1 2 y 1 2 [ ]

[ ] ( ) [ ]

2

2

( ) 2

γ (0) = E y (t ) − E [y (t ))] = E y (t ) − m ) = E y (t )

! y y

[ ] [ ]

2

( ) 2 2 2

γ (0) = E a y (t − 1) + e(t ) = E a y (t − 1) + e(t ) + 2a y (t − 1)e(t ) =

y

! [ ] [ ] [ ]

2 2 2

= a E y (t − 1) + E e(t ) + 2a E y (t − 1)e(t )

( )

2

E y (t − 1) = γ (0)

! y

[ ]

2 2

E e(t ) = λ

! [ ]

2a E y (t − 1)e(t ) = 0

! Da tutto ciò ricaviamo che 2

λ

2 2

γ (0) = a γ (0) + λ ⇒ γ (0) =

! y y y 1 − a 2 γ (τ = 1)

Passiamo ora al calcolo della funzione di covarianza ! y

[ ]

( ) ( ) [ ]

γ (1) = E y (t ) − m y (t − 1) − m = E y (t )y (t − 1)

! y y y

Ora è necessario sostituire soltanto l’espressione di y(t): Page ! 6 of ! 55

[ ] [ ]

( ) 2

γ (1) = E a y (t − 1) + e(t ) y (t − 1) = E a y (t − 1) + e(t )y (t − 1) =

y

! 2

λ

[ ] ( )

2

= a E y (t − 1) + E e(t )y (t − 1) ⇒ γ (1) = a γ (0) = a ⋅

y y 1 − a 2

γ (2)

In modo simile calcoliamo ! y

[ ]

( ) ( ) [ ]

γ (2) = E y (t ) − m y (t − 2) − m = E y (t )y (t − 2)

! y y y

Sostituisco solo y(t): [ ]

( )

γ (2) = E a y (t − 1) + e(t ) y (t − 2) =

y

! 2

λ

[ ] [ ] 2

= a E y (t − 1)y (t − 2) + E e(t )y (t − 2) ⇒ γ (2) = a γ (1) = a

y y 1 − a 2

2

λ

γ (0) =

y 2

1 − a | |

⇒ γ (τ) = a γ (τ − 1) ∀ τ ≥ 1

! γ (1) = γ (−1) = a γ (0) y y

y y y

γ (2) = γ (−2) = a γ (1)

y y y

2

λ

τ

γ (τ) = a

! y 1 − a 2

a > 0 (0 < a < 1)

!

Caso 1: 2

λ

1 − a 2

a < 0 (−1 < a < 0)

!

Caso 2: 2

λ

1 − a 2

[ ] [ ]

E e(t )y (t − 1) = 0, E e(t )y (t − 2) = 0,...

Perché ! ? Page ! 7 of ! 55

M A(∞)

Bisogna far riferimento alla rappresentazione !

( )

y (t ) = a y (t − 2) + e(t ) = a a y (t − 2) + e(t − 1) + e(t ) = . . . =

! 2 3

= e(t ) + a e(t − 1) + a e(t − 2) + a e(t − 3) + . . .

y (t − 1) = a y (t − 2) + e(t − 1)

! 2 3

y (t − 1) = e(t − 1) + a e(t − 2) + a e(t − 3) + a e(t − 4) ⇒ y (t − 1) e(t ) ⇒

non dipende da

[ ]

[ ] ( )

⇒ E e(t )y (t − 1) = E e(t ) e(t − 1 + a e(t − 2) + . . . =

! [ ] [ ]

= E e(t )e(t − 1) + a E e(t )e(t − 2) + . . . = 0

Stesso ragionamento per y(t-2) [ ]

2

y (t − 2) = e(t − 2) + a e(t − 3) + a e(t − 4) + . . . ⇒ E y (t − 2)e(t ) =

[ ]

! ( )

2

= E e(t ) e(t − 2) + a e(t − 3) + a e(t − 4) + . . . = 0

Caso generale: processo ARMA ( )

2

y (t ) = a y (t − 1) + . . . + a y (t − m) + c e(t ) + . . . + c e(t − m), e(t ) W N 0,λ

! 1 m 0 m

Supponiamo che y(t) sia stazionario.

1. Media

[ ] [ ]

m = E y (t ) = E a y (t − 1) + . . . + a y (t − m) + c e(t ) + . . . + c e(t − n)

! y 1 m 0 n

n + m

Questa espressione si può spezzare in ! valori:

[ ] [ ] [ ] [ ]

= a E y (t − 1) + . . . + a E y (t − m) + c E e(t ) + . . . + c E e(t − n)

! 1 m 0 n

I primi termini dipendono dalla media del processo. Tutti gli altri andranno invece a zero.

m

m = a m + . . . + e m + 0 ⋅ c + . . . + 0 ⋅ c ⇒ m = m (a + . . . + a ) ⇒ m = 0

! y 1 y m y 0 n y y 1 m y

2. Funzione di covarianza [ ] [ ]

2

( ) 2

γ (0) = E y (t ) − m = E y (t ) =

y 1

[ ]

2

( )

= E a y (t − 1) + . . . + a y (t − m) + c e(t ) + . . . + c e(t − n) =

1 m 0 n

! [ ] [ ] [ ] [ ]

2 2 2 2 2 2

a E y (t − 1) + a E y (t − 2) + . . . + a E y (t − m) + 2a a E y (t − 1)y (t − 2) +

m 1 2

1 2 [ ]

[ ] [ ]

2

+2a a E y (t − 1)y (t − 3) + . . . + c E e(t ) + . . . + 2a c E y (t − 1)e(t )

1 3 0 1 0

2 2

γ (0) = a γ (0) + a γ (0) + . . . + 2a a γ (1) + 2a a γ (2) + . . .

! termini noti

y y y 1 2 y 1 3 y

1 2 [ ]

( ) ( ) [ ]

γ (1) = E y (t ) − m y (t − 1) − m = E y (t )y (t − 1) =

y y y

[ ]

( )

! E a y (t − 1) + . . . + a y (t − m) + c e(t ) + . . . + c e(t − n) y (t − 1)

1 m 0 n

[ ] [ ] [ ]

2

= a E y (t − 1) + . . . + a E y (t − 1)y (t − m) + c E y (t − 1)e(t ) + . . .

1 m 0 Page ! 8 of ! 55

[ ]

γ (1) = a γ (0) + . . . + a γ (m − 1) + c E y (t − 1)e(t ) + . . . ⇒

y 1 y m y 0

2 2

γ (0) = a γ (0) + a γ (0) + 2a a γ (1) + . . .

y 1 y 2 y 1 2 y

! [ ]

γ (1) = a γ (0) + . . . + c E y (t − 1)e(t ) + . . .

⇒ y 1 y 0

...

γ (m − 1) = a γ (m − 2) + . . .

y 1 y

Queste equazioni, sotto forma di sistema di m equazioni in m incognite, sono dette e

di Yule-Walker

γ (0), . . . , γ (m − 1)

permettono di trovare ! y y

γ (m), γ (m + 1), . . . γ (0), γ (1), γ (m − 1)

I valori di covarianza ! si possono trovare ricorsivamente da !

y y y y y

[ ]

[ ] ( )

γ (m) = E y (t )t (t − m) = E a y (t − 1) + . . . + a y (t − m) + c e(t ) + . . . + c e(t − n) = . . .

! y 1 m 0 n

Processi a media non nulla ( )

2

y (t ) = a y (t − 1) + . . . + a y (t − m) + c e(t ) + . . . + c e(t − n), e(t ) W N μ ≠ 0,λ

! 1 m 0 n

Rappresentazione operatoria:

−1 −n

c + c z + . . . + c z

0 1 n

y (t ) = e(t ) = w (z)e(t )

! 1 − a z − . . . − a z

−1 −m

m

Supponiamo che il processo y(t) sia stazionario.

1. Media

[ ] [ ]

m = E y (t ) = E a y (t − 1) + . . . + a y (t − m) + c e(t ) + . . . + c e(t − n) =

y 1 m 0 m

[ ] [ ]

= a m + . . . + a , + c E e(t ) + . . . + c E e(t − m)

! 1 y m y 0 m

= a m + . . . + a m + c μ + . . . + c μ ⇒ m ≠ 0

1 y n y 0 n y

c + c + . . . + c

0 1 n |

m = ⋅ μ = w (z) ⋅ μ

! y z=1

1 − a − . . . − a

1 m

È il guadagno statico della funzione di trasferimento w(z),

calcolata in z=1

2. Funzione di covarianza

[ ]

( ) ( ) [ ]

γ (τ) = E y (t ) − m y (t − τ) − m ≠ E y (t )y (t − τ)

! y y y

[ ]

2

[ ] ( ) [ ]

2

μ ≠ 0 ⇒ E e(t ) ≠ λ = E e(t ) − μ , E e(t )e(t − m) = 0

Inoltre se !

Per evitare queste inconvenienze si applica la depolarizzazione dei processi

[ ]

[ ]

E ỹ (t ) = E y (t ) − m = m − m = 0

ỹ (t ) = y (t ) − m

{ y y y

y ⇒

! ẽ(t ) = e(t ) − μ [ ] [ ]

E ẽ(t ) = E e(t ) − μ = μ − μ = 0

ỹ (t )

Che tipo di processo è ! ?

ỹ (t ) = y (t ) − m = a y (t − 1) + . . . + a y (y − m) + c e(t ) + . . . + c e(t − n) − m =

y 1 m 0 n y

( ) ( ) ( ) ( )

= a ỹ (t − 1) + m + . . . + a ỹ (t − m) + m + c ẽ(t ) + μ + . . . + c ẽ(t − n) + μ =

1 y m y 0 m

! = a ỹ (t − 1) + . . . + a ỹ (t − m) + c ẽ(t ) + . . . + c ẽ(t − m) − (1 − a − . . . − a )m + (c + . . . + c )μ

1 m 0 m 1 m y 0 m

=0

c + c + . . . + c

0 1 n

m = ⋅ μ ⇒ m (1 − a − . . . − a ) = μ(c + c + . . . + c )

! y y 1 m 0 1 n

1 − a − . . . − a

1 m Page ! 9 of ! 55

ỹ (t ) = a ỹ (t − 1) + . . . + a ỹ (t − m) + c ẽ(t ) + . . . + c ẽ(t − n)

! 1 m 0 n

ẽ(t )

Questo processo è ARMA generato da ! , che è a media nulla.

In più abbiamo che:

( ) ( ) [ ]

γ (τ) = E y (t ) − m y (t − τ) − m = E ỹ (t )ỹ (t − τ) = γ (τ) ∀τ

! y y y ỹ

ỹ(t) ỹ(t−τ)

Interpretazione alternativa della depolarizzazione

y (t)

μ w(z)

ẽ(t)

Siccome il sistema è lineare: Costante

μ m y

w(z) y (t)

+

+

ẽ(t) w(z) ỹ (t)

Componente

stocastica

2

e(t ) W N (0,λ ) ⇒ m = 0

! Se y

{

1. ν (t ) è PSS ⇒ y (t )

Condizioni: ! è PSS ben definito

2. F (z) è assolutamente stabile

OSSERVAZIONE: L’assoluta stabilità è condizione per processi ARMA ben definiti (che sono quindi

stazionari). La conoscenza a priori che il processo è stocastico

stazionario aiuta a calcolarne le proprietà e di effettuare calcoli

F(z) semplificati per il calcolo di media e funzione di covarianza (Equazione

di Yule-Walker). Page ! 10 of ! 55

Cosa succede immettendo un processo stocastico stazionario in un filtro digitale assolutamente stabile, ad un

certo istante di tempo t0 e ad un certo valore y?

y (t)

ν (t) F (z )

Y (t ) = ȳ

0

L’uscita non è la soluzione steady state, il processo di uscita è ottenuto inizializzando in modo convenzionale

{

1. ν (t ) è PSS ⇒ y (t )

! , ma y(t) converge asintoticamente

in questo caso NON è PSS

2. F (z) è assolutamente stabile

alla soluzione steady-state. y (t)

ν (t) F (z )

Y (∞) = 0 ȳ (t)

F (z )

Y (t ) = ȳ

0

ȳ (t ) y (t )

! r→∞

ȳ (t )

! tende a diventare un PSS = y(t) per t abbastanza grande. La durata del transitorio quindi è

| |

max λ λ = F (z)

proporzionale a ! . Il transitorio è spesso trascurabile.

poli di

i i

i 2

e(t ) ∼ W N (m , λ )

Nei processi a media non nulla è sempre possibile depolarizzare !

y (t ) = ỹ (t ) + m

⏟ u

! ⏟

y

processo teo. y (t)

solito guadagno +e(t) C (z )

γ (z) = γ (z)

! y ỹ A(z )

2

ẽ(t) ∼ W N(0,λ )

Generalizzazione Page ! 11 of ! 55

3. Processi ARMAX modelli stocastici per sistemi I/O

! y (t ) = a y (t − 1) + . . . + a y (t − m) + b u(t − d ) + b u(t − d − 1) + . . . + b u(t − d − p) + c e(t ) + c e(t − 1) + . . . + c e(t − n)

1 m 0 1 p 0 1 n

A R M A X(m , n , p, d )

! : ARMA+contributo combinazione lineare dell’ingresso deterministico noto, con:

• p: ordine parte x

• d: ritardo intrinseco tra u e y

Si può riscrivere il processo come

( ) ( ) ( )

−1 −m −d −1 −p −1 −n

1 − a z − . . . − a z y (t ) = z b + b z + . . . + b z u(t ) + c + c z + . . . + c z e(t )

! 1 m 0 1 p 0 1 n

A(z) B(z) C(z)

−d+B(z)

z C(z)

y (t ) = u(t ) + e(t )

! A(z) A(z) A(z) ≠ D (z)

Esistono anche modelli in cui ! : essi si chiamano e l’equazione che li

modelli Box-Jenkins

−d+B(z)

z C(z)

y (t ) = u(t ) + e(t )

descrive può essere scritta come ! o come

D (z) A(z)

−d −d

A(z)D (z) y (t ) = z A(z)A(z) u(t ) + C(z)D (z) e(t ) ⇒ A′

(z)y (t ) = z B′

(z)u(t ) + C′

(z)e(t )

! A′ (z) B′ (z) C′ (z) m

{ y

γ (τ) ⇔ Γ (ω)

Introduciamo l’indicatore (o equivalente in frequenza di ! : !

spettro densità spettrale), y

y γ (τ)

y

DEFINIZIONE +∞ −jωτ

∑

y (t ) Γ (ω) = γ (τ)e

Dato ! processo stocastico stazionario, si dice la funzione ! . Lo spettro è la

spettro y y

τ=−∞ τ

trasformata discreta della funzione di covarianza. attenzione: il tempo è il tempo fittizio ! !

ESEMPIO 1 Page ! 12 of ! 55

{ 2

λ τ =0

2

e(t ) ∼ W N (m , λ ) → γ (t ) =

! y 0 τ ≠ 0

jω0 −jω jω −jω2 jω2 2

Γ (ω) = γ (0)e + γ (1)e + γ (−1)e + γ (2