Sistemi embedded

VARIANZA (wiki)

σ_X² = E[(X - E[X])²] è il valore atteso del quadrato della var. aleatoria centrata X - E[X]

COVARIANZA (wiki)

Cov(X, Y) = E[(X - E[X])(Y - E[Y])] è il prodotto valore atteso dei prodotti delle loro distanze dalla media.

VALORE ATTESO (o v. medio)

1. E{u(n)} = μ_u(n) N×1

2. E{u(m,n)_1,2} = μ_u(m,n) M×N

VARIANZA

σ_u²(n) = E{|u(n) - μ(n)|²} = diag[r_z(n,n^')]

COVARIANZA

1. 1D Cov[u(n), u(n^')] = E{[u(n) - μ_u(n)][u^*(n^') - μ_u(n^')]^T} =

   R_u = R = r(n,n^') (matrice N×N)

2. 2D Cov{u(m,n), u(m^',n^')} = E{(u(m,n) - μ(m,n)) (u^*(m^',n^') - μ_u^*(m^',n^'))} =

   r(m,n,m^',n^')

AUTOCORRELAZIONE

1. 1D σ²(n) = r(n,n) = diag(R) _{vettore che rappresenta la varianza delle singole componenti del vettore}

NB3 NON esiste un cerchio in 2D

covariamo con xi(t)dom

PROPRIETÀ

LA MATRICE DI COVARIANZA R_u È HERMITIANA

DIM: - Calcolo R_u^* →

= E{(u - μ_u)(u^* - μ_u^*)^T} _{- calcolo del complesso coniugato}

= E{(u_m^n'' - μ_u)(u^*(m^',n^') - μ_u^*')^T} = _{- cerchio: la trasposta}

= E{(z - μ)(u^* - μ_^*)^T} R_u

Hermitiana → la sua matrice e sua trasposta coniugata (quindi) è reale e simmetrica

Prop fund: (R)^* e def non negativa: ∑ ∑ x(n)^*(n),(m,n^')x^*(n^') ≥ 0

∇ lo auto. loro positivi λ₁ ≳ . . . ≳ λ_N ≥ 0

Possiamo essere ordinati 123,... >

Stima della covarianza

Supponiamo che \( x^{(1)}, ..., x^{(N)} \) sia l'insieme di N realizzazioni (osservazioni) di un segnale random \( x \) aventi v. medio nullo \( \rightarrow E \{ x \} = 0 \)

Si può dimostrare che il v.m. di una funzione può venire stimato come segue:

\[ E \{ f(x) \} \approx \frac{1}{N} \sum_{k=1}^{N} f(x^{(k)}) \]

Dunque sapendo che la matr. cov. avrà (qui è identica a quello di autocorrelazione):

\[ R_x = E \{ x \cdot x^{T} \} \implies \]

\[ R_x \approx E \{ x \cdot x^{T} \} \approx \frac{1}{N} \sum_{k=1}^{N} x^{(k)} \cdot (x^{(k)})^{T} \]

dove \( f(x) = x \cdot x^{T} \)

Rendiamo la formula più completa introducendo la "data matrix" \( X \) una matrice \( N \times N \) che ha per colonne le osservazioni del segnale \( x^{(1)}, ..., x^{(N)} \); Quindi:

\[ R_x \approx \frac{1}{N} X \cdot X^{T} \]

Nota → PIÙ N → PIÙ G. stima di R_x sarà corretta

Stesso discorso se prendiamo in considerazione N realizzazioni di un'immagine u(m,n), ovvero u^(1), ..., u^(N).

Il tenore di covarianza si stima come:

\[ R_u \approx E \{u \cdot u^{T}\} \approx \frac{1}{N} \sum_{k=1}^{N} u^{(k)} \cdot (u^{(k)})^{T} \]

Non si usa il concetto di matr. matr.

L’errore quadratico medio tra u e $\hat{u}$ è da calcolare:

E = E[‖u - $\hat{u}$‖^2] = E[ (u - $\hat{u}$)^T (u - $\hat{u}$) ] = E[η^T · η] =

= E[ $\sum_{j=M+1}^{N} φ_{j}^T φ_{k}$^T ] = E[ $\sum_{j=M+1}^{N} ν(j) ν(j)$ ] =

= E[ $\sum_{j=M+1}^{N} ν(j) ν(j)$ ]

ma sappiamo che v(j) = φ_{j}^T · u, quindi:

E = $\sum_{j=M+1}^{N}$ E[ (φ_{j}^T · u) ╳ (u+^T φ_{j}) ] = $\sum_{j=M+1}^{N}$ φ_{j}^T E[ u · u^T ] φ_{j}

$\sum_{j=M+1}^{N}$ φ_{j}^T R_u · φ_{j} = E

Occorre ora trovare il minimo valore di E che soddisfi l’ortogonalità di vettori φ_{j}, ovvero il minimo di E vincolato a:

φ_{j}^T · φ_{j} = 1j = M+1, ..., N

→ PROBLEMA DI MINIMO VINCOLATO

φ_{j} = | min Eφ_{j}^T · φ_{j} = 1 J = M+1, ..., N

Usiamo i moltiplicatori di Lagrange:

ci dice che delta f(x) in punto di minimo x_0 tale per cui:

f_i (x_0) = ... f_\nu (x_0) = φ= VINCLO

e il valore che si ottiene imparando:

grad (f(x) )+ \sum_{j=1}^{1} \lambda_j f_j (x)| = \phi

Quindi nel nostro caso:

grad [ $\sum_{j=M+1}^{N}$ φ_{j}^T Ru · φ_{j} + $\sum_{j=M+1}^{N}$ λ_j · (1 - φ_{j}^T · φ_{j} ) ] = φ

N.B. → regola di derivazione | d/dα = (scalare)→ derivando rispetto a φ_{j}^T

DIM. Data A=[a₁...a_n] una matrice M×N,

definisco la GRAM MATRIX

G=A^T•A

ad essa associata, la quale è una matrice quadrata N×N, da cui posso ricavare gli autovalori in numero pari alla dimensione N.

Inoltre G è

• Hermitiana (o Simmetrica se tale)
• definita NON NEGATIVA

Prendo la colonna k-esima di G: g_x = A^T•a_x

Supponendo k ≤ r = rank(A) = r ≤ k

Essendo G = A^T[a₁...a_n] = [A^Ta₁...A^Ta_n] = [g₁...g_n]

Si ha che il rango di G è uguale a quello di A, cioè r ≤ N

rank(A) = rank(G) = rank(A^T•A)

ma essendo questa posso definire gli autovalori

λ_i = σ_i² i = 1...n

in corrispondenza degli autovalori ho degli autovettori

V₄ = (V₁...V_r) ⟺ V₁...V_r autovettori relativi a G, σ_i²

V₂ = (V_r+1...V_n) ⟺ V_r+1...V_n

Si può scrivere che G = V•V•∑⟹ oppure definisco la matrice Σ come la

O_λ⊂ autovalori, gli autovalori in modulo e coding → λ

matrice che hanno producendo matrice colonne O, sono multiplicato dentro o subito i valori a diagonale e trasporta sono dalla parte sinistra.

1. G•V_V1 = V₁ regola S_{2autov. non nuli}

⟹ (A^T•A)•vi = σ_i²•vi

2. G•V₂ = V₂ ⟹ (A^T•A)•V_j = σ_j² V_j = ∅

nota Σ é composto ai autovalori di g sotto dato e quelli i autovettori

Filtro Kalman - Single Stage

Considero il seguente vettore di misura

z = (z₁, ..., z_k)^T ∈ ℝ^k

e supponiamo di voler stimare a partire da z, il vettore di stato x:

x = (x₁, ..., x_n) ∈ ℝⁿ

• In generale la misura non coincide con lo stato, perché è sotto-impasto un rumore → V = (v₁, ..., v_p) ∈ ℝ^p
• Nel filtro, almeno x vede rumore (o separo V dallo stato) → si può dire che l'equazione misura/stato è:

z = g(x, v)

Dal teorema stima, sappiamo che: x̂: min E [‖x - x‖²]

Per trovare ciò mi occorre conoscere la PDF condizionata, ovvero f(x|z)

Nota: Non facile da risolvere, ma essendo g(x, v) lineare, applico il filtro di Kalman.

Ipotesi

1. g(x, v) lineare
2. x, v gaussiani indipendenti

f(x,v) = f(x) . f(v)

• Considerando il set di misure z = g(x, v) = Hx + V
• Dato le ipotesi fatte per x e v, si ha:

µ_z = Hµ_x + µ ← V. Medio di z

C_z = HCH^T + C ← Mat Covarianza di Z

Ponendo

- µ_x = x̄

C_x = P_o

- C_v = R

si ha :

µ_z = H . x̄

C_z = H . P_o . H^T + R