Metodi matematici

Minimo globale, gradiente e matrice Hessiana

Minimo globale f(x^*) ≤ f(x)     ∀ x ∈ ℝⁿ

Se considero f: ℝⁿ → ℝ       x ↦ f(x)

Esempio

f: ℝ² → ℝ

f(x, y) = (x² + 3y²) e^t-x2-y2

Gradiente ∇f = (     ...     )^T   → (immaginato come un vettore colonna)

Matrice Hessiana (∇²f)_i,j = 𝔡²f / 𝔡x_i𝔡x_j

Es

f(x) = x² - 3x + 2

∇f(x) = f'(x) = [2x-3] (Gradiento)

∇²f(x) = f''(x) = [2] (Hessiana)

f(x,y) = x² + y²

∇f(x,y) = [2x     2y]

∇²f(x,y) = [2   0][0   2]

Minimo globale

Minimo globale f(x^*) ≤ f(x) ∀ x ∈ ℝⁿ

Se considero u = z ℝ² → ℝ

f: ℝ → ℝ

x → f(x)

Esempio

f: ℝ² → ℝ

f(x, y₂) = (x² + 3y²) e^t-x2-y2

Gradiente ∇f = ( _∂f/_{∂x1 ∂f}/_∂x2 ... _∂f/_∂xn )^T ⇒ (immaginato come un vettore colonna)

Matrice Hessiana (∇²f)_i,j = _∂²f/_∂xi∂xj

Es

f(x) = x² - 3x + 2

∇f(x) = f'(x) = [2x - 3]

∇²f(x) = f''(x) = [2]

f(x, y₃) = x² + y²

∇f(x, y) = [2x 2y]

∇²f(x, y) = ^{[2 0]}/_{[0 2]}

Derivate

f(x,y) = (1-x)² + 5(y - x⁵)²

∇f(x,y) = [2(10x³ - 10xy + x - 1)10(y - x⁵)]

∂_x ( (1-x)² + 5 ∂_y (⋅ x² + y²) )

∂_∂u (1-x)² = ∂_∂u u⁵

dove u = 1-x e ∂_∂u (u²) = 2u

5 ( ∂_x (⋅ x² + y²) ) + 2 (1-x) ( ∂_x (x-x) )

5 [ ∂_x (-x² + y²) ] + ( ∂_u(1) ∂_x (x1) )

2(-1-x)

5 ( ∂_x ( (-x² + y²) ) + 2 (1-x) ∂_x )

-2 (1-x) ( ∂_x (x1) ) + 5 ( ∂_x (-x² + y²) )

5 ( ∂_x (-x² + y²) - 2 (1-x) )

5 ( (2(-x² + y) ∂_x ( -x² + y )) ) + ( -2 (1-x)

50-2 (1-x) + 50 (-x² + y) ( ∂_x ( -x² + y ))

-2 (1-x) + 50 (-x² + y) ( ∂_x (y) - 2x )

= -2(1-x) + 50 (-x² + y) ( -2x + 0 )

= -2(1-x) - 20x ( -x² + y )

Autovalori e definitezza della matrice

Data una matrice A reale simmetrica 2 x 2 con autovalori λ₁, λ₂ vale:

Trace (A) = λ₁ + λ₂

det (A) = λ₁ · λ₂

A è definita positiva <=> det(A) > 0 e Trace (A) > 0

A è definita negativa <=> det(A) > 0 e Trace (A) < 0

A è indefinita <=> det (A) < 0

Esempio Hessiana

∇²f (1,1) = [ 42 -20-20 10 ]

A = [ 42, 20; -20, 10 ] ; Trace (A); det (A); eig(A),

Condizione sul gradiente

Vettore uguale a zero?

∇f(x*) = [ 00 ] <=> ||∇f(x*)|| = 0

Matlab per verificare questa condizione usa la norma infinito

Se io calcolo il gradiente e quel gradiente non è uguale al vettore nullo, posso affermare che quel punto non è un punto di minimo relativo.

Condizione sufficiente

Se f(x) ∈ C²(ℝⁿ) ∇f(x*) =0 e ∇²f(x*) è definita positiva, allora x* è un punto di minimo relativo.

In un esercizio tipo, se io ho una funzione e ci viene chiesto di trovare i punti di minimo relativo, la prima cosa che si fa è calcolare il gradiente e vedere quando il gradiente si annulla ovvero quando tutte le componenti sono =0. Quindi sto escludendo tutti i punti per cui non ho tutte le componenti =0. Poi vado a calcolare la matrice Hessiana in quei punti che ho già selezionato e andando a vedere quando ottengo una matrice definita positiva e solo in quei punti posso affermare di avere un minimo relativo.

Es

f(x,y)= x²+y²

∇f(x,y)= [ 2x ][ 2y ]

∇²f(x,y)= [ 2 0 ][ 0 2 ]

↳ matrice definita positiva

Se vado a calcolare il det. 2∙2 - 0∙0 = 4 → positivo

Traccia 2+2=4

Quindi, quando det(A)>0 e Trace(A)>0 A è definita positiva.

Quindi: x* punto di minimo