Condizione di ottimalità per problemi di ottimizzazione non vincolata, metodo del gradiente e procedura linesearch

Un problema di ottimizzazione consiste nel cercare di determinare due numeri reali, appartenenti ad un insieme F, in cui una funzione f assuma valori nei punti possibili.

• f : F → ℝ la funzione obiettivo
• L'insieme F è detto insieme ammissibile
• max f(x) = -min (-f(x))
• x ∈ F

Condizioni di esistenza per Problemi di ottimizzazione continua:

• Sia F ⊂ ℝ un insieme non vuoto e compatto su un funzione continua definita su F. Allora, esiste un punto di minimo globale di f in F.

Prova:

• e = inf_{x ∈ F} f(x)
• e ≤ f(x) ∀ x ∈ F
• Che comunque scelto k esiste un punto x_k ∈ F.

f(x_k) ≤ r_k + k

lim x → x₀ f(x_k) = e

F compatto ed unito

lim x→ x₀

|x_k - x₀|

|f(x_k)| < e

x ∈ F

Continuo :

lim x → x₀ f(x_k) = f(x) → x₀ ∈ ℝ ⇒ f(x₀) = e

f(x) ≤ f(x₀) ∀ x ∈ F

x ∈ F è in minimo globale di f su F

Un problema di ottimizzazione consiste nel cercare di determinare due punti appartenenti ad un insieme F in cui una funzione f assume valori nel "modo migliore possibile".

• f : F → ℝ la funzione obiettivo
• l'insieme F "dello "insieme ammissibile
• max f(x) = ..., min...f(x) _x ∈ F

Condizioni di esistenza per problemi di ottimizzazione continua

• Sia F ⊆ ℝ un insieme non vuoto e compatto e sia f una funzione continua definita su F. Allora esiste un punto di minimo globale di f in F.

... e = ... f(x)

k _x ∀ x ∈ F

Che comunque esiste un punto x₀ ∈ F:

f(x) ... < k

... _x → e

• F compatto e chiuso e limitato. Poiché x₀ ∈ F {xₙ} ⊆ F {x i} ∈ altra ... funzione ... esiste un punto di accumulazione x* ∈ ℱ' che ... la chiusura

f soddisfa x* ∈ F e {x_n} ... che soddisfa:

lim ... x* = x_n

x_nₖ → x*

... f_n(x_n) = e

x _nk y_k → e

1 contumuità

lim ... _k ... f(x_n) = f(x_k ) = e

=> f(x*) = e

f (x*) ≤ f(x) ∀ x ∈ F

x* ∈ F e in ... globale di f su F

definire insieme di livello ogni insieme non vuoto del tipo

è una funzione continua definito su esistono un insieme di livello di che su non vuoto e compatto Allora esiste un punto di minimo globale di in

Prova.

per il teo di esiste un punto di

Dalla def di :

in un min glob di se tutto l’insieme

è una funzione continua definito su Allora tutti gli insiemi di livello sono compatti se e solo se:

1) Se è una sequenza di punti t.c. allora:

2) Se è una sequenza di punti allora:

Prova. (necessità)

Per assurdo ammettiamo che una delle condizioni 1) e 2) non siano soddisfatte e supponiamo che tutti i t.c. siano compatti. 1) es.m.s. tale che che soddisfa e che contiene una salto-sequenza che va da

compatti

• contraddici l’ipotesi

2) es.m.s. tale che che soddisfa che contiene una salto-sequenza in cui

_q

contraddici l’ipotesi

(Sufficienza)

1. e ₁ soddisfatti₁ supponiamo che esista un insieme di livello bl(x) in F che non si compatto.Se Rⁿ non fosse limitato allora x_k ⁼ x _k (x) T x _k u> con lim _{k-> ∞} || x || 2 ∞ e f(x) T ₁₂ Q x_k + c^T x _{+ α2}. α ∞Se lo matrice Q è definito positivo : lim f(x_k) = ∞_{-> ∞}Prova :{ x_k } Rⁿ lim x^->∞ || x || ∞ Disuguaglianza di Silvio ? 12 Q x > 1 min(Q) || x || ₂^T x -> || x || || x ||premisto autular₁ (x + ) - 1 ₂ x^t Q X_k + c^{t 5} x _{+ 12 min (Q) || x ||2 K(|||x|| + 0limk->∞ f(x k) = ∞}

   Condizioni di ott. relativo nel problema di ricerca di un massimo (locale)

   f: _n (a, b)

   ; f ∈ f = (c) (c') se n

   oppure

   Prob.

   1. Si supponga per assurdo che olt = 0, f (x^*) (0, f (x^*) ≠0)

   2. Utilizzando il teorema della media (B.3.2 no412)

   2 (1 f + α

   3) 3

   σ f (x^*) d + r₁ ((21) ad

   Com γ =0 e

   3 f (x^* + αd x^*) = f (x^*) - r₁

   Da qui seguirebbe

   quindi x^* non sarebbe un minimo locale

   Se f ∈ C²(ℝⁿ) ➝ Se * ∈ ⊂ℝⁿ e un punto di minimo locale, allora:

   1. ∇f(*)=0
   2. dᵀ∇²f(*)d≥0

   Provo.

   1. Già dimostrato in precedenza.Per costruzione si supponga che 2) non valga di d ∉ ℝⁿ:

   dᵀ∇²f(*)d<0

   Dal Teorema della medio (B.3.4 pag. 172)

   f(* + αd) = f(*) + 2 ∇f(*)ᵀd + 1/2 α²dᵀ∇²f(*)d + v₂ (α‖d‖)con lim_α➝0 v₂ ( α‖d‖ ) / α² = 0

   α>0

   f(* + αd) = f(*) + 1/2 α²dᵀ∇²f(*)d + v₂ (α‖d‖) =

   = f(*) _{^{< α²}} ( 1/2 αᵀ∇²f(*)d + _{v₂ (α‖d‖)}/^α²)

   Da cui si deduce che * non sarebbe un punto di minimo locale.

   C.N.

   Co f Rⁿ satisfa le seguenti condizioni:

   ∇f(x*)=0

   d*∇²f(x*)d>0 ∀dϵRⁿ

   Allora il punto x* è un punto di minimo locale stretto.

   Prova.

   Per assurdo x* non c.o m.in. loc. ∋ comunque sällt Ω sisse—.

   un punto x₀ ϵ B(x*,1/k)

   f(x₀) < f(x*)

   Ricordando ilenos dalle nasse (B.3.4 pag 172)

   0≤⟨(x₀ - x*)/|x₀ - x*|, ∇f(x*) + [(t_x₀,x*)/2] ∇²f(x*)([(x_1,x*) + V₂(t_x₀,x*)⟩ = 0

   Con 1²∇f(x*) = 0

   k>2 1|x₀ - x*|²

   Poiché lo calnutone lo veltro [(x_k, x*)/|x₀ - x*|] è linoffuo intu n somon

2. indide k_i = ({1,2,...})
3. lim
4. x_k*, x_k = |x*|
5. k→∞succ x_k* = x*.

∵ um [(x_k - x*)/|x_k - x*|]

⟨(x_k - x*)/|x_k - x*|, ∇f(x_k) + [(x_km,x₂ + x*)]

Contraddendo d*∇²f(x*)d>0