Appunti Ottimizzazione non lineare - parte 1

DO

>0 => D

O

COS - = - -

- - all'antigradiente

l'ortogonalità

ho avvicina

si

e ↑ -D(f(x' antigradiente

d

se ) =

= < Ellpf(x) (1)

IDf(x) Il

=> -

- definizione

torna la

E

=> A

fissare Soddisfa criterio

il

d t

determinare

Posso E .

c

e .

verifico Soddisfa

d criterio

il

JE

scelgo t

se

e

oppure c

.

.

Direzione

(CALCOLO

STEP Passo la

del LUNGO

2 2

. . Soddisfare le condizioni Wolfe

di

1) CONDIZIONE ARMIJO

DI

() d(k)

x(1pf(X(n)

2d"(1f(x(t))

f(x) + +

↓ k anche d

l'indice

associamo a

2) CONDIZIONE CURVATURA

DI

IP(a)) Calcol ))

+

<d)

f(x)

P(x) +

= d(k)

P(x) 2d

Pf(x) 3

+ .

= negative

0f(x(*)

8 d'k

(0) ↓

= . cambio

modulo

togliere il e

posso alla disequazione

seguo

Df(x) ) d')

af(x(k <d(M) d(k) (2

+

=> . .

punto

il verifica

Quando all

tano

queste condizioni

verifico

step alli ottimale

è

1 e uno

se o

I

I x(k)

1) 2d'

x(k k

STEP +

3

2 k 1

+ +

= =

. ,

STEP

GO 1

TO for

serve

non

la verifica di E

- ad

antigradiente

d

Se iterazione l'algoritmo

prendo

OSS

. ogni

=

chiama

ci ALGORITMO Del GRADIENTE

indipendentemente

Quale l

d, soddisfar

da di

garantisce

passe & Wolf

di ?

condizioni

↳ ho ha

il perché derivata

di minimo

punto

cui

per

nulla I

Usare l'antigradiente il giusto ALGORITMO

sempre è

passo

e non

necessariamente efficiente 2) ZAG

G

↳ dim l'antigradiente d

. -Df(x' )

prendo

· =

il migliore P'(X)

prendo 0

· passo > =

= curvatura

condizione

Sostituisco di

nella

f) INad(h))" di e

=> .

Df(x'

11)

Pf(X(k ) tra

gradienti

+ direzioni

le

Di

0 - e

=

.

- iterazione l'altra

un sono

è

atogonali

↓ t

Non efficiente

è sono

se perche

punto

al

viciua

rischio intero

girarci

di .

funzio

E' molto

cale se sono

Contana

È l'algoritmo

conveniente gradient

del e

=> e l

usare info

ho

quando

inizio capi

per

non

,

evin

f(x) 2x x

Es

. 2xz

XnX2 +

+ -

= (8)

xa k 0

= = [2]

Tu 2)

Df(x)

criterio arresto

d =

+

= xa

x =

[)

da = f(x" f(x)) f(x) " de

<d) C d

CONDIZIONE ARMISO +

M + 1

x())=

f((0) 17)

c1x)

2

+ + -

2)

44)2 (1 4x)x

2(1 2 17XCn

( =

24

+

+ -

-

- -

-

indice

è salgo ( 0

un 6

= .

4

k

* 2)

xi

= -18 1 17 1

1 2

3

4 NO

=

2 0 6

+

= -

- -

- .

- .

1

<(0)

(1) 6 44 e

0

.

↓ N

D

=

= -

. -

FATIORE De

CONTRAZIONE

lascia cambia

costante in

o

alla

base disequazione -8

2

x(1)

d( -

2 1. Se

=

-

= -

=

( e

[8) "e)

[ =

x + =

= CURVATURA

CONDIZIONE DI

/Pa -*

E

f(x" d'

if(x) ( 17

22

= -

=

s

ele

95 641

22 Ok 0 .

153 562

14f(x) (1 81

= (f

Ora convessa

esatto quadratica

troviamo a e

86)

2(1 16

P(x) 4x

42 24

+ 1

+

+

= - -

-

p'(n) 84

2x

16

644 1 2 0

+

0 +

=

= =

- -

-

582 17 0

=

-

A

↓ = Fed

(8) =

+

x =

= 04/10/2023

15

Se il

da le

antigradiente

nell'algoritura scelgo

prendo passo

e con ?

Wolfe ottenere

di

APPROSSIMATO)

(

di

condizioni aspetto

mi

PASSO Cosa

,

!

Ricorda tipi continuità

Esistono di

3 : penma)

(disegno la

staccare

senza

SEMPLICE

· quanto

tra sposto

relazione

esiste mi in

UNIFORME : una

· f sposto

termini di

quanto

di termini

in

mi x

e >(f(xa) f(Xb))

f

Xbl

IlXa E

=

< =

- - sufficientemente

da E

sposto di

mi

LIPSCHITZIANA Xa Xb

: a

· limitato di

indipendente punto

dal

e f

partenza tal della

le escursioni

cui

per

, (morbidezza f)

di

esagerate

sono

non

f(x) limitata inferiormente

Se è

· sf(x) classe (1

di

continua

è

· Df(x) L

continua

e

x

· 1)

x( differenza

X(

quando la

da tra gradienti

sposto +

cioe mi i

a ,

(pendenze) deve troppo grande

essen

non

w si

-

1148(x E /108(x (1)

line 5

(1) toll

11

> 0

se <

- = < 0 :

- k D + 20

- il "annulla"

liente

al min

poi

prima si

si converge gra

e

o iterazioni

quante

determinare in

sappiamo

ma non finito

Esistono il ?

delle gradiente annulla k

condizioni ci si per

per modifichiamo la

d-antigradiente

manteniamo

si scelta del

e

, (k

passo dipendente

definiamo Hf(x)

dall'Hessiana

~ un passo Hf(x")

x'

trao attengo

calcolo

mi cui

> per una

e

su , .

unmerici)

determinata (solo valori

matrice autoalari matrice

questa

gli hanno caratteristiche

certe

di

Se ,

il funzione

allora determinare h autovalori

degli

in

posso passo fini di

al

arriverò

H n°

misu to

di in passi

e un

H x(

da

OSS dipende

. rf(x I [3]

xi

f(x) 2x2 H

Es a

>

+

= =

-

. 84]

(d)

x(x definita

Hf(x) positiva

= =

= ]

-

)

( % O definita

x Hf(x' positiva

= no

-0

=

= che

Quale permette ad

matrice

di

condizione ogni

mi avere una

autovalori

stissi

iterazione gli ?

ha sempre punto quadratica

f

indipendente dal quando

H è

- efficiente (min)

def

H

quando

PROGRAMMAZIONE

=> QUADRATICA DEFINITA +

, Hdef-(max)

La basta la

sola convessità

Oss

. convergenza

per

non

1

p(k) = X(k) [30]

T

x

Df(x)

f(x) 2x

x H

>

Es -

=

+

= - =

. (soluzioni

autorali caratteristico

gli del

calcoliamo polinomio

14 1 d(x

X1 Df(x)

CON

2 =

- =

= -

>

b) -

b)(a

det(H 6I) >(2

0 O

=

- - -

-

= lcond'

- Dx( Df(x'

X )

4

= =

- = -

T

iterazioni

due annulla

in

=> l'algoritur

il gradiente e

converge

finito

L'algoritur al

iterazioni

di dimensione

alla

in n° più

pari

Converge un

dello spazio vettoriale in si

cui opera .

?

x Imm

de

Se 0 oppure

= verifica

negativa

Se definita

H positiva

è si MAI

non

o .

ERFO

VX definita

H

Ricorda ! HX

* positiva

x >

> 0 =

, definit negativa

H la

Hx

x >

< 0 = sei defu

** H positiva

ta

= ita

-

0 a

rega

che definita

sia è

può

se non

essere + -=>

2]

2 x

Df(x)

f(x) 2x

x >

Es =.

+

= -

. (8) [

[8]ad )

%

xf(x)

x f(x)

= =

= =

- vaoo avanti

nullo

è

non

↓ ,

-(non gli

che ordin prendo calcolati

importa in L

[ [8 [8)

xd

x

x(x) + =

+ =

= (8)

pf(x) a sto

= 1

<10)

se = T)

(8) (8)

x( + =

= (2)

-f(x(n) + 0

=

=

x [ [8)

ET

x'd'

x

x + =

=

= + (0)

pf(x) - stor

= ok positiva)

invece quadratica

calcolare

x esatto

Proviamo matrice def

a la abbastanza

(Mi aspetto punto dove

di arrivare in è

norma

un

bassa il gradiente nullo

è

ma non

x())

f(() b

(0) 2

*

(1-24)2 è

X -

-argnin 0

+ x un

ma

=

= = = Caso

-

p(x)

Proviamo Armizo

a con base alla

in scelta di Cs

24)2 4x4f(x')

(1 che

l'intensità

d

1 dell'a

varia

= D

+

- troveremo

I -

P(d 4

-

f(x)

= 1

fissiano 1 1 - 2

1 <

x NO

c >

·

I =

= =

2 01

= 1

n Ok

=

· -

f la finisco

Se la

quadratica valle cambia

stessa

è

OSS

. sempre se a

,

di

sinistra punto

del

destra min

o

A negativa

pendenza

SX : che Soddisfa Wolfe

= Cz

sempre

B

C ·

· dx pendenza positiva

: d')

cDf(x)

f(x) ad() + d' =

+

=> soddisfatto

Wolfe è sempre

e

D la

finisco

da

Se in positiva

pendenza è

A B sceso

sono ma

,

modulo

in è minar f

la quadratica stessa

simmetrica danno

Essendo mi

B c

e

,

Tu seitesi : rischio soddisfare

il Wolfe

di positive

c'è pendenze

se no con

· la Wolfe

condizione di

possiamo scrivere In dede

senso

d(k)

d'cDf(x)

-f(x) +

xd(k)

+

altrimenti condizioni Wolfe

di

, FORTE

IN

· SENSO

d'

clDf(x)

(pf(x) d'

+

ad() =

+ direzione)

certezza che

la

Se (ho

arbitrario

al

scegliessi invece

è una fare il

f test

potessi calcolare

dell'antigradiente di

per

ma non

verificata

sarebbe