Appunti esame Matematica per l'intelligenza artificiale

MIA 2022

Titolare:

• Francesco Vaccarino
• Lamberto Rondoni
• Andrea Tosin
• Francesco Della Santa (Post Doc)

francesco.vaccarino @ polito.it

Ricevimento su appuntamento

3 ore lunedi in presenza

3 ore martedi, online sino alle vacanze pasquali, dopo misto (fino al 17 maggio)

• 24 - 31 maggio Rondoni in aula 10 D
• 7 giugno Vaccarino online

Il lunedi:

• Della Santa e poi Tosin fino al 04/04
• Della Santa - Della Santa il 11/04
• Della Santa - Rondoni dal 2/05

Vaccarino Tosin

Rondoni

AI/ML

• CB0: 35 h
• Rapporto tra learning e sistemi dinamici: 10 h
• 15 h

Della Santa

Esercizi + Lab con uso di Python 20 h

MIA 2022

Titolare:

• Francesco Vaccarino
• Lamberto Rondoni
• Andrea Tosin
• Francesco Della Santa (Post Doc)

Ricevimento su appuntamento

3 ore lunedì in presenza

3 ore martedì, online sino aue vacanze pasquali, dopo misto (fino al 17 maggio)

• 24 - 31 maggio Rondoni in aula 10 D
• 7 giugno Vaccarino online

Il lunedì :

• Della Santa e poi Tosin fino al 04/04
• Della Santa - Della Santa il 11/04
• Della Santa - Rondoni dal 2/05

Vaccarino Tosin Rondoni

AI/ML CBO Rapporto tra learning e sistemi dinamici

• 35 h 10 h 15 h

Della Santa

Esercizi + lab con uso di Python 20 h

ESAME

Tesina

(ita/ing)

Ti voglio bene

Ottimizzazione di funzioni

F : ℝⁿ → ℝ, F ∈ C¹(ℝ)

punto di minimo/massimo: F'(x) = 0

F : ℝⁿ → ℝ differenziabile

punto di minimo/massimo: ∇F(x) = 0

Def Un punto x̄ ∈ ℝⁿ si dice punto di minimo assoluto di F:ℝⁿ → ℝ

se F(x̄) ≤ F(x) ∀x ∈ ℝⁿ

Il punto x̄ ∈ ℝⁿⁿ si dice punto di minimo relativo di F se esiste

un intorno U ⊆ ℝⁿ di x̄ tale che F(x̄) ≤ F(x) ∀x ∈ U

Esempio

F(x) = -q e^-bx - e^{cos (πnx)} + a + e

• a, b > 0
• a = 20
• b = ¹/₅

F(x) = -a exp (-b √ ¹/_n ||x||²) - exp (¹/_n ∑ ⁿ/_i=1 cos (2πx₁) ) + a + e

Algoritmi di discesa del gradiente

x_k ∈ Rⁿ

x_k+1 = x_k - γ_k ∇F (x_k)

γ_k > 0

Oss. ∇F(x_k) individua la direzione di massimo decremento locale di F a partire da x_k

Algoritmi di discesa stocastica del gradiente

F(x) = ¹/_M ∑ F_i(x), F_i: Rⁿ → R

x_k ∈ Rⁿ

x_k+1 = x_k - γ_k ∇F_i(x_k) i∈{1,...,M} selezionato casualmente ad ogni iterazione

Alternativa: x_k+1 = x_k - γ_k ∑ ∇F_j(x_k) dove I_k ⊆ {1,...,M} con |I_k| = d ≤ M

l'insieme I_k è composto estraendo casualmente ad ogni iterazione d elementi dell'insieme {1,...,M}

Prop

Se F è convessa e soddisfa altre ipotesi tecniche deboli allorasi dimostra che l'algoritmo stocastico del gradiente convergequasi certamente ad un punto di minimo assoluto di F.

(L'unicità è garantita dalla convessità)A partire da una qualsiasi condizione inizialel'algoritmo converge quasi certamente al puntodi minimo assoluto

Metodi particellari

Sciame di particelle

x_i^K ∈ ℝⁿ posizione dell'i-esima particella dello sciameall'iterazione k

i ∈ {1,...,N}N = n° di particelle dello sciamek ∈ ℕ, k = 0, 1, 2, ...

x_i^k+1 = x_i^k + λ(m^k - x_i^k) + θ(m^k - x_i^k)η_i^K

coefficiente di proporzionalità variabile aleatoria cheintroduce la stocasticitànel metodo(✶)

⋅ λ, θ > 0 costanti fissate

m^R = media pesata delle posizioni di tutte le particelle dello sciameall'iterazione R

m^k := Σ_i=1^N ω(x_i^K)x_i^K                Σ_i=1^N ω(x_i^K)

con ω:ℝⁿ → ℝ èuna funzione peso che contienel'informazione sui valori puntualiassunti da F ne