Appunti esame Matematica per l'intelligenza artificiale

MIA 2022

Titolare: Francesco Vaccarino Lamberto Rondoni Andrea Tosin Francesco Della Santa (Post Doc)

francesco.vaccarino @ polito.it

Ricevimento su appuntamento

• 3 ore lunedì in presenza
• 3 ore martedì, online sino alle vacanze pasquali, dopo misto (fino al 17 maggio)
• 24 - 31 maggio Rondoni in aula 10 D
• 7 giugno Vaccarino online

Il lunedì:

• Della Santa e poi Tosin fino al 04/04
• Della Santa - Della Santa il 11/04
• Della Santa - Rondoni dal 2/05

Vaccarino Tosin

Rondoni

AI/ML CB0: 35 h Rapporto tra learning e sistemi dinamici: 10 h 15 h

Della Santa

Esercizi + Lab con uso di Python 20 h

MIA 2022

Titolare:

Francesco Vaccarino

Lamberto Rondoni

Andrea Tosin

Francesco Della Santa (Post Doc)

Ricevimento su appuntamento

• 3 ore lunedì in presenza
• 3 ore martedì, online sino alle vacanze pasquali, dopo misto (fino al 17 maggio)
• 24 - 31 maggio Rondoni in aula 10 D
• 7 giugno Vaccarino online

Il lunedì:

• Della Santa e poi Tosin fino al 04/04
• Della Santa - Della Santa il 11/04
• Della Santa - Rondoni dal 2/05

Vaccarino Tosin Rondoni

AI/ML CBO Rapporto tra learning e sistemi dinamici

35 h 10 h 15 h

Della Santa

Esercizi + lab con uso di Python 20 h

Esame

Tesina(ita/ing)

Ti voglio bene

Ottimizzazione di funzioni

F : ℝⁿ → ℝ, F ∈ C¹(ℝ)

punto di minimo/massimo: F'(x) = 0

F : ℝⁿ → ℝ differenziabile

punto di minimo/massimo: ∇F(x) = 0

Def Un punto x̄ ∈ ℝⁿ si dice punto di minimo assoluto di F:ℝⁿ → ℝ se F(x̄) ≤ F(x) ∀x ∈ ℝⁿ

Il punto x̄ ∈ ℝⁿⁿ si dice punto di minimo relativo di F se esiste un intorno U ⊆ ℝⁿ di x̄ tale che F(x̄) ≤ F(x) ∀x ∈ U

Esempio

F(x) = -q e^-bx - e^{cos (πnx)} + a + e

a, b > 0

a = 20

b = ¹/₅

F(x) = -a exp (-b √ ¹/_n ||x||²) - exp (¹/_n ∑ ⁿ/_i=1 cos (2πx₁) ) + a + e

Algoritmi di discesa del gradiente

x_k ∈ Rⁿ

x_k+1 = x_k - γ_k ∇F (x_k)

γ_k > 0

Oss. ∇F(x_k) individua la direzione di massimo decremento locale di F a partire da x_k

Algoritmi di discesa stocastica del gradiente

F(x) = ¹/_M ∑ F_i(x), F_i: Rⁿ → R

x_k ∈ Rⁿ

x_k+1 = x_k - γ_k ∇F_i(x_k) i∈{1,...,M} selezionato casualmente ad ogni iterazione

Alternativa: x_k+1 = x_k - γ_k ∑ ∇F_j(x_k) dove I_k ⊆ {1,...,M} con |I_k| = d ≤ M

l'insieme I_k è composto estraendo casualmente ad ogni iterazione d elementi dell'insieme {1,...,M}

Prop

Se F è convessa e soddisfa altre ipotesi tecniche deboli allora si dimostra che l'algoritmo stocastico del gradiente converge quasi certamente ad un punto di minimo assoluto di F.

(L'unicità è garantita dalla convessità)

A partire da una qualsiasi condizione iniziale l'algoritmo converge quasi certamente al punto di minimo assoluto

Metodi particellari

Sciame di particelle

x_i^K ∈ ℝⁿ posizione dell'i-esima particella dello sciame all'iterazione k

i ∈ {1,...,N}

N = n° di particelle dello sciame

k ∈ ℕ, k = 0, 1, 2, ...

x_i^k+1 = x_i^k + λ(m^k - x_i^k) + θ(m^k - x_i^k)η_i^K

coefficiente di proporzionalità variabile aleatoria che introduce la stocasticità nel metodo

(✶)⋅ λ, θ > 0 costanti fissate

m^R = media pesata delle posizioni di tutte le particelle dello sciame all'iterazione R

m^k := Σ_i=1^N ω(x_i^K)x_i^K                Σ_i=1^N ω(x_i^K)

con ω:ℝⁿ → ℝ è una funzione peso che contiene l'informazione sui valori puntuali assunti da F ne