Fondamenti di machine learning

Machine Learning — Guida completa di studio | Università Marconi

Machine Learning

Guida Completa di Studio

Università degli Studi Guglielmo Marconi

11 Lezioni — Dalla teoria alla pratica

Lezione 1 — Introduzione al Machine Learning

1.1 Contesto e motivazione

Il Machine Learning (ML) è una branca dell'Intelligenza Artificiale che si basa su dati per far imparare le macchine. Si situa in un momento storico in cui i dati prodotti dall'umanità crescono a ritmi esponenziali: il dataset LION-5B contiene 5,88 miliardi di immagini, una quantità che un essere umano impiegherebbe più di 80 anni ad osservare vedendo un'immagine ogni mezzo secondo.

Le parole chiave del momento sono Intelligenza Artificiale, Big Data e Internet of Things. È fondamentale, però, comprendere che il ML non è magia: richiede matematica, dati di qualità, algoritmi scelti con cura e una comprensione del contesto applicativo.

1.2 Storia e filosofia

Le radici del ML risalgono a dibattiti filosofici e matematici del XIX e XX secolo:

• Logicismo (fine '800): l'idea che tutta la matematica possa essere ridotta a pura logica tramite simboli e regole.
• Paradosso di Russell (inizi '900): dimostra che la matematica non basta a formalizzare tutta la conoscenza umana. L'insieme R = {insieme di tutti gli insiemi che non contengono se stessi} porta a una contraddizione: se R appartiene a R, allora non dovrebbe; se non appartiene, allora dovrebbe.
• Neopositivismo / Circolo di Vienna (1920): tentativo di fondare la scienza su basi logiche e linguistiche rigorose, con il principio di verificabilità empirica.
• Teorema di Incompletezza di Gödel (1931): in ogni sistema formale abbastanza potente da includere l'aritmetica esistono proposizioni vere che non sono dimostrabili nel sistema stesso. Un sistema non può essere contemporaneamente completo e coerente.
• Alan Turing e il Test di Turing: una macchina può pensare se in un test cieco l'osservatore non si accorge di interagire con una macchina per più del 50% delle volte. Turing inventa anche la Macchina di Turing, capace di computare qualsiasi funzione (Turing-completo).

Pagina 1 di 78

Machine Learning — Guida Completa di Studio | Università Marconi

Il salto concettuale di Turing

Le macchine non devono simulare comportamenti già maturi (come un esperto), ma imparare come fa un bambino, a partire dai dati e dall'esperienza.

Questo è il Sistema Indiretto di Computazione: la macchina impara regole dai dati, non le riceve esplicitamente dal programmatore. Definizione: Machine Learning

Il Machine Learning è un sottoinsieme dell'Intelipotesi su dati nuovi. Non è programmazione esempi.

AI Machine Learning Deep Learning AI

1.3 AI vs Machine Learning vs Deep Learning

È utile distinguere i tre livelli attraverso la metafora delle matrioske:

1.4 Tipologie di addestramento

Pagina 2 di 78

Machine Learning — Guida Completa di Studio | Università Marconi

1.5 Componenti di un sistema ML

Step 1 — Definizione del problema: il modello è una funzione che trasforma input in output. L'output può essere:

• Regressione: predire un valore numerico continuo (es. prezzo di un immobile).
• Classificazione: predire un'etichetta tra un insieme finito (es. solvibile/non solvibile).

Step 2 — Raccolta del dataset: insieme di coppie (input, output) che descrivono esempi. Deve essere:

• Rappresentativo: coprire tutti gli scenari presenti e futuri.
• Numeroso: abbastanza esempi per generalizzare (una rondine non fa primavera!).

Step 3 — Scelta di modello e algoritmo: occorre comprendere capacità di rappresentazione, tipo di dato ed efficienza computazionale. Servono metriche per valutare le performance.

Un sistema ML si costruisce sempre su quattro elementi fondamentali:

• Feature (variabili di input): descrizione numerica o categorica dell'oggetto di studio. Esempio: età, reddito, storico creditizio per il credit scoring.
• Dataset: collezione di coppie (input, output) che rappresentano esempi storici. Deve essere rappresentativo e sufficientemente numeroso.
• Modello: funzione parametrica che trasforma gli input in output. Può essere una retta, un albero, una rete neurale, ecc.
• Algoritmo di apprendimento: procedura che adatta i parametri del modello sui dati. Es.: discesa del gradiente, least squares.

Principio fondamentale: Garbage In, Garbage Out

Un modello addestrato su dati di scarsa qualità produrrà previsioni inaffidabili.

Un modello con errore zero sul training set è spesso un segnale negativo (overfitting).

Google (2016): modelli con performance leggermente inferiori in training hanno spesso performance migliori in produzione.

1.6 Output del modello: regressione vs classificazione

Pagina 3 di 78

Machine Learning — Guida Completa di Studio | Università Marconi

1.7 Bias e etica nel Machine Learning

Il bias è uno dei problemi aperti più rilevanti nel ML. Può manifestarsi in due modi:

• Bias nei dati: il dataset non rappresenta equamente tutte le categorie. Caso COMPAS (USA): il sistema di valutazione del rischio di recidiva assegnava punteggi più alti a persone afroamericane anche in presenza di reati minori, a causa di distorsioni nei dati storici.
• Bias nel modello: l'assenza di vincoli etici nell'apprendimento può portare a comportamenti inaccettabili. Caso Microsoft TAY (2016): il chatbot, esposto a conversazioni non filtrate su Twitter, diventò razzista e omofobo in meno di 24 ore.

Principio etico fondamentale

"L'algoritmo non è neutro: è un'opinione formalizzata nei dati."

La responsabilità delle scelte di addestramento è dell'essere umano che progetta il sistema. L'obiettivo del ML deve essere supportare l'uomo, non sostituirlo. Il tema dell'Explainable AI (XAI) affronta questo problema.

Lezione 2 — Fondamenti matematici

2.1 Algebra lineare

Vettori e Norme ℝ

Un vettore è un punto nello spazio ⁿ; praticamente, una lista di numeri. Un insieme di vettori forma uno spazio vettoriale. Le norme misurano la "grandezza" di un vettore o la distanza da un punto.

Norma-p di un vettore x

(1/p p) ∨ ¿Σ∨xᵢ‖ ‖ =¿x p ‖ ‖

La norma-2 (euclidea) è la più comune. Se non specificato, x implica norma-2.

La norma deve soddisfare delle proprietà fondamentali:

• (Non negatività) ‖ ‖≥x 0
• (Omogeneità) ‖ ‖=¿ ‖ ‖λx λ∨· x
• (Disuguaglianza triangolare) ‖ ‖≤ ‖ ‖+‖ ‖+x y x y

Pagina 4 di 78

Machine Learning — Guida Completa di Studio | Università Marconi

‖ ‖₂=1 ‖(x )=x /‖x v x

I vettori con si chiamano versori:

Dato un vettore qualsiasi, il suo versore si ottiene dividendo il vettore per la sua x^ =x norma: . Questo processo è chiamato normalizzazione. Ogni vettore può essere visto ∧x ∧ ∧ ∧x=^x x come un versore moltiplicato per la sua lunghezza (norma): .

Operazioni tra vettori

Somma

Dati due vettori x e y della stessa dimensione, la somma è un nuovo vettore ottenuto sommando gli x+ y [ ]+ + +x y , x y ,... , x y elementi corrispondenti: ._{1 1 2 2 n n}

∈ ℝⁿ

Dot product di x, y

ᵀ ᵢ ᵢ =Σᵢx y x y ᵀ ‖· ‖ ‖ ᵀ =‖ (θ) =cos (θ)x y x y ·cos x y

Geometricamente: . Per due versori: ‖ ‖ ᵀx ²=x x

La norma-2 al quadrato può essere scritta come prodotto interno: .

A B

Geometricamente, per due vettori e, il prodotto scalare è anche uguale ∥ ∥ ∥ ∥ ( θA B cos   θ)a, dove è l'angolo tra di essi.

Matrici

∈ ℳ ℝ M Rⁿ

Una matrice è un'estensione dei vettori: una sequenza di M vettori colonna o N vettori riga. Un'immagine in bianco e nero è una matrice; un'immagine a colori è un tensore 3D.

Tensori: Sono un'ulteriore generalizzazione in spazi multidimensionali.

Prodotto matriciale C = A·B

ᵢ ⨸ ᵢ ᵢ ⨸, ∈ ℳ ℝᵏ, ℝᴹ→C ∈ ℝᴹ=C Σᵢ A ·B A Rⁿ B∈ Rᵏ Rⁿ

Date due matrici (di dimensioni A n × k B dimensioni), il loro prodotto è una nuova matrice k × m C=A × BC di dimensioni . L'elemento si calcola come la somma n × m i, j dei prodotti tra gli elementi della i-esima riga di A e quelli della Ak∑j-esima colonna di: .=B C A Bi , j i ,l l , jl=1

Pagina 5 di 78

Machine Learning — Guida Completa di Studio | Università Marconi

Prodotto matriciale C = A·B

lunghezza 1

2.2 Analisi matematica

Derivate

Lo scopo è studiare come una quantità (l'output di una funzione) cambia al variare di un'altra quantità (l'input). La derivata misura la variazione di una funzione rispetto a una variabile. È fondamentale per trovare i minimi (dove la derivata è zero).

Definizione di derivata

(x+ (f h)−f x)' (x )=limf   h → 0 h

Alcune derivate notevoli:

Regole di derivazione:

• Linearità: (αf)' = αf'
• Somma: (f+g)' = f' + g'
• Prodotto: (f·g)' = f'·g + f·g' ( ))y=f g( x
• Chain rule: È la regola per derivare funzioni composte. Se abbiamo, (u=g x) ponendo, allora: dy dy du ' '·= =f ( (x))· ( )g g x Questa regola è fondamentale in machine learning, dx du dx specialmente per l'addestramento delle reti neurali (backpropagation).

Pagina 6 di 78

Machine Learning — Guida Completa di Studio | Università Marconi

Esempio Chain Rule

( (g (f x)=log( x) g( x)=x ² f x))=log( x ²), →(g(x ))=(1/ /x∂/∂ x f x ²) · 2 x=2

Continuità e differenziabilità

• Una funzione è continua se non ha "salti". La continuità è necessaria, ma non sufficiente, per la differenziabilità.
• Una funzione è differenziabile se la sua derivata esiste in ogni punto. I punti in cui la derivata si azzera ( ' ( )=0 f x) sono candidati per essere minimi o massimi locali della funzione.

Derivate parziali e gradiente

/∂₁ ₂( ∂ f xᵢy=f x , x , … , xₖ)

Per funzioni multivariabili, la derivata parziale considera costanti xᵢ tutte le variabili tranne.

Gradiente di f

∇ ₁ ₖ)=[∂ ₁, ₖ]ᵀ( /∂ /f x , … , x f x … , ∂ f ∂ x

• Il gradiente punta nella direzione di massima crescita della funzione.
• Il gradiente punta nella direzione di massima crescita della funzione. È lo strumento principale per l'ottimizzazione (es. discesa del gradiente).
• Permette di creare un'approssimazione lineare della funzione in un intorno di un x ∇(x) ( )+ (x )(x−x )f ≍ f x f punto: ._{0 0 0}

Esempio 2

( ) =x +3f x , y y/∂ /∂ =3∂ f x=2 x ∂ f y

[ ]( )=∇ ᵀf x , y 2 x , 3

Funzioni convesse

• Una funzione è convessa se il segmento che unisce due punti qualsiasi del suo grafico giace sempre sopra o sul grafico stesso.
• Una proprietà fondamentale (per funzioni due volte differenziabili) è che per (x)≥f 0 tutti gli x. La convessità è cruciale nell'ottimizzazione perché garantisce che un punto stazionario (derivata zero) sia un minimo globale.

Definizione di convessità

₁+(1−λ) ₂)≤ ₁)+(1−λ)f ₂) ∀( (x (f λ;x x λ;f x , 0 ≤ λ ≤1∀(f ' ' x) ≥0 x

Equivalentemente: . Convessa → il minimo locale è anche globale.

Convessità e ottimizzazione

Se la funzione di loss è CONVESSA: ogni minimo locale è anche minimo globale.

→ La discesa del gradiente converge sempre alla soluzione ottimale!

MSE (regressione lineare) e Cross-Entropy (regressione logistica) sono entrambe convesse.

Le reti neurali NON sono convesse → possono esistere minimi locali.

Pagina 7 di 78

Machine Learning — Guida Completa di Studio | Università Marconi

2.3 Probabilità e statistica

Variabili casuali

Una variabile casuale è una funzione misurabile su uno spazio campionario. Può essere:

• Qualitative (Categoriche): Descrivono categorie o attributi.
  • Nominali: Non c'è un ordine intrinseco (es. tipo di trasporto, presenza/assenza di una malattia).
  • Ordinali: C'è un ordine (es. livello di soddisfazione: basso, medio, alto).
• Quantitative (Numeriche): Descrivono quantità misurabili.
  • Discrete: Assumono un numero finito o numerabile di valori (es. numero di studenti, numero di goal).
  • Continue: Possono assumere un'infinità non numerabile di valori in un intervallo (es. altezza, temperatura, tempo).

Distribuzioni di probabilità fondamentali

• Distribuzione di Probabilità (p(x)): È una funzione che assegna una probabilità a ogni possibile valore (o intervallo di valori) che una variabile casuale può assumere. Deve soddisfare:
  • 0 ≤ p(evento) ≤1
  • La somma delle probabilità su tutti i possibili eventi è 1: ∑ p(A=ω)=1 (per il caso discreto).
• Probabilità Congiunta (p(A, B)): È la probabilità che due (o più) eventi si verifichino contemporaneamente. Misura la relazione tra le variabili.
• Probabilità Marginale (p(A)): È la probabilità che un evento si verifichi, indipendentemente dall'esito dell'altro. Si ottiene marginalizzando (sommando o integrando) la probabilità congiunta sulla variabile che non ∑;p(A)= p(A, B=b) interessa: (regola della somma)._b
• Indipendenza: Due variabili A e B sono indipendenti se il verificarsi dell'una non (A )p(A, B)= p p(B) influenza la probabilità dell'altra. In formule: .
• Probabilità Condizionata (∣ Ap(A B)): È la probabilità che si verifichi, dato B che si è già verificato. Si calcola come: (Ap , B) ∣p(A B)= p(B)

∣B)( )p(A, B)= p A p(B)= p(B∣ A p(A)

Questo porta alla regola del prodotto: .