Appunti Machine Learning

Name: Appunti Machine Learning
Rating: 3.0 (2 reviews)
Author: copf.daraio

Revisionato il 28/07/2026

di copf.daraio

Publisher

Vota 3,0/5 (2)

Contenuto verificato e approvato dal Team di Esperti di Skuola.net

Appunti redatti seguendo il corso di Machine Learning per la magistrale di informatica, valido anche per studenti di ingegneria gestionale, ingegneria informatica e ingegneria dell'automazione. …

Esame Machine learning

Facoltà Scienze matematiche fisiche e naturali

Dal corso del Prof. Gambosi Giorgio

Università Università degli Studi di Roma Tor Vergata

A.A. 2022-2023

67 pagine

1 download

Appunti esame

Scarica

Estratto del documento

Concetti basici di probabilità

Ripensiamo alcuni concetti basici di probabilità.

Regola del prodotto e marginalizzazione

Data una variabile aleatoria discreta, si ha la regola del prodotto

p(x,y) = p(y∣x) p(x) = p(x∣y) p(y)

dove p(x) è la probabilità marginale, p(x,y) è la probabilità congiunta cioè ovvero la probabilità che accadano entrambi gli eventi x e y.

La marginalizzazione coincide con l'implicare la regola della somma:

p(x) = Σ_y∈Y p(x,y) = Σ_y∈Y p(x∣y) p(y)

Al fine di derivare una probabilità marginale, la regola di Bayes deriva dalla regola del prodotto,

p(x∣y) = (p(y∣x) p(x)) / p(y)

dove p(x) è la prior probabilità di x (prima di conoscere che y è avvenuta); p(x∣y) è la posterior probabilità di x (con y che è avvenuto); p(y∣x) è la verosimiglianza (o likelihood) di y dato x; p(y) è l'evidenza di y.

Indipendenza e valore atteso

L'indipendenza è verificata se p(x∣y) = p(x) p(y)

L'indipendenza condizionale di due variabili aleatorie semplici a una terza è data se

p(x,y | z) = p(x | z) p(y | z).

Il valor atteso rispetto a una distribuzione p(x) di una funzione g è

E_p{g(x)∣x} = Σ_x g(x) p(x)

nel caso discreto

E_f{∫ g(x)∣x} = ∫ g(x) f(x) dx

nel caso continuo

La varianza è Var[X] = E[(x − E[x])²] = E[x²] − E[x]²

La covarianza ci permette di stimare quanto le variazioni di due variabili casuali siano collegate tra loro

cov[X, Y] = E[XY] − E[X] E[Y], \ Var[X] = cov[X, X]

Vettore casuale e matrice di covarianza

Siano X₁, ..., X_n variabili casuali. Un vettore casuale è definito come

X = [X₁, ..., X_N] ∈ R^N

La matrice di covarianza Σ di tale vettore è una matrice m x n tale che S_i,j = cov(X_i, X_j). Tale matrice è semidefinita positiva come

Concetti teorici di probabilità

Riprendiamo alcuni concetti teorici di probabilità.

Regola del prodotto e regola di Bayes

Data una variabile aleatoria discreta, si ha la regola del prodotto

p(x,y) = p(y|x) p(x) = p(x|y) p(y)

dove p(x), è la probabilità marginale. p(x,y) è la probabilità congiunta, cioè, ovvero le probabilità che accadano insieme gli eventi x e y. La marginalizzazione coincide con l’applicare la regola della somma.

p(x) = ∑_{y ∈ Y} p(x,y) = ∑_y p(x|y) p(y)

Al fine di derivare una probabilità marginale. La regola di Bayes deriva dalla regola del prodotto,

p(x|y) = p(y|x) p(x) / p(y)

dove

p(x) è la prior probabilità di x (prima di conoscere che y è avvenuta);
p(x|y) è la posterior probabilità di x (con y che è avvenuto);
p(y|x) è la verosimiglianza (o likelihood) di y dato x;
p(y) è l’evidenza di y.

Indipendenza, varianza e covarianza

L’indipendenza è verificata se p(x,y) = p(y,x) = p(x) p(y) L’indipendenza condizionata di due variabili aleatorie semplici a una terza è data se

p(x, y | z) = p(x | z) p(y | z).

Il valore atteso rispetto a una distribuzione p(x) di una funzione g è

E_p [g(x|t)] = ∑_x g(x) p(x) E_f ∫ g(x) f(x) dx = ∫ g(x) f(x) dx

nel caso discreto nel caso continuo

La varianza è Var [X] = E[(X - E[X])²] = E [ x² ] - E[X]²

La covarianza ci permette di stimare quanto le variazioni di due variabili casuali siano collegate tra loro.

cov [X,Y] = E[XY] - E[X]E[Y]. Var [ X ] = cov [X,X]

Matrice di covarianza e correlazione

Siano X₁,…, X_N variabili casuali. Un vettore casuale è definito come:

x = [X₁, ..., X_N] ∈ ℝ^N

La matrice di covarianza ∑ di tale vettore è una matrice m x n tale che ∑_i,j = cov [X_i, X_j]. Tale matrice è simmetrica, centro e errore.

Σ ≥ 0 ∀ z ∈ Rᴺ ed Σ simmetrica, allora (σ₥[X, Xⱼ], (σ₥ [Xᵢ, Xⱼ].

∀ ε' cond Σ matrice di correlazione, che elimina uguaglianza ogni coppia di variabili aleatorie il coefficiente di correlazione di Pearson

(σ₥[X, Y])

p_{X, Y} = ^{σ₥[X, Y]}/_{√Var[X] √Var[Y]}

Se Yₜ = a X + b_t, allora (σ₥[X, Y] = a Var[X]

e Var[Y] = a² Var[X].

e dunque p_{X, Y} = 1. Se invece X e Y sono indipendenti, p_{X, Y} = 0, ma il viceversa non è vero in generale.

Distribuzioni d'interesse

Distribuzioni d'interesse sono:

Bernoulli p(x) = p, x = 1 1 - p, x = 0 con x_j = 1 per il verificarsi dell'evento j.
Categorica, estensione della Bernoulli nel caso di esiti multipli. p(x) = ¹/_Hᵢ ∏_j=1ᵖ x_j
Binomiale p

Anteprima

Vedrai una selezione di 15 pagine su 67