Appunti Machine Learning

Name: Appunti Machine Learning
Rating: 3.0 (1 reviews)
Author: copf.daraio

Revisionato il 13/07/2026

di copf.daraio

Publisher

Vota 3,0/5 (1)

Contenuto verificato e approvato dal Team di Esperti di Skuola.net

Appunti redatti seguendo il corso di Machine Learning per la magistrale di informatica, valido anche per studenti di ingegneria gestionale, ingegneria informatica e ingegneria dell'automazione. …

Esame Machine learning

Facoltà Scienze matematiche fisiche e naturali

Dal corso del Prof. Gambosi Giorgio

Università Università degli Studi di Roma Tor Vergata

A.A. 2022-2023

67 pagine

1 download

Appunti esame

Scarica

Estratto del documento

Ripensiamo alcuni concetti basici di probabilità.

Data una variabile aleatoria discreta, si ha la regola del prodotto

p(x,y) = p(y∣x) p(x) = p(x∣y) p(y)

dove p(x) e' la probabilità marginale, p(x,y) e' la probabilità congiunta

cioè ovvero la probabilità che accadano entrambi gli eventi x e y.

La marginalizzazione coincide con l'implicare la regola della somma:

p(x) = Σ_y∈Y p(x,y) = Σ_y∈Y p(x∣y) p(y)

Al fine di derivare una probabilità marginale,

la regola di Bayes deriva dalla regola del prodotto,

p(x∣y) = (p(y∣x) p(x)) / p(y)

dove

p(x) e' la prior probabilità di x (prima di conoscere che y e' avvenuta);
p(x∣y) e' la posterior probabilità di x (con y che e' avvenuto);
p(y∣x) e' la verosimiglianza (o likelihood) di y dato x;
p(y) e' l'evidenza di y.

L'indipendenza e' verificata se p(x∣y) = p(x) p(y)

L'indipendenza condizionale di due variabili aleatorie semplici a una terza e' data se

p(x,y | z) = p(x | z) p(y | z).

Il valor atteso rispetto a una distribuzione p(x) di una funzione g e'

E_p{g(x)∣x} = Σ_x g(x) p(x)

nel caso discreto

E_f{∫ g(x)∣x} = ∫ g(x) f(x) dx

nel caso continuo

La varianza e' Var[X] = E[(x − E[x])²] = E[x²] − E[x]²

La covarianza ci permette di stimare quanto le variazioni di due variabili

casuali siano collegate tra loro

cov[X, Y] = E[XY] − E[X] E[Y], \ Var[X] = cov[X, X]

Siano X₁, ..., X_n variabili casuali. Un vettore casuale e' definito come

_X = [X₁, ..., X_N] _{ε R^N}

La matrice di covarianza Σ di tale vettore e' una matrice m x n tale

che S_i,j = cov(X_i, X_j). Tale matrice e' semidefinita positiva come

Riprendiamo alcuni concetti teorici di probabilità.

Data una variabile aleatoria discreta, si ha la regola del prodotto

p(x,y) = p(y|x) p(x) = p(x|y) p(y)

dove p(x’), e la probabilità marginale. p(x,y) e la probabilità congiunta, cioe, ovvero le probabilita che accadano insieme gli eventi x e y. La marginalizzazione coincide con l’applicare la regola della somma.

p(x’) = ∑_{y ⊂ Y} p(x,y) = ∑_y p(x|y) p(y)

AI fine di derivare una probabilità marginale. La regola di Bayes deriva della regola del prodotto,

p(x|y) = p(y|x) p(x)

p(y)

dove

- p(x) e la prior probabilità di x (prima di conoscere che y e’ avvenute);
- p(x|y) e la posterior probabilità di x (con y che e avvenute);
- p(y|x) e la verosimiglianza (o likelihood) di y dato x;
- p(y) e l’evidenza di y.

L’indipendenza e verificata se p(x,y) = p(y,x) = p(x) p(y) L’indipendenza condizionata di due variabili aleatorie semplice a una terza e data se

p(x, y | z) = p(x | z) p(y | z).

Il valore atteso rispetto a una distribuzione p(x) di una funzione g e’

E_p [g(x|t)] = ∑_x g(x) p(x) E_f ∫ g(x) f(x) dx = ∫ g(x) f(x) dx

nel caso discreto nel caso continuo

La varianza e’ Var [X] = E[(X - E[X])²] = E [ x² ] - E[X]²

La covarianza ci permette di stimare quanto le variazioni di due variabili casuali siano collegate tra loro.

cov [X,Y] = E[XY] - E[X]E[Y]. Var [ X ] = cov [X,X]

Siano X₁,…, X_N variabili casuali. Un vettore casuale e’ definito come:

x = ^X₁ ⊂ ℝ^N

^X_N

La matrice di covarianza ∑ di tale vettore e’ una matrice m x n tale che ∑_i,j = cov [X_i, X_j]. Tale matrice e simmetrica, centro e errore.

Σ ≥ 0 ∀ z ∈ Rᵐ ed Σ simmetrica, allora (σᵥ[X, Xⱼ], (σᵥ [Xᵢ, Xⱼ].

∀ ε' cond Σ matrice di correlazione, che elimina uguaglianza

ogni coppia di variabili aleatorie il coefficiente di correlazione di Pearson

(σᵥ[X, Y])

p_{X, Y} = ^{σᵥ[X, Y]}/_{√Var[X] √Var[Y]}

Se Yₜ = a X + b_t, allora (σᵥ[X, Y] = a Var[X]

e Var[Y] = a² Var[X].

e dunque p_{X, Y} = 1. Se invece X e Y sono indipendenti, p_{X, Y} = 0, ma

il viceversa non è vero in generale.

Distribuzioni d'interesse sono:

Bernoulli

p(x) =

p, x = 1
1 - p, x = 0

con x_j = 1 per il verificarsi dell'evento j.

Categorica, estensione della Bernoulli nel caso di esiti multipli.

p(x) = ¹/_Hᵢ ∏_j=1ᵈ x_j

Binomiale p

Anteprima

Vedrai una selezione di 15 pagine su 67