Formulario Di Machine learning for Big Data

Incrementare il termine di regolarizzazione

Analisi Testuale

TF-IDF: rappresenta un testo utilizzando dei numeri

∶

:

:

One-hot vector: ogni parola è un vettore lungo quanto il vocabolario, con tutti i campi a 0 tranne quello riferito

alla parola stessa

Performance classificatore

Accuracy: sintetizza le informazioni della confusion matrix +

= + + +

Precision : ci dice tra le osservazioni positive rilevate quante sono giuste. Valori giusti predetti a 1 / tutti i valori

predetti a 1

= +

Recall: quanto il sistema è stato bravo a riconoscere tutti i volti che sono passati. Valori giusti predetti a 1 / tutti i

valori che dovrebbero valere 1

= +

F-score: media armonica fra precision e recall P∗R

F − score = 2 ∙ P +

Reti neurali →

Unisce tante logistic regression utilizza formule della logistic regression.

Calcolare z da dare in pasto alla sigmoide function = +

• Sigmoid Function: 1

( )

ℎ . . = ( + ) = () =

, 1 −

1 +

• Funzione di costo (

Cost (h ( x) , y) − ln( h x))

=

Se y = 1 : θ θ (

Cost (h ( x) , y) = − ln( 1 − h x))

Se y= 0 : θ θ

• () (ℎ

= )

Matrice dei pesi

()

= (° − 1 ° − 1 )

• () () (−1)

(ℎ

= ):

Matrice del Bias posso guardare anche la dimensione di

() (°

= ° + 1)

• Funzioni di attivazione:

o [−0,5; 0,5]

Sigmoid function: restituisce 0 o 1 , aggiornamento dei pesi solo se

Problemi di binary classification

o ReLu: utilizzata nei layer intermedi , uccide i valori negativi

0 ≤ 0

() = { > 0

o Softmax Layer: ultimo layer , per problem multiclasse. Mi permette di ottenere un vettore di valori

[0,1] che mi indica la probabilità di ogni classe.

▪ Usa la funzione di costo cross entropy:

() () (1) (1) (2) (2) () ()

= − ∑( ∗ ln(ℎ ( )) ) = −( ∗ ln(ℎ ( )) + ∗ ln(ℎ ( )) + ⋯ + ∗ ln(ℎ ( )))

, , , ,

=1

SVM

Utilizza la logistic regression: T

∶ θ + θ x + θ x = 0 g (θ x) = 0.5

tale che

0 1 1 2 2

• T

=1 θ + θ x̂ + θ x̂ ≥ 0 g (θ x) > 0.5

se quindi

0 1 1 2 2

• T

(θ

=0 θ + θ x̂ + θ x̂ ≤ 0 g x) < 0.5

se quindi

0 1 1 2 2

Equazioni dei margini:

•

+ = 1 : margine superiore

•

+ = 0 : decision boundary

•

+ = −1: margine inferiore

Vettore perpendicolare al decision boundary:

−

Distanza fra due margini :

2

‖‖ =

√

Funzione di costo di svm:

, 2

SVM con Kernel gaussiano

Similarità tra un punto x e un landmark:

•

Vale 0 se sono lontani

•

Vale 1 se sono vicini 2 2

(1) (1)

(1) ( − ) +( − )

2

‖−‖ 1 2 2

1

1 1 = = exp (− ) = exp (− )

(1)

= ( ) = ( ) 1

2 2

(1) 2 2

2

2