Dimostrazioni ML

Dimostrazione Cross-Entropy

Ip. P, Q distribuzioni di probabilità

H(P, Q) Cross-Entropy

H(P, Q) = H(P) + KL(P||Q)

• H(P) Entropia della distr. P
• KL(P||Q) KL-Divergence

Th. H(P, Q) = - ∫ P(x) log(Q(x)) dx

Dalla teoria sappiamo che:

• H(P) = ∫ P(x) log(1/P(x)) dx = -∫ P(x) log(P(x)) dx
• KL(P||Q) = ∫ P(x) log(P(x)/Q(x)) dx

Partendo da H(P, Q) = H(P) + KL(P||Q), si ha:

- ∫ P(x) log(P(x)) dx + ∫ P(x) log(P(x)/Q(x)) dx =

= -∫ P(x) log(P(x)) dx + ∫ P(x) log(P(x)) dx - ∫ P(x) log(Q(x)) dx =

H(P, Q) = - ∫ P(x) log(Q(x)) dx

H(P, Q) = - _x P(x) log₂ (Q(x)) x DISCRETI

Tesi Dimostrata

2)

Cioè;

\[\sum_{i=1}^{N}\left(-\frac{1}{2}\frac{1}{2\pi\sigma^2}\right)\left(\frac{(x_i - \mu)^2}{2}\right)\left(-\frac{1}{(\sigma^2)^2}\right) = 0\]

\[\sum_{i=1}^{N} -\frac{1}{2\sigma^2} - \frac{(x_i - \mu)^2}{2(\sigma^2)^2} = 0\]

\[\sum_{i=1}^{N} -\frac{1}{2\sigma^2}\left(1 + \frac{(x_i - \mu)^2}{\sigma^2}\right) = 0\]

\[\frac{1}{2\sigma^2} \sum_{i=1}^{N} -\sigma^2 + \frac{(x_i - \mu)^2}{\sigma^2} = 0\]

\[\sum_{i=1}^{N} (x_i - \mu)^2 = \sigma^2 \cdot N\]

\[\sigma^2 = \frac{1}{N}\sum_{i=1}^{N} (x_i - \mu)^2\]

L(Θ,D) = _DΣ y_i (w^Tx + b) + log (1 + e^{wTx + b})

Tesi

Dimostrato

Si modella il problema utilizzando i moltiplicatori di Lagrange:

L(x, λ) = g(x) - ∑ λ_i h_i(x) , λ_i ≥ 0

Come si evince, i vincoli sono stati “incorporati” nelle F.O.

Inoltre deve valere:

• Dato x_i, se h(x_i) > 0, allora λ_i = 0. Il vincolo è detto INATTIVO.
• Dato x_i, se h(x_i) = 0, allora λ_i > 0. Il vincolo è detto ATTIVO.

In entrambi i casi, la soluzione x* si può calcolare come:

∇g(x) - ∑ λ_i ∇h_i(x) = 0

Ossia con la classica derivazione.

Possiamo riassumere queste condizioni con le KKT:

1. ∇g(x*) + ∑ λ_i h_i(x*) = 0
2. h(x*) ≤ 0
3. λ_i ≥ 0
4. λ_i h_i(x) = 0, ∀i