Metodi dei minimi quadrati e funzione di massima verosimiglianza

PRINCIPIO DI MASSIMA VEROSIMIGLIANZA

Stimare significa trovare i parametri di un modello che debba riprodurre un set di dati sperimentali, per esempio un istogramma che ci sembra simile a una gaussiana si può descrivere stimando μ e σ.Dobbiamo fare attenzione a 2 cose:

• La scelta del modello che vogliamo usare per descrivere i dati
• Le incertezze dei dati sperimentali.

Il principio di massima verosimiglianza (Maximum Likelihood) si tratta di un principio generale per stimare i parametri.

• Considerando N misure X_i, estratte da una popolazione caratterizzata da Aj parametri.
• Assumiamo un modello che descriva la distrib.
• Il principio di M.L. (Maximum Likelihood) ci permette di stimare Aj

P(X_i, Aj) = prob. di ottenere il valore X_i (misurato) da una distrib. P caratterizzata dai param. Aj

Qual è la probab. di ottenere l'intero campione nelle N misure X_i? Dato che sono misure indipendenti si fa il prodotto delle probab.

La funzione di max verosim. L(X,A) fornisce la prob. di ottenere l'intero campione dato il modello assunto con certi parametri Aj

L(X_i,Aj) = Π_i=1^N P(X_i,Aj)

Principio di Massima Verosimiglianza

Stimare significa trovare i parametri di un modello che dovrà riprodurre un set di dati sperimentali.

Per esempio un istogramma che ci sembra simile a una gaussiana si può descrivere stimando μ e σ.

Dobbiamo fare attenzione a 2 cose:

• la scelta del modello che vogliamo usare per descrivere i dati
• le incertezze dei dati sperimentali.

Il principio di massima verosimiglianza (maximum likelihood) si tratta di un principio generale per stimare i parametri.

- Consideriamo N misure X_i estratte da una popolazione caratterizzata da A_j parametri.

- Assumiamo un modello che descriva la distrib.

- Il principio di M.L. (Maximum Likelihood) ci permette di stimare A_j

P(X_i, A_j) = prob. di ottenere il valore X_i (misurato) da una distrib. P caratterizzata dai param. A_j

Qual è la probab. di ottenere l'intero campione nelle N misure X_i? Dato che sono misure indipendenti si fa il prodotto delle probab.

La funzione di max verosim. L(X, A) fornisce la prob. di ottenere l'intero campione dato il modello assunto con certi parametri A_j

^N∏_i=1 P(X_i, A_j)

se \( L(A_1) > L(A_2) \) allora il parametro \( A_2 \) è +

probabile/verosimile di \( A_2 \) in base al campione

osservato

lo scopo è quello di trovare il valore A che

massimizza la funzione \( L(A) \)

cosa fare?

1) Identificare la distrib. che meglio descrive i

dati

2) Def. la funzione logaritmica di ML

\( L = \prod P \)

\( ln(L) = \sum ln(P) \)

3) \(\frac{\partial ln(L)}{\partial A} = 0 \)

Quale distrib. possiamo assumere per gli errori

sui valori misurati

È ragionevole assumere una distrib. normale?

• È la distrib. che riproduce gli errori casuali
• È la distrib. a cui tendono molte altre distrib.
• Facilita i conti

Ma la M.L. è generica, si può applicare anche

a distrib. non gaussiane

Nel caso gaussiano:

\( L_{\mu, \sigma} = \prod_{i=1}^{N} \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(X_i - \mu)^2}{2\sigma^2}} \)

\( X_i \) = sono quantità note, sono le misure e descrivono

il campione

\( \mu \) e \( \sigma \) le dobbiamo stimare e sono caratteristiche

della popolazione.

Dalla popolazione estraiamo il campione

dal campione deriviamo le proprietà della

popolazione

ln(L_μ,σ) = ln[¹/_σ√(2π)^N] e^{-∑((X_i-μ)2/_2σ2)} = funzione

logaritmica di

= ln[¹/_σ√(2π)^N]- ∑(^(X_i-μ)2/_2σ²)

❶ ∂ln(L_μ,σ)/∂μ = 0 e ❷ ∂ln(L_μ,σ)/∂σ² = 0

sono le 2 eq. che dobbiamo risolvere per stimare

i parametri μ e σ²

❶ ∂ln(L_μ,σ)/∂μ = ∂/∂μ [ln 1/σ√(2π)^N]+ ∑(^X_i-μ2/_2σ²)

non dipende da μ

1/σ² ∑(X_i-μ) = 0

per quale valore vale questa uguaglianza?

per μ = 1/N ∑_i=1^N X_i (media aritmetica)

∂ ln(L_μ,σ) / ∂ σ² = ∂ / ∂ σ² { ln(1 / σ^N(√2π)^N) - ∑(x_i-μ)² / 2σ² }

= ∂ / ∂ σ² { ln(1 / (√2π)^N) + ln(1 / σ^N) - ∑(x_i-μ)² / 2σ² }

= ∂ / ∂ σ² ( -N / 2 ln(σ²) - ∑(x_i-μ)² / 2σ²)

= -N / 2σ² + ∑(x_i-μ)² / 2σ⁴ = -1 / 2σ² (N - ∑(x_i-μ)² / σ²) = 0

Per quale σ² l'equazione è = a zero ?

σ² = 1 / N ∑(x_i-μ)²

Quando abbiamo N misure indipendenti di una grandezza in presenza di errori casuali (gaussiani) la miglior stima della varianza è la media degli scarti quadratici delle misure. Ovvero la varianza di una distrib.

Nel caso descritto sopra abbiamo considerato che tutti gli x_i appartenessero alla medesima distribuzione gaussiana ⇒ tutti i valori x_i hanno lo stesso errore associato. (σ)

Ora consideriamo che ogni misura x_i abbia un errore σ_i ⇒ (x_i-μ)² / 2σ_i²

L_μ,σ = ∏^N_i=1 1 / σ_i√2π e^{- ∑(x_i-μ)2 / 2σ_i2}

Calcolando di nuovo ∂L_μ,σ / ∂μ = 0 ⇒ ∂ / ∂μ ∑^N_i=1 (x_i-μ)² / 2σ_i² = 0

⇒ 1 / σ_i² ∑^N_i=1 (x_i-μ) = 0

∑_i=1^{N x_i}/_σi² - ∑_i=1^{N 1}/_σi² = ∑_i=1^{N x_i}/_σi² - μ ∑_i=1^{N 1}/_σi² = 0

∑_i=1^{N x_i}/_σi² = μ ∑_i=1^{N 1}/_σi²

Definiamo ora il termine peso (W = weight):W_i = ¹/_σi²

Più l'incertezza è piccola e maggiore sarà il peso della misura.

μ = ^{∑_i=1N W_i x_i}/_{∑i=1^N Wi} # Media Pesata

1/∑_i=1^N W_i # Errore associato alla media pesata.

Quindi il criterio di massima verosimiglianza sviluppato da Fisher stabilisce che:i valori preferiti dei parametri di una funzione di verosimiglianza sono quelli che rendono max la probabilità di ottenere i dati osservati.

METODO DEI MINIMI QUADRATI

Regressione viene usato come sinonimo di correlazione.

Per regressione lineare intendiamo una famiglia di metodi statistici.

Modello lineare in statistica si riferisce alla linearità dei parametri e non delle variabili.

y = A + Bx , y = A + Bx + Cx² , y = A e^-x

Non sono funzioni lineari ma y è lineare rispetto ad A, B e C.

Il metodo dei minimi quadrati ordinari è un metodo di regressione lineare basato sul principio di max verosimiglianza.

Si fonda su 2 assunzioni:

• I valori della x hanno errore trascurabile rispetto ai valori di y.
• I valori di y sono distribuiti normalmente.

Cosa significa il secondo punto?

Che ogni y_i non apparterrà alla retta y = A + Bx; ma saranno distribuiti in base alle incertezze di y_i, ovvero secondo una gaussiana con centro sul valore vero.

Il 68% dei punti cade dentro la barra di errore.

Noi abbiamo le coppie (x_i, y_i) e dobbiamo stimare A e B ma dato che le coppie sono finite possiamo fornire una stima dei parametri con le loro incertezze.

Applicatao max verosimiglianza e assumiamo che gli errori sui Yi siano Gaussiani (Non è previsto dalla max verosimiglianza)

P(yi) = ¹⁄_σi√2π e^{-(Xi-(A+BXi))2⁄_2σi2} -> Come il mediato il valore della retta associato a Xi

La prob. di ottenere l'intero campione di N valori Yi

L = P(y₁,...,y_N) = ∏_i=1^{N 1}⁄_σi√2π e^{-(Yi-(A+BXi))2⁄_2σi2}

ln L ∝ ∑_i=1^{N (Yi-(A+BXi))2}⁄_σi²

Che è il termine da massimizzare per avere la max prob. di ottenere l'intero campione quali sono questi A e B che massimizzano L?

Il chi-quadro X

X² = ∑_i=1^{N (Xi-(A+BX_i))2}⁄_σi²

X² -> Valore sperimentale -> Valore teorico - Osservanza tra i valori ottenuti e attesi - Errore al quadrato del valore ottenuto

L ∝ e^-X2⁄₂ La prob. è max quando è minima la somma dei X²

Quindi nelle infinite rette, la migliore è quella che minimizza la somma dei quadrati dei scarti su Y

(Grafiche)

LA MINIMIZZAZIONE DEL Χ² È UTILE PER TROVARE I

PARAMETRI DI BEST-FIT MA FACCIAMO ATTENZIONE CHE

STIAMO APPLICANDO IL METODO DI MAX VEROSIMIGLIANZA

CON L'ASSUNZIONE DI ERRORI GAUSSIANI

MOLTE VOLTE È COSÌ MA BISOGNA SEMPRE VERIFICARE

SE L'ASSUNZIONE È GIUSTIFICATA.

DOPO QUESTO COME TROVARE I COEF. A e B?

_∂Χ² / _∂A = 0   e   _∂Χ² / _∂B = 0

_{⊕ ∂}Χ² / _∂A = _∂ / _∂A Σ (y_i - (A + Bx_i))² / σ_i² = PASSIAMO LA DERIVATA

DENTRO Σ e SVILUPPIAMO

IL QUADRATO

= Σ _∂ / _∂A (y_i² + A² + B²x_i² + 2AB x_i - 2A y_i - 2B x_iy_i) / σ_i² =

= Σ ¹ / σ_i² (2A + 2B x_i - 2y_i) = -2 Σ ¹ / σ_i² (y_i - (A + Bx_i))

_{⊕ ∂}Χ² / _∂B = Σ ¹ / σ_i² _∂ / _∂B (y_i² + A² + B²x_i² + 2AB x_i - 2A y_i - 2B x_iy_i) =

= -2 Σ ¹ / σ_i² (x_iy_i - Ax_i - Bx_i²) =

= -2 Σ x_i / σ_i² (y_i - A - Bx_i) = -2 Σ x_i / σ_i² (y_i - (A + Bx_i))

PER STIMARE A e B:

{   Σ ¹ / σ_i² (y_i - (A + Bx_i)) = 0      [SE OGNI y_i HA LA STESSA

            O -> σ_i² È COST. e ESCE

Σ x_i / σ_i² (y_i - (A + Bx_i)) = 0      1 / ALLA Σ

MINIMI QUADRATI CON IN CERTEZZE INDIVIDUALI:

OGNI MISURA Y_i HA UN INCERTEZZA σ_i

Il PESO W_i = 1 / σ_i²

DEFINIAMO ORA UN NUOVO TERMINI:

Δ = Σ W_i Σ W_i x_i² - (Σ W_i x_i)²

A = (Σ W_i x_i² Σ W_i y_i - Σ W_i x_i Σ W_i x_i y_i) / Δ

B = (Σ W_i Σ W_i x_i y_i - Σ W_i x_i Σ W_i y_i) / Δ

MINIMI QUADRATI CON INCERTEZZE TUTTE UGUALI:

TUTTE LE MISURE Y_i HANNO LA STESSA σ

Δ = N Σ x_i² - (Σ x_i)²

A = (Σ x_i² Σ y_i - Σ x_i Σ x_i y_i) / Δ

B = (N Σ x_i y_i - Σ x_i Σ y_i) / Δ

COME STIMIAMO LE INCERTEZZE SU A e B?

CONSIDERIAMO IL CASO IN CUI TUTTI GLI Y_i HANNO LA STESSA INCERTEZZA σ

A e B NON DIPENDONO DA σ_Y MA SOLO DAI DATI x e y

⇒ NON SERVE CONOSCERE A PRIORI σ_Y

QUINDI GRAZIE AI DATI E AI COEFF DELLA RETTA DI BEST-FIT POSSIAMO ANCHE STIMARE σ_Y:

σ_y = √_1/N-C∑ (y_i - ŷ)² (A + B x_i)

Il termine C è una correzione dovuta al fatto che i parametri A e B di best-fit sono dipendenti (vincolati) dai dati.

Concetto di vincoli e gradi di libertà:

V = N - C

Dove V = gradi di libertà N = misure C = vincoli → n° di parametri calcolati direttamente dai dati

Questo lo avevamo visto anche:

σ = √_1/N-1 ∑ (x_i - x̄)²

Deriva dal fatto che prima bisogna calcolare x̄ e quindi introduciamo un vincolo.

I parametri A e B sono affetti da incertezze perchè le misure y lo sono. Usiamo la propagazione degli errori:

σ_A² = ∑_i=1ⁿ (∂A/∂y_i)² σ_i²

σ_B² = ∑_i=1ⁿ (∂B/∂y_i)² σ_i²

Caso errori tutti uguali:

σ_A = σ_y √_∑xi²/Δ

σ_B = σ_y √_N/Δ

Caso errori individuali:

σ_A = √_∑wixi²/Δ

σ_B = √_∑wi/Δ

La distinzione tra variabili dipendenti e indipend.

È fondamentale xché la stima di best-fit considera le distanze solo lungo y se invertiamo x ↔ y la retta varia.

Quando e come applicare i metodi di regressione lineare?

Se la relazione tra y e x è polinomiale:

y(x) = a₂ + a₂x + a₂x² + a₂x³ + ... + a_mx^m-1

y(x) = ∑ a_k x^k-1

Possiamo usare il metodo dei minimi quadrati se la funzione è lineare nei parametri a_k non c'è limite nel n° di parametri che possiamo stimare.

Facciamo le stesse assunzioni fatte in precedenza:

• Errori di x sono trascurabili
• Errori in y seguono una gaussiana

Applichiamo la max verosimiglianza:

• Dobbiamo minimizzare la somma dei quadrati di questi residui (pesati sulla varianza)

L = p(a₁, ..., a_m) = ∏ e^{- ≟ 2σ_i2}

x² = ∑(x_i - ∑a_kf_k(x)) / σ_i²

Bisogna minimizzare χ² rispetto ai parametri α_k

^∂χ2/_∂αi = ∂/∂α_i Σ (^{y_i-Σα_kf_k(x)})²/_σi² =

= -2 Σ [^f_i(x_i)/_σi² (y_i - Σ^m_k=1 α_k f_k(x)) ] = 0

un sistema di m eq lineari in m incognite (α_k)

è possibile trasformare alcune funzioni in lineari: per esempio la legge esponenziale

y = A e^-Bx ⇒ ln(y) = ln(A) - Bx

è una funzione lineare a variabile indipendente x e var. dip. ln(y)

χ² = Σ^N_i=1 (^{(ln(y_i) - (ln(A) - Bx))})²/_σi²

⚠ come valori sperimentali non possiamo

inserire y_i ma ln(y_i) e soprattutto σ_i è

l'incertezza su ln(y_i)

Ma se noi abbiamo le misure y_i e σ_i, come

troviamo σ_ln(yi)? Propagazione degli errori:

σ_ln(yi) = ^∂ln(y)/_∂y |_y=y = ^σ_yi/_y

χ² = Σ^N_i=1 ^y₂/_σyi² ln(x_i) - (ln(A) - Bx))²