Metodi dei minimi quadrati e funzione di massima verosimiglianza

Principio di Massima Verosimiglianza

Stimare significa trovare i parametri di un modello che debba riprodurre un set di dati sperimentali.

Per esempio, un'istogramma che ci sembra simile a una gaussiana si può descrivere stimando μ e σ.

Dobbiamo fare attenzione a 2 cose:

• La scelta del modello che vogliamo usare per descrivere i dati
• Le incertezze dei dati sperimentali.

Il principio di massima verosimiglianza (maximum likelihood) si tratta di un principio generale per stimare i parametri.

• Considerando N misure X_i estratte da una popolazione caratterizzata da A_j parametri
• Assumiamo un modello che descriva la distrib.
• Il principio di M.L. (maximum likelihood) ci permette di stimare A_j

P(X_i, A_j) = prob. di ottenere il valore X_i (misurato) da una distrib. P caratterizzata dai param.

Qual è la probab. di ottenere l'intero campione nelle N misure X_i? Dato che sono misure indipendenti, si fa il prodotto delle probab.

La funzione di max verosom. L(X, A) fornisce la prob. di ottenere l'intero campione dato il modello assunto con certi parametri A_j

L(x_i, A_j) = ∏-⁡i=1 P(X_i, A_j)

se L(_A1) > L(_A2) allora il parametro _A2 è + probabile/verosimile di _A2 in base al campione osservato

lo scopo è quello di trovare il valore A che massimizza la funzione L(A)

cosa fare ?

1. identificare la distrib. che meglio descrive i dati
2. def. la funzione logaritmica di MLL = ∏P    ln(L) = ∑ ln(P)
3. ^∂ln(L)^/_∂A = 0

quale distrib. possiamo assumere per gli errori sui valori misurati

è ragionevole assumere una distrib. normale?- è la distrib. che riproduce gli errori casuali- è la distrib. a cui tendono molte altre distrib.- facilita i contima la M.L. è generale, si può applicare anche a distrib. non gaussiane

Nel caso Gaussiano:

L_m,σ = ∏_i=1^N ₁/^σ√2π e^{-(X_i-m)²/2σ²}

X_i = sono quantità note, sono le misure e descrivono il campionem, σ le dobbiamo stimare e sono caratteristiche della popolazione

METODO DEI MINIMI QUADRATI

REGRESSIONE VIENE USATO COME SINONIMO DI CORRELAZIONE

PER REGRESSIONE LINEARE INTENDIAMO UNA FAMIGLIA DI METODI STATISTICI

MODELLO LINEARE IN STATISTICA SI RIPENSCHIA ALLA LINEARITÀ DEI PARAMETRI E NON DELLE VARIABILI

Y = A + Bx Y = A + Bx + Cx² , Y = A e^-x

NON SONO FUNZIONI LINEARI MA Y È LINEARE RISPETTO AD A, B E C

IL METODO DEI MINIMI QUADRATI ORDINARI È UN METODO DI REGRESSIONE LINEARE BASATO SUL PRINCIPIO DI MAX VEROSIMIGLIANZA.SI FONDA SU 2 ASSUNZIONI:

1. I VALORI DELLA X HANNO ERRORE TRASCURABILE RISPETTO AI VALORI DI Y
2. I VALORI DI Y SONO DISTRIBUITI NORMALMENTE

COSA SIGNIFICA IL SECONDO P.TO? CHE OGNI Y_i NON APPARTERRÀ ALLA RETTA Y = A + Bx: MA SARANNO DISTRIBUZIONI IN BASE ALLE INCERTEZZE DI Y_i, OVVERO SECONDO UNA GAUSSIANA CON CENTRO SUL VALORE VERO

IL 68% DEI P.TO CADRÀ DENTRO LA BARRA DI ERRORE

NOI ABBIAMO LE COPPIE (X_i, Y_i) E DOBBIAMO STIMARE A E B MA DATO CHE LE COPPIE SONO FINITE UNA STIMA DEI PARAMETRI CON LE LORO INCERTEZZE.

La distinzione tra variabili dipendenti e indipendenti è fondamentale

Infatti la stima di best-fit consiste nel distanza solo lungo y se invertiamo x e la retta varia.

Quando e come applicare i metodi di regressione lineare?

Se la relazione tra y e x è polinomiale:

y(x) = a₁ + a₂x + a₃x² + a₄x³ + ... + a_mx^m-1

y(x) = ∑_K=1^m a_K x^K-1

Possiamo usare il metodo dei minimi quadrati se la funzione è lineare nei parametri a_k. Non c'è limite nel n° di parametri che possiamo stimare.

Facciamo le stesse assunzioni fatte in precedenza:

• Errori di x sono trascurabili
• Errori in y seguono una gaussiana

Applichiamo la max verosimiglianza:

Dobbiamo minimizzare la somma dei quadrati di questi residui (pesati sulla varianza)

L = P(a₁, ..., a_m) = ∏_i=1^N 1/(σ_i√2π) e^{-(y_i - ∑_K=1m a_Kf_K(x))2/2σ_i2}

χ² = ∑(y_i - ∑_K=1^m a_Kf_K(x))/σ_i²