Statistica Bayesiana

Statistica bayesiana

Pagani Davide

11 novembre 2016

Indice

• Introduzione 3
• Variabile casuale Beta 5
• Modelli 6
• Modello Binomiale-Beta 6
• Modello Poisson-Gamma 8
• Modello Esponenziale-Gamma 9
• Modello Normale-Normale 10
• Inferenza Bayesiana 13
• Metodo Montecarlo 14
• Inferenza previsiva 16
• Elicitazione della prior 19
• Assegnazione diretta 19
• Distribuzioni non informative 19
• Laplace 19
• Jeffreys 22
• Vague 25
• Prior coniugate 25
• Metodo di scelta degli iperparametri 30
• Sintesi della posterior 33
• Procedure analitiche 33
• Approssimazione normale 34
• Approssimazione Laplace 36
• Metodi simulativi 38
• Metodo Monte Carlo 38
• MCIS (Monte Carlo Importance Sampling) 38
• Metodo MCMC 40
• Approccio decisionale 47
• Ammissibilità 48
• Criteri Bayesiani 49
• Criteri non Bayesiani 50
• Funzioni di perdita 51
• Verifica d’ipotesi 52
• Teoria delle decisioni statistiche 53
• Approccio teorico decisionale statistico classico 53
• Approccio teorico decisionale statistico bayesiano 53
• Stima puntuale 56
• Stima puntuale per parametri multipli 59
• Stima puntuale per trasformate del parametro 60
• Stima intervallare 62
• Verifica d’ipotesi 63
• Senza approccio decisionale 63
• Con approccio decisionale 63
• Caso 1 64
• Caso 2 65
• Caso 3 67
• Il fattore di Bayes 68

1 Introduzione

Inferenza classica (o frequentista, nata nel ’20 con Fisher): è un esperimento aleatorio o casuale di cui non si conosce il risultato, facendo n prove indipendenti ottengo = (x ), una campionaria che contiene alla quale si aggiunge il principio dell’informazione campionaria, campionamento ripetuto che mi permette di passare dalla stima di un numero allo stimatore → X.

L’inferenza bayesiana invece è più recente (anni ’50, ’60 con Bayes): si utilizza ancora l’informazione campionaria alla quale si aggiunge l’informazione pre-sperimentale, cioè ho qualcosa in più prima di fare l’esperimento (uso il principio di verosimiglianza).

Esempio (numero guasti degli impianti produttivi)

Per analizzare il numero di guasti in un impianto produttivo utilizzo una variabile casuale di Poisson con parametro θ (ignoto). Voglio fare inferenza su θ quindi sul parametro ignoto e X ∼ Poisson(θ) → θ non aleatorio che corrisponde al numero dei guasti.

In ambito classico avrei calcolato la stima di massima verosimiglianza che coincide con la media campionaria: θ̂ = P x_i / n. In ambito bayesiano ho delle informazioni in più (ad esempio so che θ < 20 oppure so che è più probabile un numero piccolo di guasti rispetto ad uno elevato) che devo integrare nel mio problema. Quindi non ho più θ ignoto.

Vedo dal grafico che in un intervallo di sinistra ho una probabilità più elevata rispetto a destra: informazione pre-sperimentale + all’interno della mia statistica principio di verosimiglianza (tutto ciò che è sintetizzato nell’n-upla campionaria presa in considerazione dato che mi dà tutta l’informazione di cui ho bisogno).

Notazione simbolica: Θ).

Modello statistico (esperimento): (X, f(x; θ), θ ∈ Θ).

Esempio (fenomeno dicotomico)

Fenomeno dicotomico: ({0, 1}, f(x; θ) = θ^x(1 − θ)^1−x, θ ∈ [0, 1]), θ. Con 0 = insuccesso e 1 = successo.

Dopo aver fatto n prove indipendenti il modello indotto è: (X⁽ⁿ⁾, f(x; θ) = ∏_i=1ⁿ θ^x_i(1 − θ)^1−x_i, θ ∈ [0, 1]), θ.

Con X⁽ⁿ⁾ che corrisponde a tutte le n-uple in cui ciascun elemento si muove, cioè in un fenomeno dicotomico.

x, f(x; θ) = ∏_i=1ⁿ θ^x_i(1−θ)^1−x_i; corrisponde alla funzione di verosimiglianza L(θ).

Esempio (Savage ’62)

Il campione è x = (1, 1, 1) con n = 10, quindi la stima di massima verosimiglianza è la media campionaria θ̂ = P x_i / n = 10 / 10 = 1; è molto verosimile pensare che il parametro ignoto sia θ = 1.

Savage dice che prima dell’esperimento ognuno ha una propria idea su quello che può essere il valore di θ prima di fare l’esperimento, devi avere in testa dei valori plausibili; ognuno avrà la propria idea in base all’esperienza pregressa. Se non so, avrò una funzione con area al di sotto sempre uguale.

Per aggiungere l’informazione pre-sperimentale al modello passo dalla funzione di verosimiglianza alla legge condizionata f(x|θ).

La legge della variabile θ è detta legge a priori π(θ), dalla quale si può ricavare la legge di distribuzione congiunta: Ψ(x, θ) = f(x|θ)π(θ).

f(x|θ) è la legge condizionata al valore di θ manifestata nel momento in cui ho fatto l’esperimento. π(θ) invece è la prior → legge di distribuzione marginale.

Per calcolare la posterior uso la congiunta:

Ψ(x, θ) = f(x|θ)π(θ) = c · f(x|θ)π(θ) = π(θ|x) = f(x|θ)π(θ) / m(x) = f(x|θ)π(θ) / ∫_R f(x|θ)π(θ) dθ.

Dove c = 1 / m(x) è la costante di normalizzazione (reciproco della marginale di x) mentre il resto del prodotto f(x|θ)π(θ) è il nucleo della posterior.

Teorema di Bayes: f(x|θ)π(θ) / ∫_R f(x|θ)π(θ) dθ.

Esempio (Gamma)

X ∼ Gamma(α, β) con α, β > 0 e x > 0.

f(x; α, β) = β^α / Γ(α) · x^α−1 exp(−βx).

Γ(α) è la costante di normalizzazione che non dipende dalla parte a sinistra β^α / Γ(α) e permette all’integrale della densità di essere pari a 1, la parte a destra x^α−1 exp(−βx) è il nucleo della legge di distribuzione.

Esempio (Bernoulli)

Data la variabile X ∼ Bernoulli(θ) vengono fatte 3 (n = 3) prove e il campione ottenuto è x = (0, 0, 1). La prior π(θ) = 1.

Modello statistico indotto: ({0, 1}⁽³⁾, (1 − θ)²θ, θ ∈ [0, 1]).

π(θ|x) = f(x|θ)π(θ) / m(x) = θ(1 − θ)² · 1 / ∫₀¹ θ(1 − θ)² · 1 dθ → nucleo / costante di normalizzazione.

1.1 Variabile casuale Beta

X ∼ Beta(α, β) ha supporto [0, 1] o (0, 1) mentre α, β > 0.

f(x; α, β) = 1 / B(α, β) · x^α−1(1−x)^β−1.

Il nucleo integra a 1 solo con α = 1 e β = 1 che sarebbe uniforme continua.

B(α, β) = Γ(α)Γ(β) / Γ(α + β) = ∫₀¹ x^α−1(1−x)^β−1 dx.

E[X] = α / (α+β).

Moda[X] = (α−1) / (α+β−2) solo se α, β > 1 (altrimenti non c’è moda poiché sarebbe uniforme).

Var[X] = αβ / ((α+β)²(α+β+1)).

2 Modelli

2.1 Modello Binomiale-Beta

Considerando n prove indipendenti con fenomeno dicotomico: X ∼ Bernoulli(θ), 0, 1 → {insuccesso, successo}.

Otteniamo una campionaria, una serie di 0, 1.

Se X ∼ Beta(α, β), allora è continua sul supporto {0, 1} con:

f(x; α, β) = x^α−1(1−x)^β−1 / B(α, β), dove x^α−1(1−x)^β−1 → nucleo e B(α, β) → costante di normalizzazione che integra a 1, cioè ∫ = 1.

Considerando quindi come prior π(θ;) di tipo Beta(α, β) tale che:

π(θ) = θ^α−1(1−θ)^β−1 / B(α, β), con 0 < θ < 1 e α, β > 0.

La fase di scelta della prior si chiama elicitazione. I parametri che compongono la prior vengono definiti iperparametri e compaiono nella legge di distribuzione di θ.

Invece la posterior è:

• Caso continuo: π(θ|x) = f(x|θ)π(θ) / m(x) = f(x|θ)π(θ) / ∫_Θ f(x|θ)π(θ) dθ.
• Caso discreto: π(θ|x) = f(x|θ)π(θ) / m(x) = f(x|θ)π(θ) / ∑_Θ f(x|θ)π(θ) dθ.

Ricordo che m(x) corrisponde alla marginale di x → distribuzione predittiva iniziale.

La funzione di verosimiglianza partendo da n prove indipendenti di una Bernoulli θ^x_i(1−θ)^n−x_i, deve quindi essere moltiplicata per la prior di una Beta θ^α−1(1−θ)^β−1 / B(α,β) in modo tale da ottenere:

π(θ|x) = ∏ θ^x_i(1−θ)^n−x_i · θ^α−1(1−θ)^β−1 / B(α,β) / ∫₀¹ θ^{∑x_i+α−1}(1−θ)^{n−∑x_i+β−1} / B(α,β) dθ.

Il supporto Θ ∈ {0, 1} utilizza l’integrale nel caso continuo e la sommatoria nel caso discreto.

Dalla formula della posterior è possibile semplificare sempre la costante B(α, β).

Possiamo distinguere il nucleo dalla costante di normalizzazione:

θ^{∑x_i+α−1}(1−θ)^{n−∑x_i+β−1} → nucleo.

∫₀¹ θ^{∑x_i+α−1}(1−θ)^{n−∑x_i+β−1} dθ → costante di normalizzazione.

Il nucleo comprende i fattori della posterior che contengono θ. La costante di normalizzazione considera tutti gli elementi che non contengono θ poiché integrando per θ ottengo la marginale di x.

N.B. Se riconosco il nucleo come variabile nota, la mia soluzione è il numeratore. Se non riconosco la distribuzione, passerò per via computazionale.

Dal nucleo osservo che nella funzione di densità avevo x, ora ho θ che eleva ad un numero. Gli iperparametri α e β della distribuzione Beta li ricavo nel seguente modo:

• Per α prendo l’esponente di θ e lo sommo a +1: ∑x_i + α−1 + 1 = ∑x_i + α.
• Per β prendo l’esponente di (1−θ) e lo sommo a +1: n−∑x_i + β−1 + 1 = n−∑x_i + β.

π(θ|x) = Beta(∑x_i + α, n−∑x_i + β).

Considerazione sul denominatore:

∫₀¹ θ^{∑x_i+α−1}(1−θ)^{n−∑x_i+β−1} dθ = B(∑x_i + α, n−∑x_i + β).

Quindi la posterior:

π(θ|x) = θ^{∑x_i+α−1}(1−θ)^{n−∑x_i+β−1} / B(∑x_i + α, n−∑x_i + β).

È la funzione di densità di una Beta con parametri α e β rispettivamente pari a ∑x_i + α e n−∑x_i + β.

Una via più "breve":

π(θ|x) = f(x|θ)π(θ) / m(x) ∝ f(x|θ)π(θ).

Posso quindi trascurare le costanti moltiplicative! 1 / m(x) significa "proporzionale a" e si utilizza quando si riesce a riconoscere il nucleo di una variabile casuale nota. Posso concludere che la distribuzione a posteriori coincide con la legge di questa variabile casuale nota.

Esempio (sottoscrizioni polizze giornaliere)

Voglio fare inferenza sul numero medio di polizze, cioè su θ.

X ∼ Poisson(θ) con θ ignoto che corrisponde al numero medio di polizze, valore atteso della variabile aleatoria.

Considero 10 giorni, quindi una numerosità n = 10. Non è necessario sapere che x = (3, 10, 7, 4, ...), ma è importante sapere che ∑_i=1¹⁰ x_i = 30.

La stima di massima verosimiglianza di θ: θ̂ = ∑x_i / n = 30 / 10 = 3 (corrisponde alla media campionaria).

Il modello indotto (terna di oggetti) è: (N, Θ = R⁺, ∏_i=1ⁿ θ^x_ie^−nθ / x_i!).

Elicitazione prior: sappiamo a priori che la prior è una Gamma(4, 1) tale che π(θ) = Γ(4, 1).

E(θ) = α / β = 4 / 1 = 4.

VAR(θ) = α / β² = 4 / 1² = 4.

MODA(θ) = (α−1) / β = 3 / 1 = 3, con α > 1.

Generalizzando a n elementi, ci riconduciamo ad un modello Poisson-Gamma.

2.2 Modello Poisson-Gamma

π(θ|x) = f(x|θ)π(θ) / m(x) = [θ^∑x_i · e^−nθ / ∏_i=1ⁿx_i!] · [β^α / Γ(α) · θ^α−1e^−βθ] / ∫₀^∞ [θ^∑x_i · e^−nθ / ∏_i=1ⁿx_i!] · [β^α / Γ(α) · θ^α−1e^−βθ] dθ.

Raccolgo ciò che può essere raccolto nella posterior per poi eliminare tutto! Γ(α), ∏_i=1ⁿx_i! e β^α: ciò che non dipende da θ.

θ^{∑x_i+α−1} · e^{−nθ−βθ} · β^α / [∏_i=1ⁿx_i! · Γ(α)] → θ^{∑x_i+α−1}e^{−nθ−βθ} / ∫₀^∞ θ^{∑x_i+α−1}e^{−nθ−βθ} dθ.

Da cui ricavo Γ(∑x_i + α, n + β) poiché ho una distribuzione nota.

Considerando i risultati ottenuti dall’esempio delle sottoscrizioni polizze giornaliere, ottengo una Γ(34, 11) poiché ∑x_i = 30, α = 4, n = 10 e β = 1.

E(π(θ|x)) = 34 / 11 = 3,091. Il numero medio di polizze giornaliere si è abbassato da 4 a 3,091.

VAR(π(θ|x)) = 34 / 11² = 0,281 da cui osserviamo che più il valore della varianza è piccolo e più siamo vicini al valore, quindi ho più fiducia.

MODA(π(θ|x)) = 33 / 11 = 3, lo stesso valore della prior Γ(4, 1).

Conclusione: la Γ(34, 11) risulta essere più precisa di una Γ(4, 1) dato che è concentrata sui valori centrali della distribuzione.

Si può osservare inoltre che a parità tra 2 Gamma, più β è grande e più si ha maggior precisione e scarsa dispersione.

Considerazione:

Inferenza classica: θ̂ = x̄ = 3.

Prior: E(θ) = α / β.

Posterior: E(θ|x) = [∑x_i + α] / [n + β] = [n · x̄ + β · E(θ)] / [n + β] = θ̂ · n / [n + β] + E(θ) · β / [n + β] n