Appunti Statistica

Inferenza bayesiana congiunta

L’inferenza statistica, sia frequentista che bayesiana, si basa sul modello del campionamento ripetuto, dove si assume di avere un campione casuale estratto da una popolazione. L’obiettivo è trarre conclusioni sui parametri della popolazione basandosi sui dati osservati.

L’approccio bayesiano introduce un elemento aggiuntivo rispetto a quello frequentista: l’incertezza sui parametri, rappresentata da una distribuzione a priori p().

Il modello bayesiano combina la distribuzione delle osservazioni con la distribuzione a priori dei parametri.

Questo teorema fornisce le condizioni sotto le quali una statistica sufficiente t(z) può riassumere tutta l’informazione sui parametri contenuta nel campione. La statistica sufficiente rende indipendente la distribuzione delle osservazioni del parametro condizionatamente a t(z).

Principali modelli statistici

Tra i principali modelli statistici specifici abbiamo:

• Modello binomiale: La likelihood binomiale è proporzionale a , e (1 − ) la distribuzione a priori scelta è tipicamente una distribuzione Beta. La distribuzione a posteriori risulta ancora una Beta, grazie alla coniugazione.
• Modello esponenziale: Con una likelihood esponenziale e una distribuzione a priori Gamma, si ottiene una distribuzione a posteriori Gamma.
• Modello uniforme: Utilizzando una distribuzione a priori Pareto, la distribuzione a posteriori resta una Pareto.

La scambiabilità è una forma di dipendenza fra le variabili aleatorie che emerge quando si considera l’incertezza sui parametri. Viene discusso come le variabili aleatorie che sono iid sotto un modello frequentista possano diventare scambiabili in un contesto bayesiano.

Le distribuzioni predittive servono a valutare l’incertezza circa una futura osservazione, date le osservazioni passate (es. nel caso binomiale, la probabilità predittiva si calcola integrando rispetto alla distribuzione a posteriori del parametro).

La marginal likelihood è la probabilità congiunta delle osservazioni, marginalizzata rispetto ai parametri. È fondamentale per la scelta tra modelli differenti e costituisce il denominatore nella formula di Bayes.

Modello lineare

L’obiettivo principale è fare inferenza sui parametri di una variabile aleatoria, condizionando le stime al valore di altre variabili osservabili.

L’inferenza viene fatta considerando la variabile di interesse e altre variabili che influenzano il fenomeno studiato.

Il modello lineare deterministico assume una relazione esatta tra la variabile di risposta Y e i regressori espressa come , , … , = +! " #. Questo modello non considera errori o incertezze + ⋯ + ! ! # # sulle misure.

Per rendere il modello più realistico, si aggiunge un termine di errore alla relazione lineare, che rappresenta le perturbazioni non spiegate dal modello. Utilizzando il metodo dei minimi quadrati, si stimano i parametri e minimizzando la somma degli errori al quadrato. ,

Per determinare la distribuzione degli stimatori, si assume che segua $" una distribuzione normale con media zero e varianza costante . La varianza degli stimatori viene calcolata sulla base delle osservazioni disponibili.

Si effettuano test d’ipotesi per verificare l’esistenza e il segno dell’associazione tra le variabili indipendenti e la variabile dipendente. Vengono determinati intervalli di confidenza per i parametri stimati, utilizzando le distribuzioni note degli stimatori.

Il modello lineare può essere esteso includendo termini polinomiali per catturare relazioni non lineari tra variabili. Viene trattata la regressione lineare con più variabili indipendenti, con un focus sulla determinazione e interpretazione dei parametri mediante il metodo dei minimi quadrati.

L’adeguatezza del modello viene verificata tramite l’analisi dei residui, che devono seguire una distribuzione normale standard se il modello è corretto. Vengono utilizzati i residui standardizzati per identificare eventuali problemi nel modello.

Linearizzazione: In alcuni casi, una trasformazione delle variabili permette di applicare modelli lineari anche a relazioni non lineari.

Regressione polinomiale: Dettagli sulla costruzione e interpretazione di modelli polinomiali per l'analisi di dati più complessi.

Gli intervalli di predizione sono dei particolari intervalli in cui si calcolano nuove osservazioni, tenendo conto sia dell’incertezza dovuta ai parametri stimati che dell’errore aleatorio.

Il coefficiente di determinazione R^2 misura la proporzione di variabilità spiegata dal modello, mentre il coefficiente di correlazione r misura l’associazione tra le variabili.

Probabilità

Nel campo della probabilità sono fondamentali i concetti di:

• Probabilità: misura dell’incertezza associata a eventi futuri o non conosciuti.
• Evento: possibile esito di un esperimento aleatorio. Gli eventi possono essere:
  • Certi: che include tutti i possibili risultati.
  • Impossibili: non ne include nessuno.
  • Elementari: non ulteriormente scomponibile (es. lancio di un dado: esce un 2).
  • Complessi: insieme di eventi elementari (es. lancio di un dado: esce un numero pari).
  • Dipendenti: due eventi si dicono dipendenti se la probabilità di uno cambia a seconda che l’altro si verifichi.
  • Indipendenti: due eventi si dicono indipendenti se la probabilità di un evento non è influenzata dall’altro, sono indipendenti e la probabilità congiunta è il prodotto delle singole probabilità.
• Spazio campionario: insieme di tutti i possibili risultati di un esperimento.

Le principali operazioni che si possono fare sugli eventi sono:

• Unione: si verifica se almeno uno degli eventi accade.
• Intersezione: si verifica se almeno uno dei due eventi accade.
• Negazione: si verifica se l’evento non accade.

I fondamenti matematici della probabilità sono forniti dagli assiomi di Kolmogorov; tali assiomi affermano che:

• La probabilità di un evento è sempre un numero compreso fra 0 e 1.
• La probabilità dell’evento certo è 1, e quella dell’evento impossibile è 0.
• La probabilità dell’unione di eventi mutualmente esclusivi è la