Analisi dei dati sperimentali e statistica - teoria

Statistica descrittiva

Insieme e successione

Insieme = collezione di oggetti, detti elementi, definiti. Da un insieme supporto si costruiscono delle successioni.

Successione = una funzione che a ogni numero naturale i, chiamato indice della successione, fa corrispondere un elemento dell’insieme supporto di partenza. Può contenere elementi uguali e l’ordine è significativo.

Andamento e variazione

Andamento = variazione dei valori della successione al variare dell’indice.

Variazione = funzioni di secondo ordine, che se applicate a successioni generano altre successioni.

• Variazione assoluta: dati due elementi, è lo scarto del secondo dal primo.
• Variazione relativa: dati due elementi, è lo scarto del secondo dal primo rispetto al primo, trattato dunque come riferimento.
• Variazione percentuale: dati due elementi, è la variazione relativa per 100.

Popolazione e campione statistico

Popolazione statistica = insieme degli elementi a cui si riferisce l’indagine statistica. È una successione completa.

Unità statistica = ogni elemento della popolazione statistica, la minima unità della quale si raccolgono i dati.

Campione statistico (sample) = una qualsiasi successione di unità statistiche prese da tutta la popolazione. È utilizzabile solo se è sufficientemente significativo.

• Campionamento: azione di raccogliere dati che ci porta ad avere un campione a partire da una popolazione.

Distribuzione

Distribuzione = criterio di sintesi.

• Distribuzione a frequenze assolute: indica quante volte un certo numero n occorre nel campione preso.
• Distribuzione a frequenze relative: il rapporto tra la distribuzione a frequenze assolute e la cardinalità del campione.
• Distribuzione a frequenze assolute con categorie (intervalli uniformi): indica quante volte un numero n occorre nella categoria presa in considerazione.

NB: Un numero di categorie elevato porta a una distribuzione sparsa mentre categorie con cardinalità diversa portano a una distribuzione sbilanciata.

Distribuzione cumulata: se le categorie sono ordinate, si può costruire una distribuzione cumulata, in cui per ogni categoria si considera la frequenza degli elementi del campione presi fino a quella categoria.

Indici di posizione

L’informazione contenuta in una distribuzione può essere sintetizzata, in particolare mediante tre indici di posizione:

Moda

Moda = è la categoria a cui corrisponde la frequenza massima della distribuzione. Una distribuzione può avere più mode (multimodale). È definita anche se l’insieme non ha struttura algebrica, ovvero non sono stabilite relazioni empiricamente significative.

Caratteristiche:

• Utilizzata solamente a scopi descrittivi, perché è meno stabile e meno oggettiva delle altre misure di tendenza centrale.
• Per individuare la moda di una distribuzione si possono usare gli istogrammi.
• Può differire nella stessa serie di dati, quando si formano classi di distribuzione (intervalli) con ampiezza differente.
• Per individuare la moda entro una classe di frequenza, non conoscendo come i dati sono distribuiti, si ricorre all'ipotesi della ripartizione uniforme.

Mediana

Mediana = è la categoria centrale, che contiene il 50% della distribuzione, una volta che i valori n sono stati ordinati in ordine crescente. La mediana è il valore che occupa la posizione centrale in un insieme ordinato di dati. È una misura robusta, in quanto poco influenzata dalla presenza di dati anomali.

Caratteristiche:

• Si ricorre al suo uso quando si vuole attenuare l'effetto di valori estremi.
• In una distribuzione o serie di dati, ogni valore estratto a caso ha la stessa probabilità di essere inferiore o superiore alla mediana.

Partendo dalla mediana si possono definire:

• Quartili: il primo/secondo/terzo quartile sono le categorie a cui corrisponde il primo 25%/50%/75% della distribuzione (ne segue che la mediana coincide con il secondo quartile).
• Percentili: il primo/secondo/terzo/... percentile è la categoria a cui corrispondono il primo 1%/2%/3%/... della distribuzione (ne segue che la mediana coincide con il cinquantesimo percentile).

L’applicabilità di un indice ordinale dipende dunque non dai simboli con cui si identificano le categorie della distribuzione ma dalla presenza di una relazione empirica di ordine tra le categorie.

Media

La media di qualsiasi campione può essere molto diversa da quella dell’intera popolazione. Più è numeroso il campione, più la media del campione sarà vicina a quella della popolazione.

• Media campionaria (aritmetica): somma di tutti i valori delle variabili di un sottoinsieme della popolazione diviso il numero di unità di tale campione (n).

Es.: somma di tutti gli elementi di un campione / numero degli elementi del campione (cardinalità).

• Media della distribuzione (ponderata o pesata): si assegna a ogni variabile un peso; si sommano tutti i valori delle variabili, moltiplicate per il peso, e si divide il numero ottenuto per la somma dei pesi.

Es.: sommatoria dei prodotti delle categorie per le rispettive frequenze assolute o relative / il numero di elementi del campione (cardinalità), ovvero la somma delle frequenze assolute. Le categorie utilizzate sono arrotondamenti della media tra il minimo dell’intervallo e il massimo dell’intervallo preso.

La media è spesso calcolata sulla partizione più fine di A, in cui ogni categoria contiene un solo elemento (quindi in pratica su A stesso).

Se la distribuzione è simmetrica vale che mediana e media sono uguali e coincidono con la categoria centrale.

Se la distribuzione è asimmetrica: mentre per la definizione la mediana divide il campione su cui la distribuzione è costruita in due parti della stessa numerosità, può accadere che la gran parte degli elementi del campione sia sopra, o sotto, la media.

Moda, mediana e media forniscono informazione, progressivamente sempre più specifica, sul baricentro della distribuzione, ma non indicano quanto i valori della distribuzione stessa sono dispersi intorno a tale baricentro.

Indice di dispersione

Un indice di dispersione restituisce uno scalare con cui si valuta la diversità esistente tra le osservazioni.

Come statistica di dispersione si potrebbe pensare di utilizzare la media degli scarti, ovvero la sommatoria degli scarti/cardinalità.

Scarto = misura quanto ciascun dato x_i si discosta dal valore medio, ovvero s = x - M_x. La media degli scarti non è una buona idea perché scarti positivi e negativi si compensano, allora gli scarti della media si considerano in forma quadratica e li si normalizza dividendo per n-1, invece che per n.

Varianza campionaria

La varianza campionaria = sommatoria degli scarti quadratici / cardinalità -1.

La varianza campionaria ha però il problema che non è dimensionalmente omogenea ai valori del campione.

Deviazione standard campionaria

Deviazione standard campionaria = radice quadrata della varianza campionaria.

Caratteristiche:

• La varianza ha lo svantaggio di essere una grandezza quadratica e quindi non direttamente confrontabile con la media o con gli altri valori della distribuzione.
• Per trovare una misura espressa nella stessa unità di misura della variabile di partenza è sufficiente estrarre la radice quadrata della varianza.
• La deviazione standard è una misura di distanza dalla media e quindi ha sempre un valore positivo.
• È una misura della dispersione della variabile casuale intorno alla media.

L’importanza della deviazione standard è tale che la si usa spesso come unità di misura della dispersione intorno alla media, per esempio riportando i risultati di misurazioni nella formula M_x ± kS_x, per k positivo.

È rilevante l’informazione circa quanti elementi del campione stanno entro k, dove k>0, deviazioni standard dalla media, cioè quanti elementi sono contenuti nell’intervallo.

Disuguaglianza di Chebyshev

Dato un campione di n elementi con media M_x e deviazione standard S_x, sia S_k l’insieme degli elementi del campione che distano dalla media entro k deviazioni standard e sia #S_k la cardinalità dell’insieme S_k. La disuguaglianza indica che la frazione (#S_k/n) ha un valore minimo che dipende solo da k e in particolare: (#S_k/n) > 1-(1/k²).

La disuguaglianza si applica a ogni possibile campione, a prescindere dalla forma della distribuzione, la validità della disuguaglianza è dimostrata.

Campioni bivariati

Se si considerano due grandezze x e y che possono essere contemporaneamente valutate su un insieme. Si è interessati alla relazione tra le grandezze e come queste variano.

• Grafico di dispersione: si analizza come le due grandezze sono correlate.
• Tabella di Pivot: descrive la distribuzione congiunta delle grandezze rispetto alle categorie date. Ogni riga e ogni colonna della tabella sono distribuzioni condizionali, mentre i totali parziali per ogni riga e colonna sono distribuzioni marginali.

Covarianza

Covarianza = Indice che consente di verificare se fra due variabili statistiche esiste un legame lineare. È la sommatoria dei prodotti degli scarti / n-1.

La covarianza può essere:

• Positiva: quando X e Y variano tendenzialmente nella stessa direzione, cioè al crescere della X tende a crescere anche Y e al diminuire della X tende a diminuire anche Y.
• Negativa: quando le due variabili variano tendenzialmente in direzione opposta, cioè quando al crescere di una variabile l’altra variabile tende a diminuire (e viceversa).
• Nulla: quando non vi è alcuna tendenza delle due variabili a variare nella stessa direzione o in direzione opposta. Quando Cov(X,Y) = 0 si dice anche che X ed Y sono non correlate o linearmente indipendenti.

Coefficiente di correlazione campionaria (CCC)

CCC (Coefficiente di correlazione campionaria) = è un coefficiente adimensionale ottenuto dividendo la covarianza per il prodotto delle deviazioni standard campionarie.

Il CCC assume valori tra -1 e 1:

• -1: completa correlazione negativa (retta a pendenza negativa)
• 0: assenza di correlazione
• 1: completa correlazione positiva (retta a pendenza positiva)

NB: se i valori non coincidono perfettamente e due grandezze sono moderatamente correlate.

Analisi delle serie storiche (TSA)

Serie storica: successione che descrive gli istanti di tempo in cui sono acquisiti gli elementi della successione.

• Con la funzione CASUALE i valori successivi nel tempo variano troppo uno rispetto all’altro, quindi è bene usare CAMMINI CAUSALI (random walk): A_i = A_(i-1) + X_(i-1), dove X è casuale(). Δt
• Periodo di campionamento: gli intervalli con ampiezza costante. Il suo inverso è la FREQUENZA DI CAMPIONAMENTO.

Siccome si può stabilire come unità di tempo 1, la serie storica può essere descritta come un campione e una funzione. Può quindi essere rappresentata graficamente con un grafico a dispersione (poiché bivariato) o a linee (poiché è un campione).

L’analisi delle serie storiche consiste nell’individuazione di regolarità, infatti le serie sono costituite da regolarità a cui si aggiunge una componente casuale: il rumore.

Statistiche

Il limite principale all’uso delle statistiche campionarie per l’analisi di serie storiche è che l’informazione portata non dipende dall’ordine degli elementi della serie. Le statistiche utilizzate precedentemente non tenevano conto dell’ordine temporale degli elementi della serie, quindi si introducono le statistiche progressive e mobili.

Statistiche progressive

Progressive (Rⁿ → Rⁿ, ottengo un’altra SS): il calcolo delle statistiche viene effettuato progressivamente, cioè mentre la serie si forma nel tempo. La sua sensibilità si riduce, cioè al crescere di i essa tende a mantenersi costante (perché calcolata su un numero di elementi crescente). La media progressiva è una serie poiché la calcolo di giorno in giorno. La media progressiva converge in media campionaria (l’ultimo elemento della serie progressiva è proprio la media campionaria).

Anche la media campionaria può essere vista come una serie, ma sarebbe una costante, una retta, quindi non avrebbe senso.

Per i matematici la media progressiva è centrata (secondo elemento se la finestra fosse di tre), ma questo nella realtà non è possibile perché richiede di conoscere il futuro. La media progressiva allineata a sinistra, non ha senso perché la faccio sul passato. La media progressiva allineata a destra permette di decidere adesso per adesso, viene fatta sul presente, si tratta quindi di quella che viene usata nella realtà perché non richiede la conoscenza del futuro, ma non si basa sul passato, posso scegliere adesso per adesso.

Statistiche mobili

Mobili (Rⁿ → R^m, dove m è la finestra): la statistica è calcolata su un sotto-campione di valori temporalmente vicini della serie storica di partenza. Si utilizza sempre lo stesso numero di elementi per calcolare la statistica così da avere una finestra di osservazione di ampiezza costante: più è grande più essa perde sensibilità, quindi è meno precisa. Essa viene costruita durante e non perde sensibilità nel tempo (perché divido sempre per lo stesso valore). La statistica mobile segue la serie storica con variazioni minori (è attenuata) per cui toglie le piccole variazioni, lisciando la serie.

La media mobile può essere centrata, allineata a destra, allineata a sinistra.