Statistica e analisi del segnale - Chimica analitica

Statistica

Al giorno d'oggi non si può pensare di produrre dati in un laboratorio senza trattarli con opportuni metodi statistici. In laboratorio spesso si utilizzano tecniche strumentali rapide ed efficienti che sono in grado di fornire molti dati in tempi ristretti. Avere molti dati a disposizione non vuol dire avere informazione, ma il dato deve essere convertito in informazione e i metodi statistici servono proprio per convertire il dato grezzo in informazione utile.

La statistica come disciplina

La statistica è una branca della matematica. Ha come fine lo studio quantitativo e qualitativo di un particolare fenomeno in condizioni di incertezza o non determinismo, ovvero di non completa conoscenza di esso o parte di esso. È uno strumento del metodo scientifico, si avvale della matematica e del metodo sperimentale per studiare i modi in cui un fenomeno può essere sintetizzato e compreso. Ciò avviene attraverso la raccolta e l'analisi delle informazioni relative al fenomeno studiato.

Tutti i dati che produciamo in laboratorio sono affetti da incertezza. Per questo la statistica ci permette di studiare un fenomeno in condizioni di incertezza. Si parte da dati sperimentali raccolti in laboratorio e attraverso l’analisi si riesce ad arrivare a un'informazione.

I metodi statistici forniscono sempre un risultato numerico, ma sta a noi interpretarlo correttamente e trarre l’informazione corretta e utile ai fini del problema chimico-analitico che stiamo studiando. Per applicare correttamente la statistica in un determinato settore, bisogna essere esperti di quel settore.

Chemiometria

La statistica applicata alla chimica analitica viene chiamata chemiometria. La chemiometria studia l'applicazione dei metodi statistici ai dati chimico-analitici.

Esperimento random

Il dato deve essere ottenuto da un esperimento random, cioè un esperimento che, se viene ripetuto più volte mantenendolo il più possibile omogeneo, non fornisce mai lo stesso identico risultato. I risultati variano in maniera random, cioè in maniera casuale. La variabilità del risultato è dovuta a fattori che non si possono controllare. Con i metodi statistici siamo in grado di studiare gli esperimenti random e come cambia un risultato quando volutamente faccio variare un determinato fattore. Entrambi questi esperimenti implicano il fatto di poter ripetere l’esperimento. L’esperimento deve essere ripetibile. La statistica che studieremo si può applicare solo nel caso in cui gli esperimenti possono essere ripetuti.

Un esperimento random può essere ripetuto un numero di volte che tende all'infinito. L'insieme delle infinite ripetizioni costituisce la popolazione statistica. Nella pratica si fa un numero finito e limitato di ripetizioni che viene definito il campione statistico. Il campione statistico non va confuso con il campione chimico (entità su cui eseguo l'esperimento). Il campione statistico è un sottoinsieme della popolazione, è un qualcosa di finito. Il campione statistico deve essere rappresentativo della popolazione. Tutti i fattori di variabilità della popolazione devono essere tenuti in considerazione quando si fa il campionamento per ottenere un campione rappresentativo. Gli sperimentatori ottengono informazioni operando su un campione statistico che è costituito di un certo numero di oggetti.

Bisogna conoscere i fattori che fanno variare la popolazione. Questi fattori devono essere fatti variare nel campione in maniera proporzionale a come variano nella popolazione. Possono esserci delle situazioni in cui c'è un solo fattore di variabilità (determinazione della concentrazione di una base debole mediante titolazione con un acido forte → la variabilità dipende solo dall’apprezzamento del viraggio). In questo caso 5 ripetizioni sono sufficienti per rappresentare la variabilità della popolazione e quindi per valutare l’incertezza del risultato.

Esistono casi più complessi in cui bisogna tenere conto di molti più fattori di variabilità (studio della composizione chimica di un olio d'oliva DOP → viene fatto da molti produttori differenti e cambia durante le annate). Il sistema è molto più complesso, bisogna tenere conto di molti fattori come posizione geografica, terreni differenti, diversa altitudine dal livello del mare, diverse varietà di oliva, diversi metodi di coltivazione, di raccolta, di conservazione, di frangitura ecc. Ci sono tantissimi fattori che fanno variare il prodotto. Non posso analizzare l'intera popolazione ma devo scegliere un campione e non posso accontentarmi di 5 unità. Mi serviranno molte più unità. 100 unità possono bastare per rappresentare la variabilità solo se si utilizza un efficiente disegno di campionamento (progettazione del campionamento).

N indica il numero delle ripetizioni o unità che costituiscono il campione statistico. n indica il numero di volte in cui si è verificato un dato evento con indice i, indica la frequenza assoluta in cui si è verificato un risultato caratterizzato dall’indice i. La frequenza assoluta spesso viene trasformata in frequenza relativa, è il rapporto tra la frequenza assoluta e il numero totale di ripetizioni (f_i = n_i / N). La frequenza relativa spesso è espressa in percentuale. È un numero che varia tra 0 e 1. Le frequenze relative sommate devono dare 1 o 100%.

Esperimenti random

Spesso un esperimento random è costituito da due parti:

• Parte sperimentale: sequenza di operazioni che eseguo in laboratorio per eseguire l’esperimento stesso. Viene codificata in un protocollo in modo che sia leggibile ed interpretabile da chiunque.
• Parte concettuale: è relativa all’interpretazione dei risultati.

La possibilità di estrarre informazioni utili dal mio esperimento deriva sia dalla parte sperimentale che da quella concettuale. Gli esperimenti random possono essere univariati, bivariati o multivariati in base alle variabili che vengono considerate simultaneamente nell’interpretazione dei risultati.

I fenomeni random obbediscono a una legge che prevede una tendenza alla regolarità quando aumento il numero di osservazioni (quando aumento N). Gli esperimenti random sono caratterizzati da una irregolarità casuale per la quale, se faccio poche ripetizioni, non mi permette di fare una previsione del fenomeno ma se aumento la numerosità del campione statistico riesco ad osservare qualcosa che è meno incerto. Quando aumento il N, il valore di frequenza relativa tende ad un determinato valore limite (per il lancio della moneta sarà 0.5 cioè 50% → probabilità a priori). La frequenza che misuro sperimentalmente sul mio campione statistico, tende al valore limite della probabilità quando il numero di osservazioni diventa molto grande (tende ad infinito). Se eseguo questo esperimento più volte, all'inizio avrò situazioni differenti (oscillazioni molto ampie e diverse tra i vari esperimenti) ma quando aumento N le oscillazioni diminuiscono e tutti gli esperimenti convergono al valore limite.

La probabilità di un risultato è il limite della frequenza di un determinato evento per un numero di ripetizioni che tende ad infinito:

p_i = lim f_i con N → ∞

Quando il mio campione statistico tende all'infinito vuol dire che sto tendendo alla popolazione. Se il campione tende alla popolazione, la frequenza tende alla probabilità.

La frequenza attesa di un evento è quante volte mi aspetto di ottenere un determinato risultato se effettuo un numero predeterminato di esperimenti. In questo caso devo conoscere la probabilità dell’evento che voglio studiare:

frequenza attesa = p * N

Nel caso del lancio della moneta la probabilità è di 0,5 per un evento testa. Se lancio 30 volte la moneta farò 0.5 * 30 = 15 quindi attendo di avere 15 volte testa. Non è detto che ottengo questo risultato, questa non è la frequenza sperimentale.

Esempi di esperimenti: lancio di un dado

Il primo esperimento E1 è un esperimento base che consiste nel lancio di un dado. Il risultato sarà R1 cioè il numero sulla faccia superiore del dado. Gli esperimenti E2 ed E3 risultano da combinazioni dell’esperimento E1. Nell’esperimento E2 lancio due volte il dado e il risultato che ottengo è dato dalla sequenza dei due risultati R1. I due lanci sono due eventi indipendenti perché il risultato del secondo dado non è influenzato dal risultato del lancio del primo dado. L’esperimento E3 consiste nel lancio di due dadi ma il risultato è dato dalla somma dei due risultati. In questo caso non si va a vedere la sequenza. I nostri esperimenti in questo caso si considerano in maniera univariata (nel caso E2 abbiamo un’analisi bivariata).

Per l’esperimento E2 vedo che il primo dado ha 6 possibili risultati e per ciascuno dei risultati, il secondo dado può avere 6 possibili valori. Tutte le possibili combinazioni sono 6*6 = 36 dato che considero anche la sequenza. Abbiamo 36 possibili risultati e questo vuol dire che la probabilità totale è equamente suddivisa fra 36 possibili valori. Ogni valore ha probabilità di 1/36.

Per l’esperimento E1 avremo 6 possibili risultati quindi ogni valore avrà la probabilità di 1/6. C’è una relazione tra la probabilità di 1/6 e la probabilità di 1/36. I risultati di tipo R2 derivano dai risultati R1 e quindi c’è una relazione (1/6*1/6 = 1/36). Questo si può vedere anche con le probabilità. I due eventi che costituiscono l’esperimento globale E2 sono due risultati R1 quindi il risultato R2 è il prodotto di due eventi R1 che ciascuno ha probabilità 1/6. Questi eventi sono di tipo and cioè deve avvenire uno e l’altro (per la sequenza 2 3 deve avvenire l’evento 2 e l’evento 3 in questa sequenza).

La probabilità di un evento composto è data dal prodotto delle probabilità degli eventi singoli. In questo caso gli eventi sono indipendenti:

R_2i = R_1j * R_1k = p_A * p_B

Per l’esperimento E3 il risultato è dato dalla somma dei risultati R1. In questo caso avremo un risultato con probabilità che deriva dalla somma delle probabilità di tutte le combinazioni dei valori che danno la stessa somma. La probabilità totale si ottiene come somma delle probabilità degli eventi singoli. Questo è un evento di tipo or (per ottenere 3 mi va bene sia la combinazione 1-2, sia la combinazione 2-1). In questo caso gli eventi sono esclusivi (quando se ne verifica uno non può verificarsi l’altro):

p = p_A + p_B

Se lancio un solo dado abbiamo 6 possibili risultati ciascuno dei quali è equi probabile. Ogni risultato ha probabilità di 1/6. Ogni evento ha la stessa probabilità, si ottiene una distribuzione rettangolare in cui tutti i contributi hanno la stessa altezza. Per due dadi posso ottenere 11 risultati (da 2 a 12). Otteniamo una distribuzione triangolare. Per 3 dadi abbiamo 16 risultati possibili e la probabilità massima è inferiore rispetto a quella che si raggiunge con due dadi (la probabilità totale è stata ripartita tra un numero maggiore di eventi). Per 4 dadi si abbassa ancora di più la probabilità nel punto massimo e otteniamo una distribuzione a sezione di campana che diventa sempre più pronunciata con l’aumentare del numero dei dadi.

Aumentando il numero di dadi aumenta il numero di eventi possibili quindi i tratteggi dei vari eventi diventano sempre più compatti e meno visibili. Si forma un’area continua. La probabilità totale viene suddivisa tra un numero maggiore di eventi ma non in modo equo. Il massimo è intorno al centro e si ha una disposizione simmetrica che porta alla formazione della curva. La distribuzione evolve fino a formare la distribuzione a sezione di campana che viene definita distribuzione normale.

Da questa simulazione fatta con i dadi deriva un teorema fondamentale per la statistica che viene definito teorema del limite centrale. Indipendentemente dalle caratteristiche e dalla forma della distribuzione di probabilità relativa ad un esperimento elementare, se vado ad osservare la distribuzione di probabilità di un esperimento che è una combinazione di un numero M di esperimenti elementari, la distribuzione di probabilità dell’evento somma tende a diventare una distribuzione normale all’aumentare di M.

Elementi di statistica descrittiva

La statistica descrittiva descrive dei fenomeni sperimentali quindi risultati di numerazioni per estrarne informazione. Esistono degli strumenti grafici che ci consentono di estrarre un primo livello di informazione.

Posso ordinare i risultati in ordine crescente, in questo modo, guardando il valore minimo e il valore massimo ottengo il range cioè l’intervallo di variabilità delle numerazioni. Posso suddividere il range in intervalli di classe. Dopodiché conto i dati in ogni intervallo e ottengo la frequenza assoluta di classe. Dalla frequenza assoluta posso ricavare la frequenza relativa che si ottiene dividendo la frequenza assoluta per il numero totale di campioni. Posso dividere la frequenza relativa per l’ampiezza dell’intervallo (valore massimo dell’intervallo – valore minimo dell’intervallo).

Questi dati ottenuti servono per formare un istogramma delle sequenze. In ascissa metto la variabile misurata e in ordinata metto la frequenza. Questo grafico ci dà informazioni sulla distribuzione della variabile misurata tra le mie osservazioni. Avrà un andamento simile ad una distribuzione normale.

Se ho tanti dati posso aumentare il numero di intervalli di classe, potrei farlo tendere ad infinito se i dati tendono all’infinito. Gli istogrammi son caratterizzati da bande. La base della banda ha come dimensione h = x₂ - x₁ dove x₂ è l’estremo massimo e x₁ è l’estremo minimo dell’intervallo. L’altezza sarà data da f/h. L’area del rettangolo, che è base per altezza, sarà quindi l’area è proporzionale alla frequenza. Quando la base tende ad essere molto piccola viene indicata con dx. Quando N tende ad infinito passiamo da una frequenza ad una probabilità perché passiamo dal campione alla popolazione. Passiamo da stimare una frequenza a stimare una probabilità. Quando facciamo questo il rapporto f/h diventa dp/dx. Questa grandezza è un rapporto incrementale ed è definito densità di probabilità. Questo rapporto è una funzione di x e x è la nostra variabile random che abbiamo misurato. È una funzione che definiamo distribuzione di probabilità. Vi sono infinite distribuzioni di probabilità ma per le variabili che si misurano in laboratorio vale il teorema del limite centrale e quindi per una data variabile x, la distribuzione di probabilità segue un andamento normale a sezione di campana che viene descritto da questa equazione:

f(x) = (1 / (√(2π)σ)) * exp(-((x - μ)² / (2σ²)))

dove:

• μ = media della distribuzione
• σ = deviazione standard
• σ² = varianza

μ e σ possono variare assumendo infiniti valori quindi questa equazione può assumere infiniti valori e quindi infinite possibili curve. Queste curve hanno tutte la forma della campana ma si differenziano per la posizione del massimo che è dato dal parametro μ (viene anche chiamato parametro posizione o di locazione) e dalla forma che dipende dal parametro σ (parametro di forma). Questa funzione è l’equazione della distribuzione di probabilità normale o gaussiana (in realtà è stata scoperta da De Moivre, Gauss ne ha promosso l’utilizzo).

La distribuzione di probabilità è continua perché il numero di osservazioni è infinito. Sull’asse delle x ho la mia variabile misurata con infiniti valori possibili. Sull’asse delle y abbiamo la funzione f(x) che corrisponde alla densità di probabilità dp/dx. Sull’asse delle y ho la densità di probabilità e non la probabilità. La probabilità è data dall’area sottesa dalla curva fra due estremi di integrazione. Se integro tra – infinito e + infinito ottengo tutta l’aria e avremo la probabilità totale (vale 1 o 100%). Se seleziono due estremi definiti a e b, trovo l’area sottesa dalla curva tra questi due estremi. Un’area sottesa ad una curva tra due estremi di integrazione si ottiene calcolando l’integrale definito tra i due estremi a e b della funzione f(x)dx:

∫_a^b f(x)dx = ∫_a^b dp = p

f(x) è uguale al rapporto dp/dx quindi si fa la sostituzione. Dx si semplifica e resta l’integrale di dp. La probabilità non è la grandezza posta sulle ordinate ma è l’aria sottesa dalla curva tra due estremi. Sulle ordinate abbiamo la distruzione di probabilità.

Distribuzione cumulata

Dalla distribuzione di probabilità si può ottenere la distribuzione cumulata. Si ottiene attraverso una funzione integrale cioè una funzione in cui integro una funzione di partenza f(x) rispetto alla variabile x. Nella funzione integrale ho la x ad uno dei due estremi di integrazione. L’integrale va da – infinito a x dove x può variare tra – infinito e + infinito:

F(x) = ∫_-∞^x f(x) dx

Quando x vale – infinito non copro nessuna area sottesa alla curva. Quando la x diventa un valore apprezzabile andrò a coprire una certa area. Quando x sarà + infinito coprirò l’intera area sottesa dalla curva.