Prima parte del programma di Piano degli esperimenti: metodi di campionamento

Piano degli esperimenti

Capitolo 1: campionamento casuale semplice

Definizioni di campionamento

Le variabili possono essere statistiche o aleatorie (casuali). Una variabile casuale può essere rappresentata da un modello matematico o statistico. Lo stimatore è una variabile casuale con una propria distribuzione (una sua media e una sua varianza). Il campionamento casuale inferente su una variabile casuale prevede di estrarre da una popolazione una ennupla, cioè un campione, al fine di stimare dei parametri ignoti (fare inferenza). Il campionamento casuale semplice da popolazione finita, invece, prevede di estrarre un sottoinsieme di unità.

Campionamento e censimento

Il censimento consiste nella rilevazione dei dati su tutta la popolazione, in questo modo si ottiene la fotografia esatta di tutta la popolazione, ma questo richiede molto tempo e risorse ed è un procedimento molto costoso. Occorre campionare. Il campionamento consiste nell’estrazione di una parte della popolazione su cui si rilevano i dati fotografia di parti della popolazione. La probabilità di errore nel campionamento è maggiore della probabilità d’errore nel censimento, perché agli errori materiali (sempre presenti) si aggiunge l’errore di campionamento, derivante dal fatto che alcuni dati vengono trascurati. L’errore campionario è la misura di scarto tra tutte le possibili stime e il valore ignoto da stimare (Bias).

Tipi di popolazione

• Popolazione d’inferenza: popolazione di partenza da cui si estrae il campione
• Popolazione target: sottogruppo della popolazione target, formata dalle unità statistiche che d’interesse per l’analisi, in quanto oggetto dell’indagine
• Frame population: lista da cui campionare, popolazione base per il campionamento
• Survey population: popolazione effettivamente indagata, estratta dalla frame population, campione analizzato.

Tipi di campionamento

Campionamento probabilistico: campionamento casuale, il meccanismo di selezione delle unità statistiche è casuale. È possibile calcolare la probabilità di estrazione di ogni campione e di ogni unità statistica.

Campionamento non probabilistico: è una tipologia di campionamento in cui il ricercatore sceglie le unità statistiche da studiare in base a caratteristiche peculiari, per questo motivo è molto difficile trovare una legge che lo descriva in modo adeguato. Esiste il campionamento non probabilistico troncato, in cui si esclude una parte di individui dal campione poiché non la si ritiene utile. Il campionamento non probabilistico può essere effettuato in diversi modi:

• Per testimoni privilegiati: si intervistano persone con una certa reputazione a riguardo di un certo argomento
• Per quote: si cercano persone che rispondano all’intervista finché non si raggiunge una certa quota di partecipanti (che di solito è proporzionale al totale della popolazione).
• Per scelta ragionata: il ricercatore sceglie le unità statistiche che ritiene più adeguate a entrare nell’analisi.

Tipologie di indagine

In genere le indagini sono multiscopo, in modo che a un costo minore si possano rilevare più informazioni. Comunque il questionario non deve essere troppo lungo, in modo che i rispondenti non lo lascino incompleto. Inoltre, durante la stesura di un questionario, bisogna assicurarsi che la formulazione delle domande non influenzino l’intervistato e che siano chiare e non ambigue. Le scale devono avere un range adeguato non troppo lungo, né troppo breve; inoltre è preferibile che siano dispari, in modo che esista un elemento di neutralità.

Si possono mettere in atto varie tecniche per eseguire un’indagine:

• La stratificazione, che consiste nel creare sottogruppi (strati), tramite una variabile, detta variabile di stratificazione, in modo che all’interno di ogni strato ci sia omogeneità a riguardo di una certa variabile.
• La cluster analysis, che è un modo per aggregare le unità statistiche in base alle modalità che manifestano.
• Indagine longitudinale o panel: si fanno interviste periodiche a un certo gruppo di persone. Ci sono tecniche di re-fresh: si aggiungono unità statistiche all’indagine e se ne tolgono altre con le “stesse” caratteristiche, affinché le informazioni riportate dalle persone siano sempre precise e veritiere.

Tipologie di errore nel campionamento probabilistico

• Errore campionario: è l’errore legato alla scelta del campione, cioè al fatto che si utilizzi un solo campione per stimare un parametro riguardante l’intera popolazione. È pari alla differenza tra la stima ottenuta con il campione estratto e il vero valore dello stimatore. Si crea in seguito all’estrazione del campione non dipende dal calcolo dello stimatore, ma da ciò che si utilizza per calcolarlo. (Bias) Tra questi si può inserire l’errore da non rispondenti.
• Standard error: scarto quadratico medio dello stimatore, radice della varianza dello stimatore. È l’errore della stima. Tra questi si possono inserire gli errori commessi nella stima (gli errori di inferenza).

NB lo stimatore è una funzione ha una sua media e una sua varianza, da cui si può costruire un IC. È preferibile uno stimatore corretto e meno preciso, che uno distorto e impreciso. Dati due stimatori corretti si sceglie quello con standard error più basso ha intervallo di confidenza più stretto ed è più preciso. [La mediana è uno stimatore più robusto della media, perché non risente dei valori estremi della distribuzione.]

Schemi di campionamento

Con reimmessa: detto anche con ripetizione, in questo tipo di campionamento ogni unità estratta di volta in volta viene rimessa nella popolazione. Le condizioni dell’estrazione successiva non vengono modificate dalle precedenti, ma a ogni estrazione si hanno le stesse condizioni. In questo modo si effettuano prove ripetute indipendenti (IID). È ciò che si svolge in inferenza. La probabilità di estrazione della singola unità statistica rimane sempre invariata. Il rischio che si corre con questa tipologia di campionamento è quello di estrarre più volte la stessa unità statistica. La probabilità di estrazione di ogni unità statistica è 1/N.

Senza reimmessa: dopo ogni estrazione, l’unità statistica estratta non viene reinserita nella popolazione. Via via la popolazione si riduce e, quindi, le condizioni di estrazione si modificano dopo ogni estrazione. La probabilità di estrazione della singola unità statistica cambia dopo ogni estrazione. Per quanto riguarda l’inferenza è preferibile effettuare il campionamento con reimmessa, in modo da avere prove ripetute indipendenti (IID). Per quanto riguarda, invece, un campione finito è preferibile effettuare un campionamento senza reimmessa, specialmente quando il campione è piccolo, in quanto ripetizioni della stessa unità statistica non portano nuovo potere informativo.

Queste due tipologie di campionamento confluiscono quando la popolazione ha un’enorme numerosità N +∞. Si fa riferimento alla frazione di campionamento n/N.

Inferenza

Inferenza descrittiva: viene condotta per descrivere la distribuzione dei parametri della variabile osservata (totale, media campionaria…). Inferenza analitica: viene condotta per analizzare, si cerca di spiegare la distribuzione di una variabile per mezzo di relazioni con altre variabili.

Lo spazio campionario Ω

Lo spazio campionario è l’insieme di tutti i possibili campioni che si possono formare partendo da una popolazione finita di dimensione N.

• Per campioni casuali ordinati con ripetizione: i gruppi differiscono per ordine, per almeno un elemento o per ripetizione. Ω =
• Per campioni casuali ordinati senza ripetizione: i gruppi differiscono per ordine, per almeno un elemento. (Ω = * - 1) * … * ( - + 1)
• Per campioni casuali non ordinati con ripetizione: i gruppi differiscono per almeno un elemento o per ripetizione. +−1Ω=( )
• Per campioni casuali non ordinati senza ripetizione: i gruppi differiscono per almeno un elemento. Ω=( )

Il piano di campionamento

Il piano di campionamento è l’associazione tra i campioni di Ω e la corrispondente probabilità del campione p(c), quando valgono le condizioni:

• () ≥ 0
• ∑ () = 1
• Ω 1() =

La probabilità del campione è pari a: Ω Lo schema di campionamento, da cui dipende Ω, quindi, porta alla scelta del piano di campionamento.

Probabilità di inclusione

La probabilità di inclusione di primo ordine è la probabilità che l’i-esima unità appartenga al campione estratto. È la somma delle probabilità di tutti i sottospazi campionari (di Ω) che contengono l’i-esima unità. = ∑ ()Ω La probabilità di inclusione del secondo ordine è la probabilità che l’i-esima e la j-esima unità appartengano al campione estratto contemporaneamente. = ∑ ()Ω

Campione casuale semplice senza reimmessa / ripetizione / estrazione in blocco

È il piano di campionamento più semplice. L’assenza di ripetizione è fondamentale quando N è piccolo il rischio di riestrarre la stessa unità statistica diventa troppo elevato. È il disegno di campionamento più utilizzato perché, solitamente, l’ordine di estrazione è ininfluente e non si vuole rischiare di estrarre più volte la stessa unità statistica. Fissata la dimensione del campione, ogni campione ha la stessa probabilità di estrazione. Anche ogni unità della popolazione ha la stessa probabilità di inclusione. 1() = In questo caso (CCS SR), la probabilità del campione è: ( ) E la probabilità di inclusione di ogni unità statistica è pari a: −1( ) −1 = ∑ () = = ( )Ω Cioè, per ogni elemento i, la probabilità di inclusione di primo ordine nel campione è pari alla frazione di campionamento / di sondaggio. Dove Ωi è il sottospazio di tutti i campioni di Ω, che contengono l’elemento i. La probabilità di inclusione di secondo ordine, invece è: −2( ) * ( - 1)−2 = ∑ () = = * ( - 1)( )Ω Con Ωij sottospazio di tutti i campioni di Ω, che contengono gli elementi i e j contemporaneamente.

Campione casuale semplice con reimmessa / ripetizione

In questo tipo di disegno le unità campionarie hanno probabilità costante di essere incluse nel campione, pari a 1/N. Lo spazio campionario è composto dall’insieme dei campioni ordinari e con reimmessa. Si parla, quindi, di prove ripetute IID tante binomiali, che compongono una bernoulliana. 1() = La probabilità del campione è: E la probabilità di inclusione di primo ordine di ogni unità statistica nel campione è pari a: 1 = 1 - (1 - ) La probabilità di inclusione del secondo ordine, invece, è: 1 2 = 1 - 2 * (1 - ) + (1 - ) Data , variabile che assume valore 1 se l’unità statistica i appartiene al campione j e 0 altrimenti. La frequenza attesa dell’unità statistica i nel campione j è pari alla frazione di campionamento o di sondaggio: = () = ∑ () = 1() = Essendo che , in quanto in questo caso vi sono prove indipendenti e identicamente distribuite.

Campionamento con probabilità variabili e costanti

I piani di campionamento a probabilità costanti sono caratterizzati da meccanismi di estrazione casuale in cui ogni unità statistica ha la stessa probabilità di estrazione. (CCS CR, CCS SR) Nei piani di campionamento a probabilità variabili, ogni unità della popolazione ha una probabilità di estrazione diversa da quella delle altre. Si utilizzano dei pesi per capire qual è la probabilità di estrazione di ogni unità, affinché il campione rappresenti la popolazione in maniera adeguata. Solitamente, il peso (probabilità di inclusione nel campione) dipende dalla grandezza dell’unità statistica. Il “peso” è detto ‘variabile ausiliaria’ o ‘misura d’ampiezza’. Il campionamento con probabilità costanti può essere considerato un caso particolare del campionamento con probabilità variabili.

Stima della media e del totale

Sono gli aspetti più rilevanti dell’inferenza descrittiva per popolazioni finite. Dalla popolazione indicata come: {Y ,Y ,…,Y }, su cui si rileva il carattere Y, si possono calcolare la media e il totale della popolazione: 1 2 N = ∑ =11 ̅ = * ∑ = =1 La stima del totale è la stima della somma delle modalità manifestate della variabile y da tutte le unità statistiche della popolazione. Può capitare che il miglior stimatore sia, comunque, uno stimatore distorto. La proporzione è il numero di unità statistiche della popolazione, che, rispetto al totale, appartengono a un cluster che ha una determinata caratteristica. Solitamente il cluster viene formato tramite una variabile binarizzata. Lo stimatore del totale nel caso di probabilità costanti si calcola allo stesso modo per il campionamento con e senza reimmessa i due stimatori hanno lo stesso valore puntuale. Ciò che cambia è la varianza: nel campionamento CR la varianza è maggiore che nel campionamento SR. A parità di probabilità di estrazione è più informativo lo stimatore calcolato attraverso il campionamento SR, in cui non si rischia di estrarre la stessa unità statistica più volte, è più efficiente, in quanto ha varianza minore, quindi è più preciso. L’effetto del disegno (designed effect) è, quindi, sulla varianza e, di conseguenza, sull’intervallo di confidenza dello stimatore, non sul suo valore puntuale. Per il teorema centrale del limite si può approssimare qualsiasi distribuzione alla normale quando N +∞, e la distribuzione è simmetrica e unimodale.

Campionamento con ripetizione (CCS CR) e probabilità costanti Le prove sono IID reinserimento dell’unità statistica estratta. Dato che Pi (i=1,2,…,N) sono le probabilità di estrazione delle N unità della popolazione, con ∑0 ≤ ≤ 1 = 1 e , se le probabilità di estrazione sono costante si ha: 1 = per ogni i ogni individuo ha equiprobabilità di venire estratto. E quindi la stima della media e del totale sono rispettivamente: 1̅ = * ∑ ̂ = * ̅ La varianza dello stimatore è calcolabile come: 2(̂) 2= * 2 Dove è la varianza della popolazione, che ha formula: 1 ̅)2 2 = * ∑( - =1 Ma per eseguire questo calcolo si ha bisogno di informazioni riguardanti la popolazione totale, che, invece, sono ignote. Perciò si utilizza lo stimatore corretto (e naturale): 2(̂) 2= * Dove al posto della vera varianza della popolazione, si pone uno stimatore di questa, ricavato dal campione utilizzato.

Campionamento con ripetizione (CCS CR) e probabilità variabili In questo caso per stimare il totale e la media si costruiscono delle combinazioni lineari dei valori delle variabili attraverso dei pesi (reciproci delle probabilità delle rispettive unità statistiche). Queste informazioni ausiliarie / variabili di ampiezza sono molto utili, in quanto permettono di avere una maggior precisione nella stima, rispetto a quando si utilizzano probabilità costanti. Essendo il campionamento con ripetizione, la sua numerosità rimane invariata. Per stimare il totale, in questo caso, si utilizza lo stimatore di Hansen-Hurwitz: 1 ̂ = *∑ =1 La varianza di questo stimatore è: 21 (̂ = * ∑ * ( - )) =1 Dove Pi è la probabilità dell’i-esima unità statistica di essere estratta dalla popolazione e Y il vero valore del totale. Poiché questi valori non possono essere conosciuti, allora si utilizza uno stimatore corretto della varianza dello stimatore: 21 (̂ ̂= * ∑ ( - )) * ( - 1) =1 Che è uno stimatore naturale anziché utilizzare le informazioni riguardanti la popolazione.