Appunti delle lezioni di Statistica MCI

Prima di cominciare

Riferimenti ai contenuti del programma d’esame

Completano la preparazione degli argomenti trattati in questa lezione il cap. 1 e le sezz. 2.1–2.3, 2.5 del testo di riferimento (Biggeri et al. 2012).

Rilevazioni statistiche, popolazione e unità

Prima di cominciare, è utile richiamare alcuni concetti fondamentali della statistica: la rilevazione, la popolazione, e l’unità statistica.

Una rilevazione statistica è il complesso di operazioni rivolte ad acquisire una o più informazioni su un insieme di elementi oggetto di studio (Piccolo 1998).

Le rilevazioni statistiche possono essere distinte in:

• Globali o censuarie
• Parziali o campionarie

La popolazione (o universo) è qualsiasi insieme di elementi, reale o ipotetico, presente o futuro, che forma oggetto di uno studio statistico. A tale riguardo si distingue tra popolazione reale (effettivamente esistente e visibile) e popolazione virtuale (definibile con accuratezza ma non osservata né osservabile) (Piccolo 1998).

L’unità statistica (o soggetto) è l’elemento di base della popolazione sul quale viene effettuata la rilevazione o la misurazione di uno o più fenomeni oggetto dell’indagine (Piccolo 1998).

Archivi e fonti dati

Una prima classificazione delle tipologie di fonti dati di cui un’azienda può disporre può essere svolta rispetto alle finalità con cui i dati vengono raccolti, si distinguono perciò:

• Dati primari: dati che sono stati raccolti appositamente per rispondere alle necessità informative poste dal problema decisionale o dalla domanda di conoscenza che l’azienda o l’individuo deve affrontare. In altri termini, sono raccolte appositamente per lo studio che si sta effettuando.
• Dati secondari: dati che derivano da rilevazioni svolte da individui con finalità informative parzialmente o totalmente differenti da quelle dell’azienda o dell’individuo che li utilizza. Questi dati sono dunque raccolti per finalità diverse, ed in genere sono “meno accurati”, nel senso che ci danno informazioni simili (ma non esatte) a quelle di cui abbiamo bisogno. Volendo, i dati secondari possono essere usati per coprire una buona parte delle info necessarie, per le restanti si fanno rilevazioni di dati primari.

A queste due classi di dati sono tipicamente riconducibili differenze in termini di adeguatezza a rispondere ai bisogni informativi dell’azienda o dell’individuo, costi di produzione, tempestività, aspetti legali riguardanti la raccolta, il trattamento e la diffusione del dato.

Si possono inoltre distinguere le fonti di dati a seconda della loro origine:

• Fonti dati interne: dati che derivano da rilevazioni svolte dall’azienda o da informazioni provenienti dal sistema informativo aziendale.
• Fonti dati esterne: dati che derivano da rilevazioni svolte da individui o enti esterni all’azienda e che coinvolgono solo indirettamente l’azienda.

Non esistono, in assoluto, origini e tipologie più economiche. Tutto dipende dal tipo di analisi che stiamo effettuando.

Uso di dati secondari

Quando si utilizzano dati secondari per cercare di rispondere a un quesito, si aprono vari problemi derivanti sia dal fatto che le finalità che hanno portato alla costituzione dell’archivio possono essere parzialmente o totalmente divergenti rispetto al bisogno informativo, sia dal fatto che spesso si tratta di fonti dati esterne, il che limita la possibilità di acquisire ex-post informazioni integrative rispetto a quelle disponibili.

Più specificamente, i problemi riscontrabili più di frequente sono:

• Possibili differenze nella definizione dell’unità statistica e della popolazione statistica
• Dimensioni campionarie troppo ridotte per l’intero campione o in relazione a specifici segmenti (domini) della popolazione
• Informazioni raccolte solo parzialmente corrispondenti alle necessità informative
• Metadati o note metodologiche incomplete
• Mancanza di identificativi delle unità statistiche che consentano di integrare le informazioni con altri archivi
• Livello di aggregazione delle informazioni raccolte o rese disponibili non corrispondente a quello richiesto dalle necessità informative

Integrazione di dati provenienti da varie fonti

Capita spesso, specie nel caso in cui si debba cercare nei dati il supporto informativo per decisioni complesse, che sia necessario ricorrere a dati di varia origine e natura. Quando ciò accade, potrebbe emergere la necessità di integrare in un’unica tabella o in un unico archivio i dati provenienti da più fonti.

Questa operazione, non sempre possibile, presenta tipicamente varie criticità, tra cui vale la pena di menzionare le seguenti:

• Mancanza di identificativi comuni che rendano possibile l’associazione delle informazioni alle unità statistiche
• Discrepanze tra le popolazioni statistiche oggetto di studio tali da consentire un abbinamento solo parziale tra le unità statistiche
• Eterogeneità delle unità statistiche rispetto ai livelli di aggregazione che portano a dover aggregare o disaggregare (mediante imputazione) le informazioni tra le varie fonti, in modo da consentire l’associazione tra le unità
• Presenza di errori e duplicati nelle registrazioni
• Disallineamenti temporali tra le informazioni disponibili e disomogeneità rispetto al livello di aggregazione temporale

Riferimenti bibliografici

Biggeri, L., M. Bini, A. Coli, L. Grassini, and M. Maltagliati. 2012. Statistica Per Le Decisioni Aziendali. Pearson.

Piccolo, D. 1998. Statistica. il Mulino.

Nozioni propedeutiche

La trattazione degli argomenti in questa lezione richiede che siano noti i seguenti argomenti:

• Nozione di stimatore e di stima puntuale
• Nozione di stima intervallare (intervallo di confidenza)
• Valore atteso e varianza di una variabile aleatoria

Riferimenti ai contenuti del programma d’esame

Completano la preparazione degli argomenti trattati in questa lezione le sezz. 2.6-2.7, eccetto la sez. 2.6.3 del testo di riferimento (Biggeri et al. 2012).

Intervallo di confidenza: Ci misura il grado di incertezza della nostra stima. Più l’intervallo è ridotto, maggiori informazioni ci dà. L’intervallo più stretto ce lo dà il campione più grande. Se il margine di errore è 3, allora l’intervallo sarà ampio 6.

Indagini campionarie

L’idea di base del campionamento consiste nell’osservare una porzione di una popolazione cercando di trarre conclusioni su qualche caratteristica non osservata dell’intera popolazione.

La speranza è che, se la porzione di popolazione osservata (campione) viene estratta soddisfacendo determinati requisiti, essa possa essere considerata rappresentativa dell’intera popolazione, e possa perciò dare informazioni valide su tutta la popolazione (e quindi anche sulla porzione non osservata) in quanto tratta da essa. (Si può fare inferenza)

Diventa perciò centrale definire:

• Popolazione target/obiettivo: Popolazione che si vuole studiare
• Lista di campionamento: Popolazione (ed. lista di persone) da cui selezionare le unità statistiche. La lista di campionamento individua una popolazione che potrebbe non coincidere totalmente con la popolazione obiettivo.
• Il metodo di campionamento: È il metodo che applichiamo per estrarre il campione dalle liste di campionamento.
• Le modalità attraverso cui raccogliere le informazioni dal campione estratto
• Inferenza: Le modalità con cui utilizzare le informazioni ottenute dal campione per trarre delle conclusioni sulle caratteristiche d’interesse dell’intera popolazione

Alcune note e concetti schematici relativi alle indagini campionarie (adattati da Särndal, Swensson, e Wretman 1992, 4–5):

• 1. Un’indagine statistica (campionaria) è rivolta a un insieme finito di elementi detto popolazione finita identificabili univocamente e la cui appartenenza alla popolazione sia valutabile in relazione ad un criterio definito. L’obiettivo dell’indagine è di fornire delle informazioni sull’intera popolazione oggetto di studio o su porzioni di essa (sottopopolazioni) dette dominî;
• 2. Uno o più caratteri (o variabili) d’interesse sono associati alle unità della popolazione. L’obiettivo dell’indagine è di acquisire informazioni circa una caratteristica o un parametro della popolazione. I parametri sono funzioni dei caratteri o delle variabili d’interesse della popolazione, si tratta di quantità numeriche ignote come, per esempio, il reddito medio, le vendite totali, il numero di disoccupati, ecc.;
• 3. Nella maggior parte delle indagini statistiche, l’accesso alle unità che fanno parte della popolazione oggetto d’interesse (target population) avviene per mezzo di una lista di campionamento (sampling frame o semplicemente frame);
• 4. Dalla popolazione viene estratto un campione selezionando delle unità dalla lista della popolazione (cioè dal frame). Un campione è di tipo probabilistico se è generato da un meccanismo aleatorio di selezione che soddisfi alcuni requisiti (v. sotto);
• 5. Le unità nel campione vengono osservate nel senso che i caratteri (o le variabili) d’interesse vengono misurati e registrati;
• 6. I valori registrati vengono utilizzati per calcolare stime puntuali e stime intervallari dei parametri della popolazione.

Il campionamento probabilistico da popolazioni finite

Si considera una popolazione finita di N elementi e la si formalizza come l’insieme

Per semplicità si adotta una notazione semplificata indicando ciascuna unità mediante il suo indice, in modo che la popolazione viene scritta dal seguente insieme U:

s è un campione estratto da U, ed è un sottoinsieme di elementi di U

è l’insieme di tutti i possibili campioni estraibili da u.

s è dunque un elemento di ( ).

Nel campionamento probabilistico, l’estrazione del campione avviene mediante una successione di esperimenti aleatori svolta secondo precise procedure (algoritmi di campionamento), talvolta anche molto articolate.

Così come descriviamo il lancio di una moneta per mezzo di una variabile aleatoria X (lettera maiuscola) e indichiamo con X l’esito (lettera minuscola) che ha avuto il lancio, nel caso del campionamento indichiamo con S l’insieme aleatorio (campione) che verrà estratto da U, e con s il campione che effettivamente viene osservato.

Definizione (disegno campionario)

Il disegno campionario è la regola (funzione) p che assegna ad ogni campione la probabilità che s venga estratto, cioè

Data un’unità k della popolazione U e dato un disegno campionario p, si definisce probabilità di inclusione del prim’ordine la probabilità che l’unità k sia inclusa nel campione S che viene estratto secondo il disegno campionario p. Cioè:

Un metodo di campionamento basato su un meccanismo di selezione aleatoria è detto probabilistico solamente se dà a tutte le unità della popolazione una probabilità positiva di essere estratte, cioè se per ∈ ogni k U si ha che: > 0.

Un campione probabilistico, quindi, deve soddisfare due requisiti:

• 1. La selezione deve essere aleatoria
• 2. Deve essere progettato per garantire che tutte le unità della popolazione abbiano una probabilità di inclusione (nel campione stesso) non nulla ( >0)

Pesi di riporto: Sono il reciproco delle probabilità d’inclusione ( ). In genere nelle ricerche si trovano i pesi di riporto. Questo perché i sono numeri estremamente piccoli, quindi i pesi di riporto sono numericamente più semplici da gestire.

Campionamento casuale semplice e senza reimmissione

Il campionamento casuale semplice senza reimmissione (in inglese simple random sampling without replacement, spesso abbreviato con SRSWOR) è uno dei più semplici disegni campionari e consente, fissata una dimensione campionaria n, di estrarre esattamente n unità statistiche garantendo che ogni elemento della popolazione abbia la medesima probabilità di essere estratto.

Quindi in questo disegno campionario le probabilità di inclusione πk sono uguali per tutte le unità e sono pari a n/N.

Secondo campionamento casuale semplice senza reimmissione per una popolazione con N unità e per una dimensione campionaria pari a n esistono

campioni tutti equiprobabili e quindi tali per cui qualsiasi campione s ha probabilità di essere estratto.

Campionamento casuale semplice con reimmissione

Il campionamento casuale semplice con reimmissione (in inglese simple random sampling with replacement, spesso abbreviato con SRSWR) a differenza del campionamento casuale semplice senza reimmissione (SRSWOR), consente che un’unità possa essere selezionata più di una volta nel medesimo campione, tuttavia, fissata una dimensione campionaria n, le probabilità di inclusione di ciascuna unità restano pari a n/N, anche se il numero di campioni possibili è pari a

In un ideale meccanismo di selezione, si procede in modo analogo al SRSWOR con la differenza che dopo ogni estrazione le palline vengono reimmesse nell’urna che conterrà quindi sempre N palline.

Campionamento stratificato

Nel campionamento stratificato la popolazione U viene suddivisa in gruppi distinti e complementari rispetto a una o più caratteristiche delle unità (per esempio il genere, la nazionalità, o entrambi) e per ogni gruppo, detto strato, si seleziona con un qualche disegno campionario un campione di unità.

Ad esempio, una popolazione U di N = 5300 unità potrebbe essere composta da = 2300 maschi e = 3000 femmine. Volendo estrarre un campione di n = 100 unità, si potrebbe utilizzare un campionamento stratificato rispetto al genere secondo cui estrarre = 55 maschi e = 45 femmine, utilizzando, all’interno di ogni strato il SRSWOR.

In tal caso la probabilità di inclusione dell’unità k appartenente allo strato h sarà, cioè 55/2300 ≈ 0.0239 per i maschi e 45/3000 ≈ 0.015 per le femmine.

Lo stimatore di Horvitz e Thompson (1952) – Formula da sapere

Dato un carattere quantitativo yk relativo alle unità della popolazione U composta da N elementi, è possibile stimarne il totale sulla base di un campione s estratto secondo il disegno campionario (probabilistico) p secondo la formula (1) dovuta a Horvitz e Thompson (1952).

Analogamente, la media della popolazione può essere stimata in questo modo: (2)

Se per tutte le unità > 0, allora gli stimatori (1) e (2) sono corretti e consistenti.

Naturalmente, le formule (1) e (2) possono essere riscritte utilizzando i pesi di riporto: con i pesi di riporto.

Statistica lezione 3

Lo stimatore HT e il SRSWOR

Nel campionamento casuale semplice con o senza reimmissione (SRSWOR) si ha che, per ogni k, = n/N.

Quindi, applicando lo stimatore di Horvitz e Thompson (1952) per la media si ottiene: che è lo stimatore media campionaria per y!

Mentre invece:

La media campionaria è un caso particolare dello stimatore HT, che utilizziamo unicamente nel campionamento casuale semplice.

La varianza dello stimatore HT nel SRSWOR

Si può dimostrare che la varianza degli stimatori (3) e (4) può essere stimata rispettivamente mediante le formule:

essendo f = n/N la frazione di campionamento (o frazione campionaria), ossia il rapporto tra la dimensione del campione e la dimensione della popolazione. La frazione campionaria ci dice qual è la frazione della popolazione che viene interessata dal sondaggio.

È necessario non confondersi, in quanto nel caso di campionamento casuale semplice, è proprio uguale alla probabilità di inclusione ( ). C’è però una differenza concettuale: la probabilità d’inclusione riguarda la singola unità e ci dice la probabilità che quell’unità entri nel nostro campione e nel caso di campionamento casuale semplice con o senza reimmissione, = n/N; la frazione campionaria è definita come f = n/N, e ci dice qual è la porzione della popolazione, in termini relativi, che è interessata dall’indagine.

In Statistica 1 non si usava ( 1 – f ), in quanto se f è molto piccola, e dunque:

• È più semplice fare i calcoli direttamente con 1
• Si va a sovrastimare leggermente la varianza, ottenendo intervalli di confidenza più ampi ed ottenere delle stime più prudenziali

Tuttavia, siccome noi stiamo parlando di campionamento, consideriamo ( 1 – f ).

La presente nella formula è la varianza campionaria, pari a:

Più esattamente, si legge “varianza campionaria di y, con pari alla media campionaria calcolata sul campione estratto s.

Possiamo prendere in considerazione l’errore standard:

L’errore standard è quella quantità che moltiplicata per il quantile della media normale, viene addizionata e sottratta alla media campionaria.

L’errore standard si calcola nel modo seguente:

L’errore standard ci serve per poter calcolare gli intervalli di confidenza, che a sua volta ci servono per associare alle stime puntuali delle stime intervallari, che ci dicono quanto è grande il livello di incertezza delle nostre stime.

Si noti che al crescere di f, l’ES tende a zero. Questo è perché essendo f = n/N, allora se n = N, f = 1. Ciò vuol dire che stiamo facendo un censimento, dunque nel caso estremo f = 1, non abbiamo errori campionari.

Lo stimatore HT nel campionamento stratificato

Si immagini di suddividere una popolazione di N elementi in H strati ciascuno di dimensione (h = 1, ..., H) e si indichi con sh il sottocampione del campione estratto composto dalle unità che appartengono allo strato h-esimo. Si supponga infine che nel generico strato h vengano