Appunti di Statistica aziendale

Statistica aziendale: concetti introduttivi

La popolazione (o universo) è qualsiasi insieme di elementi, reale o ipotetico, presente o futuro, che forma oggetto di uno studio statistico. A tale riguardo si distingue tra popolazione reale (effettivamente esistente e visibile) e popolazione virtuale (definibile con accuratezza ma non osservata né osservabile) (Piccolo 1998).

L'unità statistica (o soggetto) è l'elemento di base della popolazione sul quale viene effettuata la rilevazione o la misurazione di uno o più fenomeni oggetto dell’indagine (Piccolo 1998).

Tipologie di fonti dati

Una prima classificazione delle tipologie di fonti dati di cui un'azienda può disporre può essere svolta rispetto alle finalità con cui i dati vengono raccolti, si distinguono perciò:

• Dati primari: dati che sono stati raccolti appositamente per rispondere alle necessità informative poste dal problema decisionale o dalla domanda di conoscenza che l'azienda o l'individuo deve affrontare.
• Dati secondari: dati che derivano da rilevazioni svolte da individui con finalità informative parzialmente o totalmente differenti da quelle dell'azienda o dell'individuo che li utilizza.

A queste due classi di dati sono tipicamente riconducibili differenze in termini di adeguatezza a rispondere ai bisogni informativi dell'azienda o dell'individuo, costi di produzione, tempestività, aspetti legali riguardanti la raccolta, il trattamento e la diffusione del dato.

Fonti di dati

Si possono inoltre distinguere le fonti di dati a seconda della loro origine:

• Fonti dati interne: dati che derivano da rilevazioni svolte dall'azienda o da informazioni provenienti dal sistema informativo aziendale.
• Fonti dati esterne: dati che derivano da rilevazioni svolte da individui o enti esterni all'azienda e che coinvolgono solo indirettamente l'azienda.

Quando si utilizzano dati secondari per cercare di rispondere a un quesito, si aprono vari problemi derivanti sia dal fatto che le finalità che hanno portato alla costituzione dell'archivio possono essere parzialmente o totalmente divergenti rispetto al bisogno informativo, sia dal fatto che spesso si tratta di fonti dati esterne, il che limita la possibilità di acquisire ex-post informazioni integrative rispetto a quelle disponibili. Più specificamente, i problemi riscontrabili più di frequente sono:

• Possibili differenze nella definizione dell'unità statistica e della popolazione statistica
• Dimensioni campionarie troppo ridotte per l'intero campione o in relazione a specifici segmenti (domini) della popolazione
• Informazioni raccolte solo parzialmente corrispondenti alle necessità informative
• Metadati o note metodologiche incomplete
• Mancanza di identificativi delle unità statistiche che consentano di integrare le informazioni con altri archivi
• Livello di aggregazione delle informazioni raccolte o rese disponibili non corrispondente a quello richiesto dalle necessità informative

Capita spesso, specie nel caso in cui si debba cercare nei dati il supporto informativo per decisioni complesse, che sia necessario ricorrere a dati di varia origine e natura. Quando ciò accade, potrebbe emergere la necessità di integrare in un'unica tabella o in un unico archivio i dati provenienti da più fonti. Questa operazione, non sempre possibile, presenta tipicamente varie criticità, tra cui vale la pena di menzionare le seguenti:

• Mancanza di identificativi comuni che rendano possibile l'associazione delle informazioni alle unità statistiche
• Discrepanze tra le popolazioni statistiche oggetto di studio tali da consentire un abbinamento solo parziale tra le unità statistiche
• Eterogeneità delle unità statistiche rispetto ai livelli di aggregazione che portano a dover aggregare o disaggregare (mediante imputazione) le informazioni tra le varie fonti, in modo da consentire l'associazione tra le unità
• Presenza di errori e duplicati nelle registrazioni
• Disallineamenti temporali tra le informazioni disponibili e disomogeneità rispetto al livello di aggregazione temporale

Indagini campionarie

L'idea di base del campionamento consiste nell'osservare una porzione di una popolazione cercando di trarre conclusioni su qualche caratteristica non osservata dell'intera popolazione. La speranza è che, se la porzione di popolazione osservata (campione) viene estratta soddisfacendo determinati requisiti, essa possa essere considerata rappresentativa dell'intera popolazione, e possa perciò dare informazioni valide su tutta la popolazione (e quindi anche sulla porzione non osservata) in quanto tratta da essa.

Diventa perciò centrale definire:

• La popolazione che si vuole studiare (popolazione target o popolazione obiettivo)
• La popolazione da cui selezionare le unità statistiche (lista di campionamento)
• Il metodo attraverso cui selezionare il campione (metodo di campionamento)
• Le modalità attraverso cui raccogliere le informazioni dal campione estratto
• Le modalità con cui utilizzare le informazioni ottenute dal campione per trarre delle conclusioni sulle caratteristiche d'interesse dell'intera popolazione (inferenza)

Alcune note e concetti schematici relativi alle indagini campionarie (adattati da Särndal, Swensson, e Wretman 1992, 4–5):

1. Un'indagine statistica (campionaria) è rivolta a un insieme finito di elementi detto popolazione finita identificabili univocamente e la cui appartenenza alla popolazione sia valutabile in relazione ad un criterio definito. L'obiettivo dell'indagine è di fornire delle informazioni sull'intera popolazione oggetto di studio o su porzioni di essa (sottopopolazioni) dette domini.
2. Uno o più caratteri (o variabili) d'interesse sono associati alle unità della popolazione. L'obiettivo dell'indagine è di acquisire informazioni circa una caratteristica o un parametro della popolazione. I parametri sono funzioni dei caratteri o delle variabili d'interesse della popolazione, si tratta di quantità numeriche ignote come, per esempio, il reddito medio, le vendite totali, il numero di disoccupati, ecc.
3. Nella maggior parte delle indagini statistiche, l'accesso alle unità che fanno parte della popolazione oggetto d'interesse (target population) avviene per mezzo di una lista di campionamento (sampling frame o semplicemente frame).
4. Dalla popolazione viene estratto un campione selezionando delle unità dalla lista della popolazione (cioè dal frame). Un campione è di tipo probabilistico se è generato da un meccanismo aleatorio di selezione che soddisfi alcuni requisiti.
5. Le unità nel campione vengono osservate nel senso che i caratteri (o le variabili) d'interesse vengono misurati e registrati.
6. I valori registrati vengono utilizzati per calcolare stime puntuali e stime intervallari dei parametri della popolazione.

Il campionamento probabilistico da popolazioni finite

Si considera una popolazione finita di N elementi e la si formalizza come l'insieme {u₁, ..., u_k, ..., u_N}. Per semplicità si adotta una notazione semplificata individuando ciascuna unità u_k mediante il suo indice k, in modo che la popolazione viene descritta dal seguente insieme U: U = {1, ..., k, ..., N}.

Un campione s estratto da U è un sottoinsieme di elementi di U. Indicando con S l'insieme di tutti i possibili sottoinsiemi di U (cioè l'insieme di tutti i possibili campioni estraibili da U), il campione (generico) s è quindi un elemento di S. Nel campionamento probabilistico, l'estrazione del campione avviene mediante una successione di esperimenti aleatori svolta secondo precise procedure (algoritmi di campionamento), talvolta anche molto articolate. Così come descriviamo il lancio di una moneta per mezzo di una variabile aleatoria X (lettera maiuscola) e indichiamo con x (lettera minuscola) l'esito che ha avuto il lancio, nel caso del campionamento indichiamo con S l'insieme aleatorio (campione) che verrà estratto da U, e con s il campione che effettivamente viene osservato.

Il disegno campionario è la regola (funzione) p che assegna ad ogni campione s S la probabilità che s venga estratto.

Definizione (probabilità di inclusione del prim'ordine)

Data un'unità k della popolazione U e dato un disegno campionario p, si definisce probabilità di inclusione del prim'ordine π_k la probabilità che l'unità k sia inclusa nel campione S che viene estratto secondo il disegno campionario p. Cioè:

Un metodo di campionamento basato su un meccanismo di selezione aleatoria è detto probabilistico solamente se dà a tutte le unità della popolazione una probabilità positiva di essere estratte, cioè se per ogni k U si ha che: π_k > 0.

Nota (pesi di riporto): I reciproci 1/π_k delle probabilità d'inclusione π_k sono detti pesi di riporto (all'universo). Spesso nei calcoli è conveniente utilizzare i pesi di riporto al posto delle probabilità di inclusione. Inoltre, gli istituti che diffondono i dati rilevati mediante indagini campionarie solitamente forniscono il peso associato ad ogni unità anziché la probabilità di inclusione.

Campionamento casuale semplice senza reimmissione

Il (in inglese simple random sampling without replacement, spesso abbreviato con SRSWOR) è uno dei più semplici disegni campionari e consente, fissata una dimensione campionaria n, di estrarre esattamente n unità statistiche garantendo che ogni elemento della popolazione abbia la medesima probabilità di essere estratto. Quindi in questo disegno campionario le probabilità di inclusione π_k sono uguali per tutte le unità e sono pari a n/N.

Secondo campionamento casuale semplice senza reimmissione, per una popolazione con N unità e per una dimensione campionaria pari a n esistono campioni tutti equiprobabili e quindi tali per cui qualsiasi campione s ha probabilità p(s) = (N/n)^-1 di essere estratto. Il meccanismo di estrazione può essere idealmente immaginato in questo modo:

• 1. In un'urna vengono inserite N palline con i numeri da 1 a N, ne viene estratta una a caso senza essere reimmessa. Il numero estratto corrisponde alla prima unità selezionata;
• 2. La seconda unità viene selezionata estraendo una pallina dalle restanti N − 1. Una volta estratta, la pallina non viene reimmessa; ...
• n. Viene estratta l’n-esima pallina dalle rimanenti N − n + 1 palline, completando così il campione di n unità.

Campionamento casuale semplice con reimmissione

Il (in inglese simple random sampling with replacement, spesso abbreviato con SRSWR) a differenza del campionamento casuale semplice senza reimmissione (SRSWOR), consente che un'unità possa essere selezionata più di una volta nel medesimo campione, tuttavia, fissata una dimensione campionaria n, le probabilità di inclusione di ciascuna unità restano pari a n/N, anche se il numero di campioni possibili è pari a:

In un ideale meccanismo di selezione, si procede in modo analogo al SRSWOR con la differenza che dopo ogni estrazione le palline vengono reimmesse nell'urna che conterrà quindi sempre N palline.

Campionamento stratificato

Nel campionamento stratificato la popolazione U viene suddivisa in gruppi distinti e complementari rispetto a una o più caratteristiche delle unità (per esempio il genere, la nazionalità, o entrambi) e per ogni gruppo, detto strato, si seleziona con un qualche disegno campionario un campione di unità.

Ad esempio, una popolazione U di N = 5300 unità potrebbe essere composta da N₁ = 2300 maschi e N₂ = 3000 femmine. Volendo estrarre un campione di n = 100 unità, si potrebbe utilizzare un campionamento stratificato rispetto al genere secondo cui estrarre n₁ = 55 maschi e n₂ = 45 femmine, utilizzando, all'interno di ogni strato il SRSWOR. In tal caso la probabilità di inclusione dell'unità k appartenente allo strato h sarà π_k = n_h/N_h, cioè 55/2300 ≈ 0.0239 per i maschi e 45/3000 ≈ 0.015 per le femmine.

Dato un carattere quantitativo y_k relativo alle unità della popolazione U composta da N elementi, è possibile stimarne il totale y_T = ∑_k∈U y_k sulla base di un campione s estratto secondo il disegno campionario (probabilistico) p secondo la formula dovuta a Horvitz e Thompson (1952).

Analogamente, la media della popolazione y_M = 1/N ∑_k∈U y_k può essere stimata in questo modo:

Se per tutte le unità π_k > 0, gli stimatori (1) e (2) sono corretti e consistenti. Naturalmente, le formule (1) e (2) possono essere riscritte utilizzando i pesi di riporto: con w_k ≡ 1/π_k i pesi di riporto.

Lo stimatore HT e il SRSWOR

Lo stimatore di Horvitz e Thompson (1952) rappresenta un nuovo modo per stimare la media di una popolazione? Nel campionamento casuale semplice con o senza reimmissione (SRSWOR) si ha che, per ogni k, π_k = n/N. Quindi, applicando lo stimatore di Horvitz e Thompson (1952) per la media si ottiene:

Che è lo stimatore media campionaria per y! Mentre invece:

Si immagini di suddividere una popolazione di N elementi in H strati ciascuno di dimensione N_h (h = 1, ..., H) e si indichi con s_h il sottocampione del campione estratto s composto dalle unità che appartengono allo strato h-esimo. Si supponga infine che nel generico strato h vengano campionate n_h unità mediante SRSWOR. Allora lo stimatore HT della media della popolazione è:

Con W_h = N_h/N e ȳ_h media campionaria di y nello strato h. Lo stimatore HT diventa quindi la media aritmetica delle medie campionarie degli strati ponderata in base alla dimensione degli strati nella popolazione.

A questo punto, sapendo che per n sufficientemente grande lo stimatore HT si distribuisce approssimativamente come una variabile aleatoria normale, si può calcolare l'intervallo di confidenza per il totale e per la media di y nella popolazione:

Con z_α/2 il quantile 1 − α/2 della distribuzione normale.

Determinazione della numerosità del campione

In fase di progettazione di un’indagine è necessario definire anche la numerosità del campione che dovrà essere estratto. Volendo fissare limite massimo ε al margine d'errore per un certo livello di confidenza 1 − α, basta risolvere la disequazione seguente: z_α/2 DS(ˆy_M) ≤ ε , sostituendo, se necessario, la deviazione standard dello stimatore della media DS(ˆy_M) con quella dello stimatore del parametro di interesse.

Nel caso dello stimatore della media yˆ_M basato sul SRSWOR, la (9) diviene:

Che risolto dà:

La (10), per essere calcolata, richiede di conoscere S²_y,U. Chiaramente questo non è possibile senza che si abbiano alcune informazioni sulla popolazione che si vuole stimare e su alcune sue caratteristiche.

Per determinazione di n si procede quindi in uno di questi modi (non necessariamente alternativi):

• Si sfrutta l'informazione già disponibile da indagini precedenti o indagini simili svolte eventualmente anche da altri soggetti
• Si svolge una piccola indagine informativa (indagine pilota) per determinare una stima S²_y,s per S²_y,U
• Si sfruttano informazioni disponibili sul fenomeno oggetto di studio o su fenomeni ad esso correlati

Quando in un'indagine campionaria si perviene alla stima puntuale ˆθ_n del parametro ignoto della popolazione θ, si ha sempre che:

In quanto, salvo casi fortuiti, la stima puntuale è sempre affetta da un errore. L'errore di stima è il risultato della somma di due tipologie di errori che formalmente possono essere identificati in questo modo:

In particolare:

• L'errore campionario: è originato dal fatto che viene osservata solo una parte della popolazione. In assenza di errori non campionari (come ad es. le mancate risposte) si riduce al crescere della numerosità campionaria fino ad annullarsi quando l'indagine diventa censuaria.
• L'errore non campionario: è difficilmente valutabile e in generale non può essere ridotto aumentando la numerosità campionaria. Esso ha origine da fenomeni come le mancate risposte, gli errori di misurazione e le imperfezioni nella lista di campionamento.

Conclusione

Per studiare una caratteristica d'interesse delle unità, quando non è possibile (o è problematico) osservare l'intera popolazione, può essere utile svolgere un'indagine campionaria.

È possibile estrarre un campione secondo vari approcci. Se si sceglie il campionamento probabilistico si è in grado di:

• Ottenere stime (puntuali) non distorte e consistenti dei parametri d'interesse per tutta la popolazione
• Ottenere stime intervallari dei parametri d'interesse, dando in questo modo una valutazione dell'errore campionario (e quindi dell'incertezza derivante dal processo di selezione del campione) che caratterizza le stime puntuali

Nel campionamento probabilistico, l'estrazione del campione avviene per mezzo di una lista di campionamento. In assenza di mancate risposte, la popolazione individuata da questa lista è la popolazione per la quale vale l'inferenza statistica basata sul campionamento da disegno.

Nel campionamento probabilistico, per estrarre un campione dal quale ottenere stime puntuali e intervallari è necessario:

• Avere un meccanismo di estrazione (algoritmo di campionamento) che porti a estrarre un campione di osservazioni per le quali sia possibile calcolare le probabilità di inclusione. In alternativa, è necessario avere un algoritmo di campionamento che...

...continua...