Statistica (prima parte)

La statistica descrittiva

Il termine “statistica” deriva da “stato”: all’inizio la statistica riguardava la raccolta di dati relativi allo stato (numerosità della popolazione, numero di cannoni, quantità di raccolto di grano...).

La statistica è la scienza che studia i metodi per la raccolta e l’analisi dei dati. La statistica è utilizzata per:

• Fare previsioni (economiche, demografiche)
• Analizzare fenomeni nel tempo (i prezzi salgono? Il tasso di analfabetismo si è ridotto?)
• Prendere decisioni (un certo vaccino è efficace? Conviene investire in un dato settore?)

La statistica prende in prestito dalla matematica un’aria di precisione e certezza, ma necessita del giudizio umano ed è quindi soggetta a distorsioni e interpretazioni errate. La statistica è un processo orientato alla soluzione di problemi che cerca di rispondere alle domande di interesse attraverso i dati.

Fasi del metodo statistico

1. Disegno: come otteniamo i dati che servono a rispondere agli obiettivi della ricerca?
   • Indagine di mercato: come selezionare le persone da intervistare in modo da ottenere dati che consentano di prevedere le vendite?
2. Descrizione: come possiamo descrivere e sintetizzare i dati raccolti?
   • I dati sulle vendite on-line di televisori sono tantissimi, per estrarre informazioni sarà necessario sintetizzare: attraverso grafici, tabelle, percentuali
3. Inferenza: come possiamo generalizzare i risultati, fare previsioni e prendere decisioni?

Il principale obiettivo della statistica è la conoscenza quantitativa dei fenomeni collettivi. I fenomeni collettivi sono delle manifestazioni (situazioni, accadimenti, fatti) empirica la cui conoscenza e misura richiedono l’osservazione di più unità portatrici di informazioni, unità statistiche elementari (ossia sul fenomeno oggetto di studio). I fenomeni collettivi sono ad esempio:

• La natalità, nuzialità, mortalità della popolazione italiana
• Studenti universitari iscritti alla facoltà di economia

Caratteristiche delle unità statistiche

Per esempio, un’unità statistica elementare è ciascun individuo di una popolazione, ciascun nato, ciascun morto, ogni coppia di sposi, ciascun emigrato, eccetera, a seconda del fenomeno oggetto di indagine. Ciascuna unità statistica presenta delle caratteristiche, che più brevemente di indicano con il nome di caratteri (o variabile). Ogni unità statistica è portatrice di infiniti caratteri. Il carattere è una particolare caratteristica dell’unità statistica elementare che viene esaminata (es. età, statura, sesso, religione...). In economia si analizzano i caratteri consumo e reddito. I caratteri presenti in un’unità statistica sono generalmente di natura diversa.

Ciascun carattere è presente in ogni unità statistica con una determinata modalità (carattere: nazionalità, modalità: italiana, greca...).

Caratteri quantitativi e qualitativi

Nel caso in cui:

• Le modalità dei caratteri siano misurabili, ossia per esse sia possibile definire un’unità di misura
• Le modalità dei caratteri siano il risultato di un conteggio possano essere espressi da numeri (cardinali) sui quali ha senso condurre delle operazioni algebriche

Si dice che siamo in presenza di caratteri quantitativi misurano caratteristiche numeriche, come il peso, l’altezza, il numero di fratelli... Generano risposte che appartengono a gruppi o categorie e presentano uno spettro di alternative. Questi caratteri si dividono in:

• Continui: se, comunque si fissino due valori, tutti i valori intermedi possono essere assunti come modalità del carattere (peso, età, reddito...). Sono caratterizzati da classi. Si dice anche che un carattere quantitativo continuo è costituito da una infinità non numerabile di modalità (si lavora sugli intervalli dei numeri reali). Può assumere un qualunque valore all’interno di un determinato intervallo di numeri reali ed è originata da un processo di misurazione, ma non da un conteggio.
• Discreti: se, comunque si fissi una sua modalità esiste tutto un intervallo, di cui la modalità è il centro, in cui, al di fuori di essa, nessun altro valore può essere assunto come modalità di carattere (n. di figli, n. di fratelli...). Un carattere quantitativo discreto può essere costituito da un numero finito di modalità (n. di figli, n. di stanze) o da una infinità numerabile di modalità. Può avere, ma non necessariamente, un numero finito di valori.

Si parla di caratteri qualitativi (o categorici) quando le modalità indicano qualità, categorie, attributi... e sono espresse in generale da espressioni alfabetiche oppure da numeri che non esprimono una quantità (colore di capelli, l’anno di corso...). In particolare, le variabili dicotomiche (o binarie) sono variabili qualitative con due sole modalità: es. la variabile sesso assume le modalità maschio e femmina. Una variabile che assume valori è qualitativa. Numerici corrispondenti a codici (es. CAP, matricola,...) Si dividono a seconda che sia possibile o meno graduare la diversità delle modalità, cioè a seconda che abbia un senso (logico) introdurre un qualche ordinamento fra le modalità del carattere in:

• Sconnessi (o nominali): modalità non ordinabili
• Ordinati: modalità ordinabili

Sconnessi -> sesso, religione

Qualitativi Ordinati -> titolo di studio, votazione licenza media

Caratteri Continui -> peso, età

Quantitativi Discreti -> n. di figli

Scale di misurazione

Una distinzione fra i caratteri è quella che fa riferimento alla scala di misurazione cioè al modo in cui le modalità sono registrate o catalogate. Nell’ambito della teoria della misurazione i caratteri sono classificati in funzione della maggiore o minore complessità delle operazioni che è lecito condurre tra le modalità dei caratteri. Pertanto, i caratteri si distinguono in funzione della scala di misurazione:

• Dati qualitativi: si riferiscono a dati ottenuti da domande di tipo categorico (genere, cittadinanza) includono:
  • La scala nominale: si tratta di dati con il livello di misurazione più debole, poiché la codifica numerica è scelta per pura convenienza e non implica un rango tra le risposte (genere: maschio o femmina, sei mai stato ad Oslo? Sì o no)
  • La scala ordinale: indica un ordine gerarchico degli elementi e i valori assunti sono delle etichette che descrivono le risposte (giudizio sulla qualità di un prodotto: sufficiente, insufficiente, buono)
• Dati quantitativi: includono:
  • La scala ad intervallo: indica l’ordine e la distanza da un’origine arbitraria misurata con una determinata unità di misura: i valori sono cioè ottenuti in relazione a un punto di riferimento prefissato (ad esempio la temperatura, cambia tra gradi Celsius e Fahrenheit)
  • La scala di rapporto: indica sia un ordine sia una distanza da un’origine assoluta (lo zero) e il rapporto tra due misure, in questo caso, assume un significato numerico ben preciso (peso di uno e di un altro)

Il campionamento

Lo studio quantitativo di un fenomeno collettivo avviene attraverso lo studio della popolazione (o collettivo statistico), l’insieme di tutte le unità statistiche oggetto di studio del fenomeno collettivo, N, può essere molto grande o addirittura infinita e rappresenta la dimensione della popolazione.

Il campione è un sottoinsieme delle unità osservate nella popolazione, n, rappresenta la dimensione del campione.

Il campionamento casuale semplice è il procedimento usato per selezionare un campione di n oggetti da una popolazione, in modo tale che ciascuna unità della popolazione sia scelta rigorosamente a caso e abbia la stessa opportunità di essere scelta. Ogni possibile campione di dimensione assegnata n, inoltre, deve avere la stessa possibilità di essere selezionato. Il campione ottenuto con questo metodo è noto come campione casuale.

Il campionamento sistematico prevede la selezione di un’unità ogni j-mo elemento della popolazione, dove j, passo di campionamento, è il rapporto tra la dimensione N e la dimensione del campione n. La prima unità del campione sistematico si ottiene con la scelta casuale di numero tra 1 e j.

Il parametro è una caratteristica specifica della popolazione. La statistica è una caratteristica specifica del campione.

Una fonte di errore che impedisce di conoscere esattamente il valore di un qualsiasi parametro della popolazione, sono i cosiddetti errori campionari (derivano dalla conoscenza di informazioni limitata ad un sottoinsieme di tutte le unità della popolazione). Nella pratica delle indagini statistiche esiste anche un’altra tipologia di errore, legata alle tecniche di campionamento. Questi errori potrebbero infatti verificarsi anche durante un’indagine censuaria (raccolta completa delle informazioni su una popolazione); si tratta degli errori non campionari come ad esempio:

• La popolazione effettivamente campionata non è quella di riferimento
• Le unità campionate possono fornire risposte imprecise o false
• Possono mancare le risposte ad alcune domande del questionario

La statistica descrittiva e inferenziale

Dopo aver identificato e definito il problema, seguendo un profetto ben preciso, si raccolgono i dati prodotti dai diversi processi e li si analizza usando uno o più procedimenti statistici. Queste a loro volta sono trasformate in conoscenza. Sia la statistica descrittiva sia la statistica inferenziale sono usate per trasformare i dati in conoscenza che perfette di migliorare i processi decisionali.

La statistica descrittiva comprende metodi grafici e numerici che sono usati per sintetizzare ed elaborare i dati in modo da trasformarli in informazioni. È un termine usato per indicare l’insieme dei metodi utilizzati per descrivere, analizzare e sintetizzare i dati che sono stati raccolti tramite una rilevazione totale o parziale. Partiamo da un fenomeno collettivo e definito il problema che vogliamo studiare otteniamo una matrice di dati (il risultato della rilevazione statistica totale o parziale) e la si riporta in un software statistico e le risposte ottenute, i dati, andranno sintetizzate e analizzati. Costruzione delle distribuzioni statistiche per le analisi.

La statistica inferenziale fornisce le basi per le previsioni e per le stime che consentono di trasformare le informazioni in conoscenza. È l’insieme dei procedimenti che consentono di pervenire a delle conclusioni o di prendere decisioni su una popolazione sulla base dei risultati campionari.

Problemi con i dati

Dati: risultato della rilevazione-misurazione di caratteristiche delle unità statistiche

Dati errati:

• A livello concettuale: ambiguità nella definizione del fenomeno oggetto di studio (es. il tasso di criminalità può essere definito in base ai «crimini denunciati» usando statistiche ufficiali, oppure in base ai «crimini subìti» intervistando un campione di abitanti)
• Arrotondamenti: es. la pressione arteriosa registrata con lo sfigmomanometro presenta spesso valori come 60, 70, 80, e raramente valori come 69 o 72.
• Errori di inserimento dati (data entry): es. un 7 scambiato per un 1, un 21 inserito come 210 etc.

Dati incompleti

I dati, in particolare quelli derivanti da interviste, sono spesso incompleti, es. l’intervistato non ha risposto ad una domanda, il paziente non si è presentato ad una visita, la centralina che rileva le particelle inquinanti per alcune ore non ha registrato i valori.

Dati mancanti

Il dato è necessariamente mancante, es. l’individuo disoccupato non può (e non deve!) rispondere ai quesiti sul tipo di lavoro svolto

Non strutturali: il dato poteva essere presente ma non lo è per:

• Motivi accidentali (es. il paziente non si è presentato alla visita a causa di uno sciopero dei trasporti)
• Motivi legati al dato stesso (es. il paziente non si è presentato alla visita perché stava male a causa della terapia sperimentale a cui era sottoposto)

Dati incompleti

• I dati mancanti «strutturali» ovviamente non sono un problema, invece i «non strutturali» sì:
• Riducono il numero di valori osservati e quindi il contenuto informativo
• Talvolta inducono distorsioni nei risultati
• Ci sono distorsioni se la mancanza del dato è legata al valore che si sarebbe osservato
• Es. se i valori mancanti del reddito sono dovuti alla reticenza di coloro che hanno redditi alti, l’analisi dei redditi dichiarati porta ad una sottostima del reddito medio
• Es. se molti dei pazienti a cui il farmaco sperimentale provoca effetti collaterali non si presentano alle visite di controllo si potrebbe concludere erroneamente che il farmaco non ha effetti collaterali di rilievo

La statistica descrittiva

Lo scopo principale della statistica descrittiva è quello di sintetizzare e descrivere i dati attraverso:

• Grafici
• Tabelle
• Indici sugli aspetti importanti
  • Posizione (esempio la media)
  • Variabilità (esempio la varianza)
  • Relazione tra variabili

La rilevazione statistica

La rilevazione statistica è il complesso di operazioni volte ad acquisire informazioni sul fenomeno oggetto di studio:

• Se l’acquisizione delle informazioni è condotta sull’intera popolazione, viene definita rilevazione statistica totale
• Se l’acquisizione delle informazioni è condotta su una “parte” della popolazione (campione), fatta a livello campionario, viene definita rilevazione statistica parziale

I risultati di una rilevazione statistica vengono codificati in una matrice dei dati (dati: risultato della rilevazione-misurazione di caratteristiche delle unità statistiche), un modello disposto su un certo numero di righe e un certo numero di colonne dove:

• Le righe individuano le unità statistiche o unità di osservazione (RISPOSTE)
• Le colonne individuano i caratteri rilevanti o variabile (DOMANDE)

L’incrocio tra una riga e una colonna individua le modalità con cui il carattere si presenta nell’unità statistica. Formalmente una matrice dei dati presenta una colonna di sinistra che contiene le modalità o classe di misura che comprende tutte le possibili risposte relative alla variabile oggetto di studio; la colonna di destra contiene l’elenco delle frequenze per ogni classe.

Le distribuzioni di frequenza

Le distribuzioni statistiche sia semplici che multiple possono essere di frequenza o di intensità:

• Una distribuzione di frequenza è un’operazione di sintesi della matrice dei dati. Ad ogni modalità distinta di un solo carattere si associa il numero di unità statistiche che presentano quelle modalità del carattere.
• Una distribuzione di intensità associa ad ogni modalità distinta di un solo carattere, un dato statistico detto intensità, rappresentativo non solo di un ammontare ma anche di una media, un rapporto...

La distribuzione statistica di frequenza assoluta è il numero di volte in cui si verifica un evento di un'indagine statistica. Si può costruire su qualunque tipo di carattere.

La distribuzione statistica di frequenza relativa è il rapporto tra la frequenza assoluta e il numero di prove eseguite; viene misurata con un numero decimale compreso tra 0 e 1, o in percentuale. La si può costruire su qualunque tipo di carattere.

Le frequenze cumulate si possono calcolare solo se il carattere è ordinato o ordinabile (ha senso rispondere alla domanda “fino a”). Si ottiene questo tipo di frequenza sommando alla frequenza della classe corrente le frequenze di tutte le classi precedenti. In una distribuzione delle frequenze relative cumulate si cumulano le frequenze relative.

Se il carattere è quantitativo la distribuzione è detta anche seriazione di frequenza. Se il carattere è qualitativo la distribuzione è detta anche serie di frequenza. In particolare, se il carattere è il tempo si è soliti usare il termine serie storica, se il carattere è lo spazio si è soliti parlare di serie territoriale.

Classi di modalità

Elencare le modalità distinte a disposizione.

Solo sui caratteri quantitativi continui, andare ad individuare le modalità distinte non si arriva ad una sintesi dei dati e si utilizza le classi di modalità, che però presenta dei problemi:

• Quantità di classi: quante ne costruisco? Risposta soggettiva (né troppe né troppo poche)
• Stessa ampiezza o ampiezza diversa (variabili)? Quando è possibile si fanno classi della stessa ampiezza, di ampiezza costante, per default
• Chiusura delle classi: intervalli chiusi, aperti. Per molti software statistici sono chiusi a destra

Determinare k, il numero delle classi di intervallo. Ciascuna classe di intervallo ha la stessa ampiezza e si determina nel seguente modo: − = ′ = Usare almeno 5 ma non più di 1.