Appunti statistica I

Appunti di statistica 1

Introduzione sulla statistica

La statistica, come ogni altra scienza, inizia come attività pratica, tesa alla soluzione di problemi concreti; solo successivamente tale attività viene affiancata da una riflessione teorica in modo da pervenire a una fase metodologica. Al fine di reperire dati ed elementi per consentire una buona amministrazione della cosa pubblica, la statistica muove i suoi primi passi come conteggio:

• Della popolazione nel suo complesso (numero delle nascite e delle morti, schiavi, …)
• Degli uomini adatti alle armi e alla costruzione di opere importanti
• Della determinazione del gettito delle imposte
• Della ripartizione dei terreni
• …

È una disciplina quindi antica: anche le popolazioni antiche utilizzavano delle statistiche. Nel 1440 il Consiglio dei Dieci della Repubblica Veneta istituisce un piano di rilevazione per classificare la popolazione secondo l’età, il genere, la professione e la condizione sociale (primo censimento «moderno»). Il libro di Francesco Maria Sansovino «Del governo et amministratione di diversi regni et republiche, così antiche, come moderne» costituisce la più antica statistica, intesa come scienza di governo. Ma è solo con l’evoluzione delle scienze, dopo Galileo, che la statistica assume le caratteristiche oggi conosciute e diventa non più solo conteggio, ma anche ricerca di un metodo, con lo scopo di:

• Dare basi scientifiche alle indagini e alle rilevazioni per garantire una buona affidabilità
• Sintetizzare in modo appropriato un insieme di dati per riuscire a descriverli

Nel XVII secolo non ci si limita più ad osservare dati di per sé, ma si cerca di arrivare a delle sintesi attraverso indici e indicatori sempre più complessi: medie, variabilità, dipendenza, etc.

La nascita della statistica moderna

Generalmente si attribuisce la nascita della statistica moderna a Giovanni Graunt (1620 – 1674) che pubblica nel 1662 a Londra le «Osservazioni naturali e politiche elencate nell’indice seguente ed eseguite sui bollettini della mortalità, dal capitano Giovanni Graunt, socio della società Reale con riguardo al governo, alla religione, al commercio, allo sviluppo, al clima, alle malattie e ai vari mutamenti della detta città». Seguono: Willian Petty (1623 – 1687) e altri esponenti, come Graunt dell’aritmetica politica; Leibniz, Halley, Toaldo che lavorarono sulla popolazione e sulle tabelle di mortalità; … Fino ad oggi: Adolphe Quetelet, Francis Galton, Karl Pearson, Florence Nightingale, Ronald Fisher… Un grande passo avanti per la statistica fu costituito dalla tecnologia: il computer permette di eseguire, in tempi rapidi, calcoli complessi con una moltitudine di dati. Oggi si parla di Big Data. Ad oggi la statistica non riuscirebbe ad andare avanti da sola, necessita dello strumento informatico che permette di eseguire i calcoli sopracitati ed ha un margine di errore notevolmente ridotto. Il software più comune e semplice è Excel.

Oggi

Come la matematica, la statistica è uno strumento che aiuta nella risoluzione di problemi semplici o complessi. Consente di analizzare e sintetizzare (riassumere) dati… e il mondo di oggi è sempre più ricco di informazioni. Oggi la statistica la troviamo ad esempio:

• Nei questionari, che servono a chi fornisce servizi per raccogliere informazioni e quindi avere un feedback (soddisfazione)
• Abbonamenti ai mezzi pubblici (dove andiamo, i nostri spostamenti, miglioramenti…)
• Carte fedeltà, che servono ai negozi/supermercati per raccogliere informazioni sui clienti
• Censimento, che è uno strumento molto antico: è il modo in cui lo Stato raccoglie informazioni sulla popolazione. In passato era un’operazione più complessa, oggi è più semplice: fino a qualche anno fa veniva fatto su tutta la popolazione ogni 10 anni, poi si va verso un censimento a campione.

La statistica aiuta a comprendere meglio la realtà nella quale tutti noi viviamo: sarebbe impossibile oggi descrivere la realtà senza utilizzare i numeri, è diventata indispensabile nel mondo di oggi. La statistica ci permette anche di fare dei confronti, ad esempio confrontare la situazione italiana con quella degli altri Paesi europei: siamo messi meglio/peggio rispetto ad un determinato argomento?

Le applicazioni della statistica

• Biostatistica
• Epidemiologia
• Demografia
• Econometria
• Statistica economica
• Statistica ambientale
• Statistica sociale
• Geostatistica
• Psicometria
• …

Si tratta di una materia che ha una molteplicità di applicazioni.

La statistica

La parola statistica deriva dal latino Status, cioè “Stato”. Originariamente, infatti, la statistica si occupava delle rilevazioni ufficiali da parte di istituzioni statali. G. Ghislini nel 1589 indica la statistica come "descrizione delle qualità che caratterizzano e degli elementi che compongono uno Stato". La statistica è l'insieme delle metodologie finalizzate alla raccolta e all'analisi dei dati per lo studio di fenomeni collettivi che presentano un’attitudine a variare. Più precisamente la statistica è l'insieme dei metodi per:

• Progettare e pianificare come devono essere raccolti i dati.
• Descrivere, sintetizzare e interpretare i dati (per la comprensione dei fenomeni), anche in condizioni di incertezza (sulla base di un'osservazione incompleta della realtà).

Terminologia statistica – parole chiave della statistica

Sono parole di cui bisogna conoscere esattamente il significato in ambito statistico.

• Caratteri, unità statistiche e collettivo
• Classificazione dei caratteri statistici
• I diversi tipi di rilevazione
• Rilevazione totale e rilevazione campionaria
• Il questionario (es. questionari Erasmus, questionario studenti lavoratori)

La statistica può essere definita come un insieme di tecniche che hanno come scopo la conoscenza quantitativa dei fenomeni collettivi (=che vengono studiati su una pluralità di soggetti). Con la statistica si studiano le osservazioni di un insieme di manifestazioni individuali (es: il corso di laurea di un insieme di studenti, il reddito delle famiglie italiane, il titolo di studio dei dipendenti di un’azienda…). Operazioni tipiche delle analisi statistiche sono:

• Il conteggio
• La classificazione
• La misurazione
• La sintesi tramite modelli esplicativi dei fenomeni reali

Caratteri, unità statistiche e collettivo

Qualche definizione:

• Unità statistica = unità elementare su cui vengono osservati (raccolti) i caratteri (es: il soggetto, la famiglia, l’azienda…). Quindi abbiamo un fenomeno collettivo che viene osservato su una popolazione, formata da unità;
• Collettivo o popolazione = insieme delle unità statistiche omogenee rispetto a un fattore;
• Carattere = caratteristica osservata sull’unità statistica. Deve presentare attitudine a variare;
• Modalità del carattere = modo di manifestarsi (come si presenta) del carattere sull’unità statistica.

Vedi l’esempio studenti partiti in Erasmus. Se leggiamo colonna per colonna: abbiamo 4 caratteri (colonne), ossia Paese, tipo di laurea, CFU conseguiti all’estero, % delle spese coperte con la borsa di studio e ciascuno di questi caratteri ha un tot di modalità (righe della tabella). Se leggiamo riga per riga vediamo le informazioni date da ogni studente, ossia le caratteristiche di ogni singola unità statistica: lo studente 1 è stato in Francia, era di laurea magistrale, ha conseguito all’estero 28 CFU e con la borsa di studio ha coperto il 40% delle spese totali. E così via per gli altri studenti. Osservazioni: in alcuni caratteri le modalità sono nomi, in altri le modalità sono di tipo numerico.

Vedi esempio (1A) del questionario Erasmus. Fenomeno collettivo=l’obiettivo dell’indagine è quello di capire quali sono le motivazioni che spingono gli studenti di Bergamo a svolgere un’esperienza Erasmus. Collettivo=tutti gli studenti di Bergamo che hanno scelto di svolgere l’esperienza (non tutti gli studenti dell’università di Bergamo). Unità statistica=il singolo studente che sceglie di svolgere l’esperienza. Caratteri=domande che vengono poste ai soggetti. Modalità del carattere=le possibili risposte alle domande. Possono variare in termini di numero.

Vari tipi di collettivo:

• Di stato o di movimento (si precisa un istante di tempo o un arco di tempo)
• Empirico o teorico (tutte le unità sono osservabili o non osservabili)
• Finito o infinito

Classificazione dei caratteri statistici

Il carattere può essere:

• Qualitativo: quando le modalità sono non numeriche (es. “Paese”, “tipo di laurea”);
• Quantitativo: quando le modalità sono numeriche (es. “CFU”, “% borsa di studio”).

N.B. Le modalità devono essere esaustive e non sovrapposte. Esaustive=devono comprendere tutte le possibili risposte dell’unità statistica. Es: tutti i titoli di studio che un soggetto può avere, non posso mettere solo triennale e magistrale perché esiste ciclo unico. Non sovrapposte=non ci deve essere una modalità che si ripete due o più volte. Es: capelli chiari, biondi, castani: i biondi cosa scelgono, chiaro o biondo?

Caratteri qualitativi:

• Sconnesso o nominale (religione, luogo di nascita, facoltà, diploma di scuola superiore, …) -> quando le modalità non hanno un ordinamento intrinseco, ossia non possono/devono essere ordinate: non c’è una modalità che precede/segue un’altra modalità. Si può dire solo se due modalità sono uguali o diverse;
• Ordinato (grado di soddisfazione, titolo di studio, giudizio, …) -> quando le modalità possono essere ordinate (c’è una modalità che precede/segue), ma la distanza tra due modalità consecutive non è costante. Il carattere qualitativo ordinato può essere:
  • Rettilineo
  • Ciclico (direzione del vento, mesi dell’anno…)

Caratteri quantitativi

Possono essere misurati:

• Su scala di intervalli: lo zero della scala non è assoluto (es. temperatura, quoziente di intelligenza…)
• Su scala di rapporti: lo zero della scala è assoluto (es. reddito, peso, altezza…)

Si suddividono in:

• Continui: quando l’insieme delle modalità ammissibili può essere messo in corrispondenza con R (numeri reali); il carattere è misurato attraverso uno strumento -> unità di misura (es. peso, altezza, reddito, distanza…);
• Discreti: quando l’insieme delle modalità ammissibili può essere messo in corrispondenza con N (numeri interi); il carattere è misurato attraverso un conteggio (es. numero di figli, numero di cellulari un soggetto).

Esempio degli studenti partiti in Erasmus: Paese: carattere qualitativo sconnesso, Tipo Laurea: carattere qualitativo ordinato (Lt prima di Lm), CFU estero: carattere quantitativo discreto, % borsa di studio: carattere quantitativo continuo (perché è espresso in percentuale).

Come acquisire i dati – le rilevazioni

I dati possono essere raccolti attraverso delle rilevazioni, che possono essere:

• Sperimentali (medicina, fisica, chimica): i dati vengono raccolti attraverso degli esperimenti, (a noi non interessa);
• Osservazionali (indagini di mercato, sondaggi): si fa riferimento a delle indagini statistiche -> principale tecnica attraverso cui acquisire informazioni su un fenomeno. Permette di conoscere un collettivo, inteso come insieme di u.s. su cui si manifesta il fenomeno oggetto di studio. (es. Indagine Erasmus).

Indagine statistica

In campo socioeconomico, l’indagine statistica serve per conoscere un collettivo di unità, inteso come insieme di u.s. sulle quali si manifesta il fenomeno oggetto di studio.

• Indagine Totale o Censuaria = si prendono in considerazione tutte le unità statistiche: i caratteri sono rilevati su tutte le u.s. del collettivo, es. il censimento;
• Indagine Campionaria = si prendono in considerazione solo alcune unità del collettivo: i caratteri sono rilevati su un sottoinsieme di u.s. del collettivo, chiamato campione.

Pregi e difetti (vedi anche pagina successiva): quella totale è più completa ma richiede tempi e costi maggiori. La campionaria è più economica e richiede meno tempo, ma sarà più incompleta. Se consideriamo un campione cd rappresentativo, il campione deve essere rappresentativo del collettivo, ossia il campione deve racchiudere nel piccolo tutte le caratteristiche fondamentali del collettivo. In tal caso, anche l’indagine campionaria è completa come una totale. L’Istat fino al 2011 portava avanti il censimento sulla popolazione (indagine totale), tutte le famiglie ricevevano un questionario al quale dovevano rispondere, era un’indagine lenta e costosa, ad oggi il censimento si fa a campione (indagine campionaria).

Dato un insieme di caratteri di interesse e una popolazione di riferimento, l’indagine va a osservare/misurare le manifestazioni (o modalità) dei caratteri sulle singole unità statistiche.

Fasi dell’indagine

La statistica esiste dove ci sono i dati. Il suo compito è quello di estrarre dai dati informazioni utili a prendere decisioni!

• Definizione degli obiettivi (definizione delle unità e delle variabili da rilevare, scelta del periodo di riferimento)
• Individuazione della popolazione e della lista delle unità statistiche
• Definizione del piano di campionamento
• Raccolta dei dati (scelta della tecnica di rilevazione, formulazione del questionario e pretest, rilevazione sul campo)
• Registrazione dei dati (registrazione su supporto magnetico, controllo e correzione)
• Elaborazione e analisi dei dati

La rilevazione dei dati

La raccolta delle informazioni può essere completa oppure parziale. È completa quando si esaminano tutte le unità statistiche che compongono la popolazione oggetto di studio.

Pregi:

• Accuratezza delle stime
• Ricchezza delle informazioni raccolte
• Esaustività

Difetti:

• Costo elevato
• Tempi di elaborazione dei dati molto lunghi
• Qualità dei dati non elevata

È parziale quando ci si limita a studiare un sottoinsieme, detto “campione” dell’insieme di riferimento.

Pregi:

• Continuità della rilevazione
• Economicità
• Indagini più mirate e approfondite

Difetti:

• Riferimento territoriale non spinto
• Variabilità campionaria

Statistica descrittiva e inferenza

La statistica si divide in statistica descrittiva e inferenziale. La statistica descrittiva fornisce gli strumenti per sintetizzare ed esplicitare in forma corretta il modo in cui il fenomeno si è manifestato nel collettivo osservato. Si limita a descrivere i dati. Mediante l’inferenza statistica è possibile misurare e controllare l’attendibilità delle informazioni provenienti da un campione. Cerca di estendere i risultati, raccolti su campioni, all’intero collettivo.

Esempio matrice

Unità statistiche: 10, sono i dipendenti dell’azienda. Caratteri:

• Stato civile -> qualitativo sconnesso (i numeri sono semplicemente codici che indicano)
• Istruzione -> qualitativo ordinato
• Soddisfazione lavoro -> qualitativo ordinato
• Numero componenti famiglia -> quantitativo discreto (perché può assumere solo valori interi)
• Reddito -> quantitativo continuo

Lettura per riga: informazioni per soggetto. Lettura per colonna: informazione per carattere (o variabile).

Come sintetizzare tutte queste informazioni?

Distribuzioni statistiche

I dati possono essere sintetizzati in tre modi diversi. Le distribuzioni statistiche descrivono il modo in cui uno o più caratteri si manifestano in un dato collettivo.

• Sintesi di un singolo carattere distribuzioni semplici
• Sintesi di due caratteri (vedere se c’è una relazione) distribuzioni doppie
• Sintesi di più di due caratteri distribuzioni multiple (non le tratteremo)

L’elenco delle modalità osservate, unità per unità si chiama distribuzione unitaria. Nell’esempio di prima: ogni colonna della matrice è una distribuzione unitaria, ossia l’elenco di tutti i valori osservati soggetto per soggetto: il primo è sposato, il secondo no ecc. Prendiamo in considerazione la prima colonna. Quale potrebbe essere una prima sintesi? Possiamo contare quanti sono i soggetti sposati e non.

Frequenze assolute

Frequenza assoluta: numero di volte in cui la modalità di un carattere viene osservata nel collettivo di numerosità n (oppure numero di unità statistiche che possiedono la stessa modalità), per cui k indica il numero delle modalità tra loro diverse. Si tratta quindi di un conteggio. La somma delle frequenze assolute mi dà la numerosità totale del collettivo (n. unità statistiche). Distribuzione delle frequenze assolute: associa alle modalità che può assumere un carattere X le corrispondenti frequenze assolute. -> ad ogni modalità associo una frequenza.

Esempio di frequenze assolute: quanti sono i soggetti sposati/quanti non sposati.