Statistica

Statistica

Quando viene fatta un’indagine statistica sulla singola unità statistica, posso rilevare diverse variabili (sesso, reddito, ecc.). Se, per esempio, sto facendo l’indagine su tutti i cittadini del comune di Pescara, genererò la matrice di unità variabili. Per arrivare a questo risultato, ho già fatto una prima analisi per capire "chi" o "cosa" rappresenterà l’unità variabile (cittadino abitante del comune di Pescara) e quali saranno le variabili o le domande che dovrò fare ad ogni cittadino (Sesso, Reddito, Numero di Figli, ecc.).

Non è sempre semplice, però, la scelta di queste informazioni. Ci sono alcuni dati per i quali è più difficile generare quella struttura matriciale. Ad esempio, pensando ai Social Media, in questo momento c’è un forte dibattito sul green pass, chi è contro e chi è a favore. Se la politica vuole conoscere il sentiment dei cittadini, può prendere come base di dati o dataset i commenti o i post che i cittadini fanno sui social. Oppure, se io ho un e-commerce, posso usarlo per capire come presentare il mio prodotto, ecc. Chiaramente, abbiamo un’enorme quantità di informazioni e di immagini, e qui interviene la tecnologia che permette agli statistici di avere a disposizione questi dati in una forma che possano essere utilizzati. Quando ci si trova a lavorare con i testi (es. un tweet), bisogna sintetizzare per capire se quel testo rappresenta una posizione pro o contro. A volte devo farlo con delle immagini o con i video, ecc.

In statistica, a volte non è possibile avere tutte le unità statistiche a disposizione, o meglio non sarà possibile intervistare l’intero collettivo statistico (Collettivo = Insieme di unità statistiche omogenee rispetto ad alcuni caratteri di cui si acquisiscono informazioni per studiarne le modalità), ma si lavora su un campione (sottoinsieme). Ad esempio, se devo fare una statistica sui cittadini del comune di Pescara, chiaramente verrà intervistata solo una parte e non tutti i cittadini. Successivamente, si riporterà il risultato di questo campione ad un livello più generale. Ad esempio, io ho un budget per le interviste che mi permette di avere i dati di 100 persone dell’intera popolazione di Pescara, che è circa 120mila persone. Successivamente, bisogna "generalizzare" ad un livello più ampio, cioè dell’intera popolazione. Questa meccanica è relativa all’ambito dell’inferenza statistica, non è sempre possibile generalizzare il risultato che si ottiene.

Modalità di indagine statistica

• Indagine statistica: i dati che si vogliono acquisire si riferiscono ad una popolazione finita, le cui unità sono entità (persone, imprese, abitazioni, ecc.) esistenti, individuabili e osservabili.
• Esperimento: quando persone, animali o oggetti vengono sottoposti a un “trattamento” per osservare su di essi la risposta, ossia la reazione al trattamento (avviene soprattutto in ambito medico per testare es. effetti dei farmaci), quelli che hanno partecipato alla sperimentazione si chiameranno “trattati”.

La statistica ha come interesse principale lo studio dei “fenomeni collettivi”, il singolo individuo non ci interessa.

Terminologia statistica

• Unità statistica: Unità di riferimento su cui io voglio svolgere la mia analisi, le informazioni che rileverò lo farò relativamente all’unità statistica, l’oggetto di osservazione di ogni fenomeno individuale che costituisce il fenomeno collettivo (l’unità elementare su cui viene osservato il fenomeno oggetto di studio).
• Collettivo statistico: È l’insieme delle unità statistiche.
• Carattere/variabile: Sono le informazioni rilevanti che io devo raccogliere per ogni singola unità statistica, es. se l’unità statistica è una persona potrei essere interessato a raccogliere le seguenti variabili o caratteri: se è maschio o femmina, il salario, altezza, peso, ecc.
• Modalità/attributo: Sono le possibili risposte, es: Maschio o Femmina della specifica variabile sesso (non quantitativa).
• Fattore: È un termine che riferito ad una variabile specifica permette in base alle sue modalità di risposta di suddividere il collettivo statistico in sottogruppi.

Per poter realizzare un’indagine statistica in maniera appropriata bisogna acquisire delle informazioni principali che riguardano prima di tutto va identificata quella che è l’unità statistica. Successivamente bisogna identificare le variabili che possono essere osservate su ognuna di esse e, infine, dopo aver generato la matrice di unità variabile, bisogna cercare e utilizzare le metodologie che ci permettono di identificare l’informazione sottesa a quella matrice.

Classificazione delle variabili

• Variabile categoriale/qualitativa: Rappresenta un attributo dell’unità statistica e spesso divide le unità in gruppi.
• Variabile quantitativa: Si riferisce ad una quantità misurabile, sono delle variabili che possono essere definiti solo dopo un processo di “misurazione”, cioè esiste uno strumento che permette di misurare la variabile (es: l’altezza, il peso).

Esempio:

• Year: categoriale
• Height: quantitativa
• Gender: categoriale
• Weight: quantitativa
• Higher SAT: categoriale
• Exercise: quantitativa
• SAT: quantitativa
• GPA: quantitativa
• TV: quantitativa
• Sibling: quantitativa
• Pulse: quantitativa
• Award: categoriale

Le variabili idonee vanno scelte con cura durante la costruzione della matrice variabile dei dati. Più accurata è la fase iniziale di scelta delle variabili e più avrò dei dati affinati e sarà semplice riuscire a trovare la risposta alla domanda che mi viene posta inizialmente. Se le variabili non sono direttamente relazionate al problema che sto affrontando, quelle variabili sono di disturbo e in alcuni casi possono anche essere ridondanti. A volte, per riuscire a rappresentare graficamente la matrice, bisogna ridurre la dimensionalità delle variabili, es. sul piano cartesiano posso rappresentare solo 2 o massimo 3 variabili.

Le indagini che vengono effettuate sulle popolazione possono essere fatte in due modi: censuarie o campionarie. Quelle censuarie vengono fatte sulla TOTALITÀ della popolazione, le campionarie sono fatte su un sottoinsieme ridotto di tutta la popolazione. Chiaramente nel caso in cui si sceglie la modalità campionaria, devo fare attenzione a che le unità statistiche siano rappresentative e non presentino distorsioni (es: se sto facendo un’indagine statistica per decretare il livello di reddito o di ricchezza o povertà dell’individuo e raccolgo i dati del campione solo nel quartiere più povero o più ricco della città, avrò delle distorsioni; devo assicurarmi che non ci siano queste problematiche, solitamente si usa il metodo di scelta delle unità statistiche da interrogare in maniera casuale).

Classificazione dei caratteri

Qualitativi:

• Sconnessi: Caratteri/Variabili che hanno come modalità denominazioni verbali per le quali non esiste (e non è possibile stabilire) un ordinamento (sesso, religione, regione di residenza, luogo di nascita, tipo di laurea).
• Ordinabili: Hanno per modalità denominazioni verbali per le quali esiste un ordinamento naturale (titolo di studio, anno di iscrizione all’università, grado di soddisfazione, voto).

Quantitativi:

• Discreti: Le modalità sono numeri interi 0,1,2,... (numero di addetti di un’azienda, numero di componenti di una famiglia, numero di chiamate in arrivo da un call center).
• Continui: Le modalità sono tutti numeri reali compresi in un determinato intervallo (altezza, peso, tempo di attesa, durata di una conversazione telefonica, reddito).

(Schema riassuntivo della classificazione delle tipologie di caratteri/variabili)

Per riconoscere a volte i caratteri quando non si riesce a riconoscere la collocazione della variabile si può utilizzare il seguente schema:

Distribuzioni statistiche

Dopo aver individuato l’unità statistica, aver scelto i caratteri o le variabili, e aver raccolto i dati ed avere quindi un collettivo statistico, bisognerà fare una sintesi per migliorarne la lettura. La prima cosa che si andrà a fare sarà quella di realizzare la distribuzione statistica, cioè una rappresentazione del modo in cui le diverse modalità di un carattere si distribuiscono nelle unità statistiche che compongono il collettivo.

Distribuzioni semplici disaggregate

Indichiamo con una X il carattere/variabile di interesse (es: il peso, l’altezza, il sesso, ecc.) e con x₁, x₂, ..., x_n le modalità con cui quel carattere/variabile si può presentare all’interno del collettivo. Ad esempio avremo x₁ come modalità con cui si presenta quel carattere nella prima unità, x₂ è la modalità "assegnata" al carattere nella seconda unità e così via fino a x_N dove N è il numero delle unità statistiche.

Esempio:

X = “Colore Capelli”

• x₁ = Rosso
• x₂ = Castano
• x₃ = Biondo

Distribuzioni di frequenza

La frequenza dice quante volte quella modalità è presente all’interno di una distribuzione. Ad ogni modalità del carattere X corrisponderà la rispettiva frequenza n:

La definizione di Distribuzione di Frequenza parte da due componenti fondamentali: le modalità del carattere presenti nella distribuzione e le frequenze associate ad esse, cioè il numero delle volte che quella modalità si ripete all’interno di quella distribuzione. k è la numerosità delle modalità distinte che si presentano per quello specifico carattere all’interno del collettivo statistico, dove n₁, n₂, ..., n_k sono le frequenze delle modalità x₁, x₂, ..., x_k e il totale N è rappresentato dalla somma delle frequenze che deve necessariamente corrispondere al numero totale delle unità statistiche presenti nel collettivo statistico.

Queste sono le frequenze assolute, ma esistono anche le frequenze relative e le frequenze percentuali. Il passaggio da una frequenza assoluta ad una frequenza relativa o percentuale avviene semplicemente dividendo la frequenza x_i per il numero totale delle osservazioni N. Ad esempio, se prendiamo l’esempio della figura di sopra relativo al carattere Sesso, si avrà che le frequenze relative saranno:

La notazione delle frequenze relative è f₁, f₂, ..., f_k, quindi f_i.

Il Totale delle frequenze relative DEVE ESSERE sempre 1.

Le frequenze percentuali invece si ottengono moltiplicando per 100 le frequenze relative e si otterrà:

La notazione delle frequenze percentuali è p₁, p₂, ..., p_k, quindi p_i.

Il Totale sarà sempre il 100%.

N.B. Non si possono usare le frequenze assolute per confrontare collettivi la cui numerosità (la quantità di unità statistiche) risulta essere diversa. Bisogna prima effettuare una “normalizzazione” utilizzando o le frequenze relative o le frequenze percentuali e poi sarà possibile effettuare il confronto.

Frequenze cumulate

Le frequenze cumulate sono realizzate sommando le frequenze man mano che si presentano scorrendo la distribuzione di frequenza relativa ad un determinato carattere/variabile di un collettivo statistico. Ad esempio, avremo che nella prima riga la frequenza cumulata sarà n₁, nella seconda sarà (n₁ + n₂), nella terza (n₁ + n₂ + n₃) e così via fino ad arrivare ad n_k.

Le frequenze relative cumulate si calcolano esattamente come le frequenze relative, prendendo il valore della frequenza cumulata e dividendolo per il numero totale delle osservazioni. Identico ragionamento per le frequenze percentuali cumulate che si calcolano prendendo il valore della frequenza relativa cumulata moltiplicandolo per 100.

Esempio: Questa tipologia di distribuzione rende in maniera facile la comprensione di come siano distribuite le modalità in un collettivo, ad esempio nella distribuzione di sopra potremmo affermare che il 50% degli studenti ha un voto in microeconomia che va da 18 a 24 oppure che il 76% degli studenti di microeconomia non va oltre il 26.

Densità di frequenza

Viene utilizzata quando si hanno a disposizione dei caratteri o delle variabili che hanno la suddivisione in classi. La densità di frequenza definita con h è data dal rapporto tra la frequenza della classe n_i / l’ampiezza della classe d_i. Quindi si stabilisce quale sia l’ampiezza della classe sottraendo l’estremo minimo dall’estremo massimo di quella specifica classe, ad es: 42,5-40,5 = 2 che sarà l’ampiezza della classe (40,5-42,5). A questo punto, dividiamo il dato della frequenza assoluta per l’ampiezza della classe, quindi es: 5/2 e otterremo la densità di frequenza. Questa rappresentazione è utile quando all’interno della stessa distribuzione abbiamo un carattere suddiviso in classi che ha delle ampiezze differenti, in quel caso abbiamo un’informazione che esprime un’interpretazione più corretta del dato (es. se su una spiaggia di 10mq abbiamo 20 persone è differente dall’avere 20 persone in una spiaggia di 100mq).

Rappresentazioni grafiche

Esistono differenti rappresentazioni grafiche.

Grafico a nastro verticale

Si utilizza sia per le serie sconnesse che non, questo perché non c’è bisogno di ordinare i “nastri” in base ad una logica come nel seguente caso:

Un’ulteriore rappresentazione a barre può essere la seguente:

In questo caso si ha bisogno di una variabile “Tasso di attività” e altre variabili che in questo caso utilizziamo come “fattore” (il fattore è una variabile che permette di suddividere il collettivo in sottogruppi), in questo caso si è utilizzato come fattore la variabile “genere” che ha come modalità Maschio o Femmina e poi un ulteriore fattore utilizzato per il quale sono state ripartite le informazioni è la zona di appartenenza che ha come modalità “Nord” “Centro” “Mezzogiorno”.

La rappresentazione grafica più idonea per una distribuzione di frequenze secondo un carattere discreto è quella cartesiana e si chiama diagramma ad aste. Sull’asse delle ascisse le modalità x₁, x₂, ..., x_k, sull’asse delle ordinate le frequenze n₁, n₂, ..., n_k.

Esempio:

N.b. bisogna fare attenzione che le modalità sono obbligato a inserirle in ordine sull’asse delle ascisse.

Se invece si hanno dei caratteri quantitativi ad intervalli o in classi la rappresentazione grafica più appropriata è l’istogramma, dove l’area del rettangolo rappresenta la frequenza assoluta o relativa della corrispondente classe. L’istogramma si ottiene ponendo sull’asse delle ascisse gli estremi di classe c₀, c₁, ..., c_k e disegnando per ogni classe (c_i-1, c_i), i=1,2,...,k, un rettangolo avente per base il segmento dell’asse delle ascisse di estremi c_i-1 e c_i e per altezza la densità di frequenza n_i/d_i, dove d_i è l’ampiezza di classe.

Esempio:

Suggerimento: quando si ha a che fare con un carattere/variabile suddiviso in classi, calcolare SEMPRE la densità di frequenza, in modo che se l’ampiezza delle classi è diversa si riesce ad avere un dato oggettivo, altrimenti nel caso l’ampiezza delle classi sono tutte uguali la visualizzazione o la rappresentazione non è distorta ed è comunque uguale a quella che verrebbe se non si usa la densità ma solo le frequenze relative o percentuali.

Funzione di ripartizione

Con carattere quantitativo discreto:

Se si ha a che fare con un carattere quantitativo di tipo discreto, si rappresenta con un grafico che ha una funzione a gradini dove abbiamo nell’asse delle X le modalità del carattere in ordine crescente, poi abbiamo sull’asse delle y il valore rappresentato dalla frequenza relativa. Al successivo punto (modalità) si riparte dal valore di y precedente e si aggiunge il valore di frequenza relativo successivo (F_i) e così via fino ad arrivare a k che raggiungerà 1 sull’asse delle Y.

Esempio:

Con carattere quantitativo continuo:

Se invece si ha a che fare con un carattere quantitativo continuo si deve procedere in un modo differente, essendo “continuo” appunto, per correttezza va rappresentato con una linea/retta continua che non si interrompe. Per fare questo dobbiamo congiungere i due punti presenti e utilizzeremo l’equazione della retta passante per 2 punti come si evince dalla figura.

Quindi per ottenere i punti successivi che uniranno i due punti si attua la formula che si vede in figura.

Indici di sintesi (medie)

La media è un indice capace di sintetizzare un’informazione presente nella distribuzione di frequenza. Le medie aritmetiche possono essere fatte SOLO su caratteri quantitativi, per farlo sulle altre tipologie di caratteri bisogna cercare altre soluzioni.

Una particolare tipologia di “indice” è la Moda che può essere sempre calcolata per tutte le tipologie di caratteri. Uno schema riassuntivo per le tipologie di indici di sintesi possibili per le varie tipologie di carattere è il seguente:

La moda

La moda di un collettivo è sostanzialmente quella modalità prevalente che è espressa dalla modalità che ha la massima frequenza o il valore di frequenza più elevato.