Appunti di Statistica

Statistica

Introduzione

Nel marketing la statistica è molto importante: analisi dei prodotti, e dei clienti, per individuare le azioni da intraprendere al fine di massimizzare i risultati aziendali. Gli analisti sfruttano informazioni (dati) che si riferiscono a ciascun cliente e addirittura a ciascuna azione (telefonata, email, sms…) che il cliente compie. È importante inoltre distinguere lettura (oggettiva) e interpretazione (soggettiva) dei risultati.

Definizione e finalità della statistica

La statistica è una scienza empirica. Essa fornisce la metodologia per descrivere, analizzare e prevedere alcuni fenomeni del mondo reale. La finalità della statistica è l’analisi dei dati che sono concepiti come la realizzazione di un fenomeno da rappresentare e interpretare. In particolare, la statistica si occupa di quei fenomeni il cui studio richiede l’osservazione di una pluralità di realizzazioni individuali.

Potremmo classificare le finalità in:

• Statistica descrittiva: sintetizzare grandi quantità di informazioni, fornendo indicazioni sul livello (e.g. media) di un fenomeno, sulla variabilità (e.g. varianza) e sulla sua distribuzione.
• Probabilità: valutare il grado di incertezza legato a particolari fenomeni di interesse mediante la costruzione di modelli probabilistici.
• Inferenza: studio delle caratteristiche di una popolazione mediante l’analisi di un campione.
• Regressione: l’individuazione e la valutazione quantitativa delle relazione fra più variabili.
• Previsione: previsione su un fenomeno di interesse sulla base di un modello che rappresenta la relazione fra un fenomeno oggetto di studio e altre variabili che hanno la capacità di influenzarlo.

Fasi della ricerca statistica

Per la ricerca statistica esistono diverse fasi:

• Definizione degli obiettivi
• Astrazione individuazione delle variabili osservabili o proxy
• Individuazione della popolazione definizione del piano di campionamento (se si tratta di un’indagine campionaria) o modellistica (se si tratta di uno studio di un fenomeno).
• Rilevazione sperimentazione, questionari…
• Registrazione dei dati:
  • Organizzazione dei dati
  • Classificazione
• Elaborazione dei dati:
  • Sintesi
  • Interpretazione
  • Inferenza

I dati

Qualsiasi analisi dei dati presuppone che essi siano organizzati in modo che i risultati non siano influenzati dalla cattiva costruzione del database. Le regole fondamentali sono:

• Verifica delle fonti
• Verifica della qualità dei dati
• Creazione della matrice dei dati

Database

Database = matrice dei dati. È la tabella formata dai dati, ovvero dalle osservazioni (valori/modalità) di tutte le variabili (caratteri) di interesse rilevate su ogni elemento soggetto dell’indagine. Le osservazioni sono dunque tutte le righe dovute ai vari soggetti in ogni variabile. Se prendiamo in considerazione ad esempio la variabile x₂, le osservazioni sono v - v - v … v_1,2 v_2,2 v_3,2 … v_n,2.

In termini tecnici troveremo:

• Unità statistiche o sperimentali (righe): supporto fisico/materiale su cui si manifesta il fenomeno/indagine
  • Popolazione / universo
  • Campione
• Caratteri (colonne): proprietà dell’unità sperimentale e il modo in cui i caratteri si manifestano possono essere:
  • Qualitativi/categorici (attributi):
    • Sconnessi: quando non hanno un ordine “qualitativo” (esempio: comune di residenza, tipo di industria, sesso, stato civile…)
    • Ordinati: quando si possono mettere in un ordine (esempio: risultato di un test o di un esame; titolo di studio, qualità lavorative…)
  • Quantitativi/metrici/numerici (misure): numeri reali che descrivono una proprietà oggettiva:
    • Discreti: insieme di modalità finito, numeri interi (esempio: numero matricola)
    • Continui: insieme di modalità infinito, numeri reali (esempio: altezza, reddito…)

Tabella di frequenza

Per organizzare i dati elementari in prospetti sintetici delle osservazioni è utile costruire una tabella di frequenza. In base al carattere che ha la modalità, la “x” si considera:

• Una mutabile statistica se esprime un carattere qualitativo
• Una variabile statistica se esprime un carattere quantitativo

All’interno della tabella di frequenza distinguiamo:

• 1° colonna: tutte le differenti modalità (in ordine crescente se il carattere è ordinabile)
• 2° colonna: frequenze associate alle modalità.

Parlando di frequenza, essa si divide in:

• Frequenza assoluta: numero di unità statistiche che presentano una data modalità: n_i.
• Frequenza relativa: numero di unità statistiche sul totale che presentano una data modalità: f_i, f_i = n_i / n.
• Frequenza cumulata: numero/frazione di unità statistiche che presentano una data modalità “minore o uguale” alla corrente. Le frequenze cumulate possono essere assolute (N_i) o relative (F_i). Le frequenze cumulate ha senso calcolarle solo per caratteri che presentano un ordinamento (per caratteri qualitativi ordinati o caratteri quantitativi discreti o continui).

Se il carattere presenta molte modalità distinte, può essere conveniente accorpare le modalità in classi, soprattutto quando si parla di un carattere quantitativo. Le classi però hanno delle proprietà da rispettare:

• Devono essere disgiunte (senza sovrapposizioni)
• Devono essere esaustive (devono contenere il minimo e il massimo osservati)
• Devono essere chiuse a destra e aperte a sinistra

In base agli intervalli che si sono creati, bisogna distinguere a loro volta:

1. Intervalli con la stessa ampiezza
2. Intervalli con ampiezza distinta. In questo caso, bisogna calcolare la densità di frequenza (d_i):
   • d_i = n_i / a_i densità assoluta
   • d_i = f_i / a_i densità relativa

In caso di caratteri divisi in classi, per calcolare la moda, dovrò prendere la modalità con densità maggiore.

Diagrammi / rappresentazioni grafiche

In base alle caratteristiche dei dati presenti nel problema potremo raffigurare le informazioni in diagrammi. Ne esistono diversi e in base alla caratteristica del dato, viene utilizzato un diagramma proprio ad esempio:

• Diagrammi a torta: utilizzati quando vi sono caratteri qualitativi sconnessi; all’interno di essi in corrispondenza ad ogni modalità si disegna un settore circolare il cui angolo al centro è proporzionale alla frequenza. In alternativa al diagramma a torta per i caratteri sconnessi (soprattutto quando le modalità distinte sono numerose) è il diagramma a rettangoli separati in cui le frequenza stanno sull’asse delle ascisse.
• Diagramma a bastoncini: utilizzato per i caratteri quantitativi discreti senza modalità in classi; in corrispondenza ad ogni modalità si disegna un segmento con altezza proporzionale (uguale) alla frequenza. All’interno dei grafici avremo nell’asse delle ascisse la modalità, mentre nell’asse delle ordinate avremo le frequenze.
• Diagramma a torri (istogrammi): utilizzato per i caratteri quantitativi continui o discreti con modalità in classi; la caratteristica di questo diagramma è che non vi sono spazi tra le varie frequenze. In questi diagrammi:
  • Altezza del rettangolo = densità di frequenza
  • Base del rettangolo = ampiezza della classe
  • Area del rettangolo = frequenze assolute.
• Grafico delle frequenze cumulate (possono essere relative o assolute):
  • Quando non sono presenti classi:
  • Quando il carattere è suddiviso in classi:

Variabili doppie

Le coppie di dati elementari (r = 1,2,…,n) (es: colore capelli / colore occhi) sono riassumibili in 2 variabili:

• X in h modalità/classi x_i (i = 1, … , h)
• Y in k modalità/classi y_j (j = 1, … , k)

Le cui frequenze si possono rappresentare nella c.d. tabella a doppia entrata.

In relazione alle frequenze marginali, possiamo anche studiare le c.d. frequenze relative, che si dividono in:

• Frequenza relativa congiunta: n_ij/n
• Frequenza relativa marginale X: f_i. = n_i./n
• Frequenza relativa marginale Y: f_.j = n_.j/n

Dalla tabella a doppia entrata si può poi ricavare:

• Distribuzioni marginali X e Y: se mi chiedono di andare a trovare un carattere univariato (esempio trovare la media del carattere X, io andrò a prendere la marginale X)
• Distribuzioni condizionate di colonna e di riga = X | y_j e Y | x_i = distribuzioni di frequenza di una variabile al variare delle modalità dell’altra variabile

Le condizionate, a differenza delle marginali, hanno le seguenti proprietà:

• Fissato j (X | y_j): n_ij/n_.j
• Fissato i (Y | x_i): n_ij/n_i.

Indici di posizione

Le rappresentazioni grafiche delle frequenze forniscono informazione dettagliata sui dati. A volte è necessario sintetizzare gli aspetti essenziali della distribuzione medianti pochi valori: indici

Gli indici di posizione costituiscono dei valori rappresentativi, intorno ai quali si distribuiscono le osservazioni. Gli indici di posizione sono delle sintesi numeriche che evidenziano delle caratteristiche essenziali della distribuzione del carattere. Spesso essi si usano per confrontare i livelli/valori tipici di due diverse distribuzioni (esempio: hanno riportato voti più alti le femmine o i maschi?).

L’indice ha delle proprietà generali che deve soddisfare affinché il risultato che ottengo sia una sintesi ragionevole:

1. Internalità (condizione di Cauchy): l’indice di posizione deve essere compreso tra il minimo ed il massimo dei dati osservati.
2. Monotonicità: se una v.s. (variabile statistica) X ha tutte le modalità (lev_j) minori o uguali a quelle di un’altra Y (es. X ≤ Y) allora la stessa relazione vale per i rispettivi indici di posizione.
3. Moltiplicatività: se le modalità di una v.s. sono moltiplicate per una costante “c” allora anche il valore dell’indice di posizione viene moltiplicato per la costante “c”.

Fondamentale, e dunque irrinunciabile, è la proprietà 1 di internalità; gli indici poi si differenziano in:

• Indice di posizione in senso stretto: se valgono tutte e 3 le proprietà
• Indice di posizione in senso lato: se almeno una delle proprietà 2 o 3 non vale

Gli indici infine si dividono in:

• Indici non analitici:
  • Moda
  • Mediana e percentili
• Indici analitici:
  • Media potenziale aritmetica
  • Media potenziale quadratica
  • Media potenziale armonica
  • Media potenziale geometrica

Moda

La moda è la modalità a cui è associata la massima frequenza assoluta o relativa o la massima densità (NON il massimo valore). La moda si può calcolare per tutti i tipi di carattere. Essa è un indice di posizione in senso lato cadendo la monotonicità. Per il suo calcolo abbiamo diverse modalità in base ai caratteri.

Per i caratteri qualitativi, quantitativi discreti e quantitativi continui in classi della stessa ampiezza:

Per i caratteri invece quantitativi continui in classi di ampiezze diverse:

• Si individua la classe modale corrispondente alla massima densità (d_i).
• La moda è il valore centrale della classe modale.

Dimostrazione con un esempio della moda: moda plurimodale o multimodale:

In questo esempio possiamo vedere che la classe modale per G₁ e G₃ è solamente una, ma per G₂ sono 3; dunque questa moda viene chiamata plurimodale.

Ricorda: La moda è la modalità cui è associata la frequenza massima e non il valore massimo.

Mediana e percentili

La mediana è la modalità che occupa la posizione centrale nella distribuzione di frequenza ordinata; ossia è quel valore x che divide i dati in due parti con numerosità uguale. Questo indice può essere calcolato, a differenza della moda, solo per variabili qualitative e ordinabili, o quantitative, quindi non per quelle qualitative sconnesse.

Per calcolare la mediana bisogna fare diversi passaggi:

In generale bisogna fare questo: in caso di numeri non ordinati (tabella di frequenza)

Nel caso invece di caratteri quantitativi continui in classi:

Risolvendo dunque l’esempio sopra riportato che ha n pari, dovremo eseguire l’equazione della mediana non 1 ma ben 2 volte, per poi trovare il valore medio fra queste dividendo la somma per 2:

• (1) = 11 + (100 − 65) 4 / 120 = 12,167
• (2) = 11 + (101 − 65) 4 / 120 = 12,2
• = (1) + (2) = (12,167 + 12,2) / 2 = 12,1835

La mediana può essere calcolata utilizzando anche le frequenze relative (quella che preferisco io utilizzare). È la modalità cui corrisponde una frequenza relativa cumulata: F_i = 0.5. Infatti, la mediana è quel valore x che è preceduto da almeno il 50% delle osservazioni ed è superato da almeno il 50% delle osservazioni.

Per caratteri qualitativi ordinati e quantitativi discreti:

• Cerco la modalità a cui corrisponde una frequenza cumulata relativa F_i ≥ 0.5

Per caratteri quantitativi in classi (continui):

• Cerco quella classe mediana a cui corrisponde una frequenza cumulata relativa F_i ≥ 0.5

La mediana è quell’indice di posizione che minimizza il costo nella formula.

• D = minimo
• a = mediana = X_0.5
• x_i = osservazione
• n₃ = numero volte osservata l’osservazione (x₃)

Tramite questa formula/equazione si possono studiare le varie distanze presenti tra la mediana e un indice di posizione e valutare quale indice sia il migliore fra tutti (il migliore sarà quello che minimizza D).

I percentili e le varie sotto-categorie (quartili)

La mediana si può anche studiare tramite i percentili: essa è il percentile di ordine 0.5

I percentili sono una modalità che divide la distribuzione di frequenza ordinata in 100 parti. In generale il percentile X di ordine P è compreso tra 0 e 1 (0<P<1); esempio: ordine 0,4 40%. Infatti si dice che la mediana è il percentile di ordine 0,5 ovvero il 50%.

Oltre ai percentili esistono i c.d. decili (dividono in 10) e i quartili (in 4).

Quartili: modalità che dividono la distribuzione di frequenza ordinata in 4 parti. Da qui si distinguono:

• 1º QUARTILE: modalità a cui è associata una frequenza cumulata pari a 0.25
• 2º QUARTILE: modalità a cui è associata una frequenza cumulata pari a 0.50, la quale corrisponde alla mediana (metà , 50%)
• 3º QUARTILE: modalità a cui è associata una frequenza cumulata pari a 0.75

Medie potenziate

Le medie potenziate si possono fare solo con caratteri quantitativi, ovvero per quei caratteri numerici. Data la v.s. (variabile statistica) X con modalità x_i > 0 (eventualmente valori centrali) si definisce media potenziata di ordine r con r numero intero = 0, ±1, ±2... Si ha ± se x è positiva, mentre soltanto + se x è negativa.

Con le frequenze assolute Con le frequenze relative:

In questo grafico viene riportato l’andamento della funzione al variare di r. possiamo dunque constatare che l’ordine crescente delle varie medie studiate sono:

Il segno ≤ (con l’uguale) è presente solo nel momento in cui la variabile è degenere/fake (ad esempio una costante).

Proprietà della media aritmetica

Operatore di Media Aritmetica

Si definisce operatore di media aritmetica M(X) la funzione che assegna ad ogni variabile X la sua media aritmetica. Essa sarà indicata con “M(X)”; è un simbolo sintetico, utile quando la media aritmetica compare in formule matematiche più complesse.

L’operatore media ha 4 diverse proprietà:

1. M(c) = c; ovvero la media di una costante è la costante stessa.
2. Sia Y = cX allora M(Y) = M(cX) = cM(X). La proprietà afferma che posso portare fuori dalla media le costanti, dato che, come abbiamo visto anche prima, la media di una costante è la costante stessa.
3. Se due caratteri X e Y si presentano con le stesse frequenze, allora: M(X ± Y) = M(X) ± M(Y). In parole povere: la media di una somma è la somma delle medie.
4. Sia Y = a + bX allora M(Y) = a + bM(X). Dimostrazione: Perché la media di una somma è la somma delle medie, ma la media di una costante è la costante stessa e la costante può essere portata fuori nel calcolo della media di una variabile con cui è moltiplicata.

Le 3 proprietà della media aritmetica

Prima proprietà della media aritmetica: la media degli scarti dalla media è nulla. La media aritmetica rende nulla la somma o la media degli...