Statistica di base, prof. Di Marzio

Statistica di base

Definizione

Dato un fenomeno d'interesse, la statistica tramite la sintesi quantitativa netrae informazioni anche per fare delle previsioni. La statistica è un modo per sintetizzare una grandissima quantità/varietà di dati per fare un trend, una previsione, dati che necessitano di elaborazione.

Terminologia

• Collettivo statistico: insieme di unità statistiche sulle quali viene studiato il fatto d'interesse.
• Unità statistiche: possono essere individui fisici o non.
• Fenomeno/oggetto di studio: consiste nello studio del carattere statistico.
• Modalità del carattere statistico: il valore osservato, il valore con cui esso si presenta o si può presentare presso un individuo del collettivo.

Carattere statistico

Il carattere statistico può essere:

1. Quantitativo: le modalità sono numeriche (altezza, peso, prezzo…). I quantitativi si dividono in:
   • Discreti: sono costituiti da numeri "separati" (es. numeri naturali), le modalità di corrispondenza biunivoca con un sottoinsieme di numeri naturali.
   • Continui: caratteri che non sono numerabili, le modalità variano all'interno di un intervallo continuo (es. l'altezza, peso…). Ci sono dei caratteri naturalmente continui e dei caratteri naturalmente discreti, tuttavia i continui sono soggetti a essere misurati e questo introduce un elemento di approssimazione che li rende discreti. L'introduzione di un'unità di misura rende tutti i continui discreti.
2. Qualitativo: le sue modalità non sono numeriche (es. il sesso, voto ottimo-buono-discreto…); possono essere:
   • Sconnessi/non ordinabili: es. il sesso, perché non hanno un ordine oggettivo noto.
   • Ordinabili: es. i voti/giudizi (ottimo-buono-discreto possono ordinarli secondo un ordine).

Indagine statistica

1. Stabilisco il collettivo.
2. Osservo il fenomeno/carattere.
3. Analizzo statisticamente i dati; a questo punto ho due possibilità:
   • Rilevo il carattere su tutti gli individui del collettivo.
   • Rilevo il carattere solo su una parte del collettivo (campione).

Quando rilevo su tutti svolgo un'analisi esaustiva che dà luogo ai metodi della statistica descrittiva; quando rilevo su un campione si dà luogo alla statistica inferenziale.

Statistica descrittiva

Sintetizzare i dati, la descrizione tramite metodi di riassunto (es. la media di tutti i miei voti).

Statistica inferenziale

Studiare solo un campione è più difficile perché si vuole sapere di tutta la collettività avendo a disposizione i dati solo di un campione portando quindi poi a una generalizzazione. I metodi di generalizzazione sono quelli della statistica inferenziale. Un suo strumento fondamentale è quello del calcolo delle probabilità.

Elaborazione dei dati statistici

Distribuzione

Come il carattere ha distribuito le modalità, come si presenta nel collettivo.

Distribuzione statistica

Rilevare un carattere d'interesse su ogni unità e ne rilevo la modalità. Può essere:

1. Disaggregata o semplice: insieme dei numeri messi uno dopo l'altro; es. rileviamo le altezze su N individui. N = 50 (1,70; 1,50; 1,65;…N) -> dati grezzi.
   • voti/giudizi N=10 (B,B,S,I,S,B,B,I,I,B)
   • Potrei anche ordinarli.

   Mettendo insieme i valori uguali ho fatto una distribuzione di frequenza.

2. Distribuzione di frequenza o aggregata: emerge la frequenza (x_i, n_i);…(x_k, n_k) modalità osservate su N individui.
   • n_i = frequenza
   • x_i = modalità, i è il numero d’ordine
   • N.B. i piccolo è il numero d’ordine, I grande è il carattere

   X₁ = I 3 = n₁

   X₂ = S 2 = n₂

   X₃ = B 5 = n₃

   X₄ = O 0 = n₄

   N.B. NELLA DISTRIBUZIONE SEMPLICE i RIGUARDA L’INDIVIDUO, NELLA DISTRIBUZIONE DI FREQUENZA FA RIFERIMENTO ALLA MODALITÀ; N=NUMEROSITÀ DEL COLLETTIVO.

Frequenze

• Frequenza assoluta: n_i
• Frequenza relativa: f_i è data dal rapporto frequenza assoluta/N; mi dice quante volte ricorre nel collettivo una modalità. \( f_i = \frac{n_i}{N}, \; 0 \le f_i \le 1 \)
• Frequenza cumulata assoluta: N_i sono date dal cumulo delle frequenze. \( N_i = \sum_{j=1}^{i} n_j \)
• Frequenza cumulata relativa: F_i si calcolano dividendo le frequenze cumulate sul totale N. \( F_i = \frac{N_i}{N} \)

Esempio

Rileviamo delle altezze

X = carattere altezza

{1,75 ,1,78 , 1,80 , 1,78 ,1,78 , 1,75 ,1,82 , 1,60 ,1,55 , 1,82 ,1,67 , 1,67}

N = 12

12 1 1

Ripasso della sommatoria

La sommatoria è il modo sintetico per indicare una somma. Gli addendi sono caratterizzati da un PEDICE.

\( \sum_{i=1}^{3} x_i = x_1 + x_2 + x_3 \)

i = variabile muta

Proprietà della sommatoria

• Moltiplicare per una costante a: a non varia al variare dell’indice della sommatoria.

  \( \sum_{i=1}^{3} a \cdot x_i = a \cdot \sum_{i=1}^{3} x_i \)

• Sommatoria di termini costanti: gli addendi sono tutti uguali (a+a+a…) sommati per n volte.

  \( \sum_{i=1}^{n} a = n \cdot a \)

Rappresentazione grafica

Si usano diversi tipi di rappresentazione in base alla frequenza che si ha davanti:

Diagramma a barre

È usato per la distribuzione di frequenza semplice (assolute o relative); ascisse= modalità, ordinate= frequenza (assoluta o relativa).

n_i (o f_i)

n₂

n₁

n₃

x₁ x_i x₂ x₃

Funzione di ripartizione

È usata per le frequenze cumulate (assolute o relative) ed è detta anche forma a scalini; il grafico delle cumulabili è subito riconoscibile perché le barre sono sempre crescenti; il valore più alto assunto sarà 1 se è un grafico di frequenze cumulate relative, altrimenti N se sono frequenze cumulate assolute.

Distribuzione di frequenza

• Raggruppamento delle modalità in classi: es. voglio raggruppare la popolazione italiana in base al reddito; evidentemente si avranno tantissimi valori di difficile lettura sia con una distribuzione semplice che di frequenza. Allora si associano le frequenze a intervalli di modalità.
• Distribuzione di frequenza di un carattere suddiviso in classi: per classe si intende un intervallo delimitato da un estremo superiore e uno inferiore. Con n_i in questo caso si intendono il numero di individui che hanno presentato modalità incluse nella classe in cui rientrano. È un metodo che sicuramente facilita e sintetizza ma come ogni metodo di sintesi si perdono delle informazioni, in questo caso si perdono informazioni sulle modalità, abbiamo esclusivamente la classe; per perdere meno informazioni possibili le classi vanno fatte più strette possibili. Esempio ho una fascia di reddito tra 5000 e 10000 euro, io non posso sapere se è fatta da tutte persone che hanno reddito 7000 o tutte 9999 ecc…in questo senso perdo le modalità.
• Classe n_i
  • C₀-C₁ n₁
  • C₂-C₃ n₂

Le classi avranno ampiezze diverse. Si considerano classi ampie agli estremi, e via via più strette avvicinandoci al centro. Le classi più ampie tendono ad avere più individui, le classi meno ampie meno individui. Dividendo la frequenza, assoluta o relativa, associata alla classe per la dimensione della classe si ottiene la densità di frequenza.

n_i

Densità di frequenza = \( \frac{n_{i}}{a_{i}} \)

a_i = ampiezza classe i-esima

n_i = frequenza assoluta della classe i-esima

Posso costruire ora il grafico mettendo in ordinata la densità e in ascissa le modalità.

Istogramma di densità

\( d_{i} = \frac{c_{1} - c_{0}}{a_{1}} \)

n₁ = \( \frac{d_{1}}{a_{1}} \)

\( \sum{a_{i}} = \sum{N_{i}} \) = numero del collettivo

La frequenza della classe è pari all’area del rettangolo

Distribuzione statistica tramite indici sintetici

Quando abbiamo una serie di voti solitamente non si guarda al singolo voto ma alla loro media. Quando ci troviamo di fronte a caratteri qualitativi come il sesso, i nomi, i colori ecc…diventa più difficile sintetizzarli in un unico numero. Si procede in primis con una distinzione tra i caratteri:

• Caratteri qualitativi ordinabili
• Caratteri qualitativi non ordinabili
• Caratteri quantitativi

Caratteri qualitativi non ordinabili

Es. i nomi, il sesso, i colori… {Marco, Giovanni, Paolo, Francesca, Cinzia}

x_i n_i

Considero come elemento di sintesi la modalità a cui è associata la frequenza maggiore; questo indice che individuo si chiama moda.

M 1

G 3

P 18

F 2

C 1

Moda: modalità del carattere a cui corrisponde la frequenza maggiore. Mi serve a trasmettere il grosso dell’informazione. L’indice di sintesi, o indice di centralità, serve per rappresentare un carattere qualitativo non ordinabile.

La mediana

La mediana, come la moda, è un indicatore di centralità che sfrutta le informazioni dell’ordinamento tra le modalità; più informazioni ci sono più è efficiente. È un indicatore semplice ma è implementato a seconda del tipo di dato che abbiamo. Una volta ordinate le N osservazioni per mediana si intende la modalità associata all’informazione che si trova al centro dei dati ordinati. Equipartisce la distribuzione ordinata dei dati. Il fatto che la distribuzione sia ordinata è necessario.

Implementazione numerica della mediana

Se abbiamo un numero dispari è facile individuare la mediana.

X_{\(\frac{N+1}{2}\)}

Se abbiamo un numero pari di individui si considerano i 2 individui, la coppia, al centro della distribuzione; la coppia al centro può:

• Avere la stessa modalità; es. ordino dei giudizi (I, S, S, O) -> mediana è S
• Le modalità sono diverse; in questo caso si dice che la mediana non è definita. Es. (I, S, D, O)

Questi sono esempi con caratteri qualitativi ordinabili, non posso fare la mediana ad esempio delle modalità maschio e femmina.

Caratteri quantitativi

Si sfrutta la loro natura numerica: \( \frac{x_{N}}{2} + 1 \)

E se dovessimo fare la mediana di un carattere quantitativo distribuito in classi? {20, 25, 30}

Es. età= {18, 20, 25}

Calcolo della mediana

1. Individuo la classe mediana.
2. Dentro la classe mediana determino la mediana.

Classe mediana: si identifica usando la distribuzione delle frequenze cumulate (N_i) individuando quale contiene il carattere centrale. Qual è la mediana dei numeri da uno a 21? È 11 (21 + 1 tutto diviso 2). Il carattere centrale rientra nella seconda classe 20-25 che ha frequenze cumulate da 6 a 12. Ora bisogna trovare la mediana dentro la classe che abbiamo individuato.

x_i + 1 è la classe mediana.

Per ipotesi gli individui all’interno della classe mediana sono equi-ripartiti: da x_i a x_i+1 ogni modalità ha la stessa frequenza.

N + 1 /2 (M non la conosco, ma conosco la frequenza associata alla classe) (N_i - x_i+1) / x_i +1/x_i M (N - x_i + 1) / x_i e

Con un nesso di proporzionalità tra i segmenti blu e verdi posso trovare la mediana:

x_i +1 N_i ((N + 1 - x_i) / x_i - x_i +1) - N_i e / M

La media

Considerando un carattere quantitativo il calcolo della media si distingue a seconda se si ha una distribuzione semplice o di frequenza:

• Distribuzione semplice

  \( \bar{x} = \frac{1}{N} \sum_{i=1}^{N} x_{i} \)

  Si fa la somma degli individui.

• Distribuzione di frequenza

  Per trovare la media di un carattere diviso in classi si calcola la distribuzione data dai valori centrali delle classi che sostituiscono le classi. A quel punto si avrà una distribuzione di frequenza:

  \( \bar{x} = \frac{1}{N} \sum_{i=1}^{t} v_{c} n_{i} \)

Esempi numerici

1. N = {1, 3, 3, 2, 4, 5, 5, 1, 8, 3}

   \( \bar{x} = \frac{10 + 5 + 5 + 1 + 8 + 1 + 3 + 3 + 2 + 4}{10} = 3 \)

   Utilizzando la distribuzione di frequenza: x n_i

   1

   2

   3

   4

   5

   8

   \( \bar{x} = \frac{1 \cdot 3 + 2 \cdot 1 + 3 \cdot 3 + 4 \cdot 1 + 5 \cdot 2 + 8 \cdot 1}{10} = 3.4 \)

Proprietà della media aritmetica

1. Internalità: la media aritmetica è sempre compresa tra la modalità minima e la modalità massima osservate nelle distribuzioni.

   \( x_{min} \le \bar{x} \le x_{max} \)

   È una proprietà che ne garantisce la rappresentatività.

2. Quantità invariata: la somma delle modalità/osservazioni è pari a (N volte la media). Definizione della media aritmetica come quantità invariante: si intende quella quantità che sostituita ad ogni osservazione lascia il totale invariato.
3. Scarti dalla media: la somma degli scarti dalla media è nulla.

   \( \sum_{i=1}^{N} (x_{i} - \bar{x}) = 0 \)

4. Centralità: la media sta al centro della distribuzione = la somma dei quadrati degli scarti della media è inferiore o uguale alla somma dei quadrati degli scarti da qualunque quantità.

   \( \sum_{i=1}^{N} (x_{i} - \bar{x})^2 \le \sum_{i=1}^{N} (x_{i} - a)^2 \)

   a è un qualsiasi elemento dell'asse reale.

5. Equivarianza: rispetto alle traslazioni e trasformazioni di scala. Traslazione di scala: es. abbiamo tre altezze: 1,75, 1,78, 1,80 traslo l’intera distribuzione di una quantità pari a 3 cm: 1,78, 1,81, 1,83.
6. Proprietà associativa della media aritmetica: supponiamo di dividere il nostro collettivo in L gruppi. Che rapporto c’è tra la media del collettivo e la media dei gruppi. La media generale è data dalla somma della media dei singoli gruppi moltiplicata per la numerosità dei gruppi e il tutto diviso la numerosità del collettivo.

   \( \bar{x} = \frac{1}{N} \sum_{i=1}^{L} N_{i} \bar{x}_{i} \)

Proprietà della mediana

1. Internalità: la mediana è quella modalità che una volta ordinate le osservazioni dalla più piccola alla più grande bipartisce la distribuzione.

   \( x_{min} \le M \le x_{max} \)

2. Equivarianza: rispetto alle traslazioni e altre operazioni simili.
3. Centralità: è centrale rispetto alla "distanza di Manhattan" \( d(x, y) = |x_1 - y_1| + |x_2 - y_2| \). Questa distanza è sempre più lunga della distanza euclidea.