Foundations of Probability and Statistics - Appunti completi

Foundations of Probability and Statistics

A.A. 2020/2021

Unimib, LM DataScience
Professoressa Elena Siletti

Il documento contiene gli appunti, completi di grafici ed esercizi, delle 12 lezioni teoriche del corso di Foundation of Probability and Statistics. NON comprende la parte di laboratorio su R.

Lezione 1

Dati: osservazioni raccolte sulle caratteristiche di interesse e raggruppate collettivamente. I dati possono essere ottenuti per osservazione diretta, esperimenti, studi osservazionali, esperimenti, questionari. I dati possono provenire anche da dati già raccolti e memorizzati per altri scopi (dati secondari). Le fonti dati più prestigiose sono l’ISTAT e la Banca d’Italia.

Popolazione: insieme di tutte le unità statistiche, individui od oggetti che si vogliono studiare. Dimensione della popolazione: numero delle unità statistiche della popolazione (Simbolo N). Censimento: studio statistico dell’intera popolazione. Campione: sottoinsieme della popolazione di riferimento, parte della popolazione nella quale possiamo ottenere i dati. Il fine di ogni studio è quello di apprendere informazioni dalla popolazione. Si utilizza quando non è possibile studiare l’intera popolazione, per i più diversi motivi.

Con le statistiche descrittive si sintetizzano le informazioni di una collezione di dati. La statistica inferenziale permette di passare dal campione alla popolazione. Una sintesi numerica per la popolazione è un parametro, una sintesi numerica per un campione è una statistica. Noi siamo interessati ai parametri. Quando si ha un’indagine campionaria i parametri sono sconosciuti.

Statistica: funzione nota dei dati campionari, si applica ad un campione che la sintetizza in uno scalare. La qualità dell’inferenza è strettamente legata a come il campione rappresenta la popolazione di riferimento, per questo la casualizzazione è fondamentale, grazie alla quale possiamo ottenere un buon campione. (Dimensione campionaria —> n).

Campione casuale semplice (CCS): ogni campione con la stessa dimensione ha la stessa probabilità di essere selezionato. Per poter ottenere un CCS abbiamo bisogno di identificare tutti i soggetti di una popolazione (Abbiamo bisogno della sampling frame).

Passi del metodo statistico:

• Disegno: pianificare come generare i dati, decidiamo come otteniamo i dati, costruzione del questionario.
• Descrizione: sintesi dei dati ottenuti, utilizzando grafici, tabelle, sintesi numeriche (statistiche descrittive). Cerchiamo di ridurre i dati senza distorcere né perdere l’informazione.
• Inferenza: ci occupiamo di fare previsioni basate sui dati osservati, per far fronte all’incertezza con un modo oggettivo. La parte inferenziale aiuta a far fronte all’incertezza in modo oggettivo. Per trattare l’incertezza si sfrutta spesso la probabilità.
• Interpretazione: spiegare perché vengono effettuate determinate scelte.

Lezione 2

Quando si parla di errore campionario dobbiamo considerare fattori come:

• Errore di campionamento: accade quando si usano campioni non probabilistici, es: campione volontario.
• Errore di risposta: Il soggetto dà una risposta errata. Può essere dovuto anche ad un errore nella domanda, incomprensione, ecc.
• Mancanza di risposta: alcuni soggetti non possono essere raggiunti, non rispondono a delle domande, non vogliono partecipare. La distorsione può essere sull’intera indagine o solo su alcune risposte.

Tecniche di campionamento probabilistico:

• Campionamento sistematico: Indicata la popolazione campionaria con n e la popolazione (N), definiamo K (skip number) come K=N/n (passo di campionamento). Si svolgono 2 step: estraiamo il primo soggetto, che viene scelto secondo CCS, i successivi vengono selezionati sulla base del passo di campionamento.
• Campionamento stratificato: Dobbiamo considerare la popolazione come divisi in gruppi separati, i gruppi devono essere omogenei secondo alcune caratteristiche. Si estrae casualmente da ciascuno strato. Per decidere quante unità estratte si può fare un’estrazione proporzionale o non proporzionale. Utilizziamo la tecnica non proporzionale se è difficile capire quante unità appartengono ad ogni singolo strato oppure se vogliamo rappresentare delle minoranze. Per poter effettuare questo campionamento dobbiamo conoscere lo strato al quale ogni US appartiene. Dobbiamo avere insiemi disgiunti.
• Campionamento a grappoli: È un campionamento a cluster, consideriamo un numero di gruppi in cui è divisa la popolazione, i cluster devono essere eterogenei. L’idea è che ogni cluster sia una “piccola popolazione”. La popolazione deve essere divisa in un grande numero di cluster, vengono poi estratti casualmente alcuni cluster. È utile quando la lista di campionamento non è disponibile. Funziona bene all’aumentare dell’eterogeneità interna del cluster.

Strati: utilizziamo tutti gli strati ma selezioniamo solo alcune US.
Grappoli: selezioniamo solo alcuni cluster.

Nella pratica si utilizzano campionamento multistage, si combinano vari metodi di campionamento.

Le fonti:

Le fonti sono istituti o enti che producono informazione statistica. È possibile classificare le fonti in base a:

• Natura dell’ente: possono essere istituzionali (ISTAT, ministeri, dipartimenti, regioni, province, prefetture, comuni), pubbliche o di erogatori di servizio pubblico (ACI, ISS, CONI, INAIL), private (associazioni, consorzi, organizzazioni sindacali), enti di natura scientifica (università, enti di ricerca).
• Scopo della rilevazione: rilevazioni amministrative, censimenti, indagini campionarie.
• Territorialità: internazionali, nazionali, locali.

Siti di riferimento: eurostat, istat, OECD, banca d’Italia, ARS, European Central Bank.

Le unità/soggetti di una popolazione possono essere individui, famiglie, scuole, città, ospedali, aziende, stati, ecc. Dobbiamo decidere cosa misurare e come misurarlo. La prima cosa che dobbiamo fare è cercare di capire cosa vogliamo misurare e in che modo. Una misura deve avere:

• Validità: descrivere ciò che intende misurare e riflettere accuratamente il concetto.
• Affidabilità: deve essere consistente, coerente, garantire che il soggetto darà la stessa risposta se gli si dovesse porre nuovamente la domanda.

Variabile

Una variabile è una caratteristica che può variare valore o modalità tra i vari soggetti di un campione o della popolazione. I valori o le modalità che una variabile può assumere devono essere presi dalla scala di misurazione. Ad esempio la scala di misurazione del sesso consiste in due etichette: M e F (scala nominale). Il metodo statistico da applicare ad una variabile dipende dalla sua scala di misurazione.

Le variabili possono essere distinte in quantitativa o qualitativa.

• Quantitativa/numerica: Una variabile è chiamata quantitativa quando la scala di misurazione ha valori numerici che rappresentano diverse grandezze della variabile (quantità).
• Qualitativa/categoriale: Una variabile è chiamata qualitativa quando la scala di misurazione è un insieme di categorie.
• Nominale: Una variabile è nominale quando nessuna categoria è maggiore o minore di qualsiasi altra categoria, le categorie non hanno un ordinamento naturale, si può solamente constatare l’uguaglianza o la disuguaglianza. Per esempio: stato civile, sesso, ...
• Ordinale: Una variabile si chiama ordinale quando la scala categoriale ha un ordinamento naturale dei valori (classe sociale, grado scolastico, ...). L’ordinamento deve essere oggettivo.
• Continua: Una variabile è continua se può aver associato un numero infinito di possibili valori di numeri reali, è invece discreta se i suoi possibili valori sono conteggi (0, 1, 2, ...)

Es: Stipendio annuo (continuo), numero di figli (discreto), numero di anni di istruzione (discreto). Una variabile è continua se le sue modalità provengono da una misurazione, una variabile è discreta se la sue modalità provengono da un conteggio.

Tabelle e grafici:

Lo scopo delle statistiche descrittive è quello di riassumere i dati per facilitare l’assimilazione delle informazioni. A seconda della natura del fenomeno va scelto il grafico e la tabella più opportuna.

Distribuzione di frequenza: è la sintesi della matrice dati. Per ogni livello ho una riga della tabella, indipendentemente dalla dimensione della popolazione o del campione, è un elenco di possibili modalità - valori - classi per una variabile, insieme ai loro conteggi - frequenze - percentuali.

Nella prima colonna abbiamo le modalità: categorie, valori o classi. I conteggi sono il numero di osservazioni per ogni modalità.

Frequenza relativa: numero di osservazioni di una categoria diviso per il numero di osservazioni totali, questo numero è compreso tra 0 e 1. Si ottiene la proporzione della modalità indagata all’interno della popolazione. Si parla di percentuale quando abbiamo la frequenza relativa moltiplicata per 100. Se ho solo le frequenze relative o percentuali perdo la dimensione del fenomeno. Se sommo i conteggi infatti ottengo n, se sommo le relative devo trovare 1.

Per avere un’idea più chiara sui dati è utile guardare il grafico della distribuzione di frequenza. Se costruisco la distribuzione di frequenza per fenomeni ordinali l’ordine deve essere quello imposto (solitamente dal piccolo al grande). Per le variabili nominali il grafico migliore è il grafico a torta (tranne quando abbiamo proporzioni simili o un numero enorme di categorie, in questo caso è da privilegiare un grafico a barre). Vanno utilizzare le frequenze relative se devo effettuare dei confronti.

Per le variabili ordinali il grafico migliore è il diagramma a barre, tranne quando si vuole enfatizzare la quota delle osservazioni nelle diverse categorie, in quel caso si usa il grafico a torta. L’ordine delle barre segue l’ordine naturale delle categorie.

Dati qualitativi nominali:

La rappresentazione grafica più indicata è un diagramma a settori circolari, ovvero a torta, soprattutto se si manifesta con poche modalità e perché in generale si è interessati a valutare la composizione della popolazione. Per costruire il grafico a settori circolari o a torta si ricavano gli angoli dei diversi settori utilizzando la seguente proporzione: trattandosi di gradi sarebbe necessario ricavare i primi e i secondi ma per semplificazione si può approssimare ai gradi.

Dati qualitativi ordinali:

La rappresentazione più indicata è un grafico a barre, l’altezza dei rettangoli dipende dalle frequenze considerate (assolute, relative, percentuali). La base delle “barre” è uguale e lo spazio tra le stesse, in presenza di mutabili con almeno 3 modalità, resta costante, ovvero le barre sono equidistanti. L’area dei rettangoli non ha importanza.

Indici di posizione o misure di tendenza centrale:

In generale vengono chiamate medie, si distinguono medie che sono funzioni di tutte le determinazioni della variabile, ad esempio la media aritmetica, e medie che sono individuate da particolari valori o modalità della variabile, ad esempio la moda e la mediana. Data una variabile quantitativa X, che assume su N unità statistiche i valori non decrescenti X₁, ..., X_N, sono denominate medie quelle particolari funzioni che soddisfano le seguenti proprietà:

• Internalità: la media non deve essere inferiore al più piccolo dei valori osservati né superiore al più grande, ovvero deve essere interna al campo di osservazione.
• Moltiplicativa: la media segue le variazioni dell’unità di misura, ad esempio, se la statura totale rilevata su N individui viene espressa in metri, anche la media è espressa in metri, ma se si modificano gli N valori in centimetri, anche la media subisce tale modifica.
• Monotonicità: se almeno uno dei valori aumenta, o diminuisce, restando invariati tutti gli altri, la media aumenta o diminuisce.

Moda: La moda è la modalità o il valore a cui è associata la frequenza massima, è individuabile per tutti i tipi di fenomeni. Se è unica si dice fenomeno unimodale, se a due o più modalità sono associate le stesse frequenze più elevate si è in presenza di un fenomeno bimodale o plurimodale. Se i valori sono raggruppati in classi si parla di classe modale, ovvero la classe a cui è associata la densità di frequenza massima, e la moda, convenzionalmente, è il valore centrale di tale classe. Solitamente si identifica come valore rappresentativo della classe il valore centrale.

Mediana: La mediana per un fenomeno qualitativo ordinale, poste N osservazioni in ordine non decrescente, viene definita mediana quella modalità associata all’unità statistica che occupa la posizione centrale nella distribuzione ordinata del fenomeno. Questo fa dire che non ha senso calcolare la mediana per i fenomeni nominali. Se N è dispari si ricava un’unica posizione mediana, se N è pari ed il fenomeno è qualitativo ordinale, se le due posizioni mediane identificano due differenti modalità allora la mediana non è definita. Per definire la mediana delle distribuzioni sono utili le frequenze cumulate.

Indici di variabilità:

Un fenomeno che assume sulle unità osservate la stessa modalità ha variabilità nulla e la variabile ad esso associato si chiama degenere. Ci interessano le caratteristiche che cambiano al variare dell’unità statistica. La variabilità dei fenomeno qualitativi si indica propriamente con il termine mutabilità. La mutabilità è l’attitudine di un fenomeno qualitativo a manifestarsi con modalità differenti. Gli indici che misurano la mutabilità sono chiamati indici di eterogeneità ai quali vengono contrapposti gli indici di omogeneità.

Indice di eterogeneità di Gini: Assume valore minimo, ovvero di minima eterogeneità o massima omogeneità per G = 0. Assume valore massimo, ovvero di massima eterogeneità o minima omogeneità per G = (k-1)/k. Quindi il massimo dipende dal numero k delle modalità con cui si manifesta il fenomeno. Per ottenere un indice normalizzato, ovvero un indice che varia tra 0, minima eterogeneità, ed 1, massima eterogeneità, è necessario dividere l’indice rispetto al suo massimo.

Lezione 3:

Variabile quantitativa:

Deve essere legato alla natura del fenomeno come fenomeno che esprime delle quantità, non semplicemente a delle etichette numeriche.

Continuo: realizzazione che proviene da una misurazione, si manifesta con un’infinità di possibili valori.

Discreto: conteggi, consideriamo gli interi.

L’intento della statistica descrittiva è quello di sintetizzare i dati per rendere più comprensibile l’informazione sottostante. Il primo passo è la costruzione delle distribuzioni di frequenza. Quando il fenomeno si manifesta con un numero di valori limitato, la distribuzione di frequenza è di tipo puntuale. Le frequenze assolute sono i conteggi, possiamo ricavare le frequenze relative come rapporto tra frequenza assoluta e numerosità totale. Il valore deve essere sempre compreso tra 0 e 1. Xi sono i valori osservati, le frequenze percentuali hanno scopo meramente collegato al confronto. Per quanto riguarda i fenomeni almeno ordinali hanno senso anche le frequenze cumulate, ovvero la somma delle frequenze precedenti del determinato valore che ci interessa.

Rappresentazione delle variabili quantitative:

Quando abbiamo una distribuzione per singoli valori, il grafico migliore è quello chiamato per ordinate, dove sulle x abbiamo i valori e sulle y le frequenze, si utilizzano le frequenze percentuali se vogliamo fare confronti. Si potrebbe fare un grafico a barre. Quando si ha una quantità elevata di valori, per rendere con una tabella l’informazione in modo sintetico si raggruppa in classi. Le classi dovrebbero essere equi-ampie oppure si scelgono raggruppamenti naturali (es: età delle diverse fasce scolastiche).

La rappresentazione cambia se le classi sono equi-ampie oppure no. Raggruppando in classe abbiamo una approssimazione della realtà, non abbiamo la stessa informazione che abbiamo nella matrice dei dati, perdiamo il valore “vero”. L’approssimazione l’avremo anche in termini di indici e misure sintetiche, se essi si calcolano dalla distribuzione di frequenza. Abbiamo una rappresentazione della realtà, non una sintesi. Viene comunemente considerato come valore rappresentativo della classe quello centrale.

Per le variabili quantitative, se i valori sono raggruppati in classi/intervalli nell’istogramma, distribuzione di frequenza, il grafico migliore è in cui:

• L’altezza rappresenta il numero di osservazioni negli intervalli, solo per intervalli ugualmente ampi.
• Se gli intervalli non sono ugualmente ampi è necessario utilizzare la densità, ovvero il rapporto tra i conteggi e la larghezza.

Le altezze delle barre corrispondono alle frequenze, se le classi sono equi-ampie, se invece non lo sono l’altezza corrisponde alla densità di frequenza, data dal rapporto dalle frequenze corrispondenti e l’ampiezza della classe. In questo caso è la somma delle aree che corrisponde alla frequenza totale. Se le frequenze usate sono le assolute allora l’area corrisponderà ad n, altrimenti sarà 1 se uso le relative.

Data una variabile quantitativa X, che assume su N unità statistiche i valori non decrescenti X₁, ..., X_N,