Appunti delle lezioni - Statistica, Marco Perone Pacifico

CSZStatistica Lezione 1

21 febbraio 2017

Leggere capitolo 1

• Cos’è la statistica? Definizione non univoca. Definizione del testo: “ho dei dati e cerco di interpretarli e capire dei fenomeni”.

Statistica descrittiva e probabilità

• Statistica descrittiva: descrizione, riassume quello che è il fenomeno guardando i dati.
• Probabilità: strumento necessario per l’inferenza statistica, spiega come trattare l’incertezza. Capitoli 3-4-5 sono di probabilità e variabili aleatorie, capitoli 3-4 non saranno parte dell’esame ma li dobbiamo sapere. Per gli esercizi possiamo cominciare dal capitolo 6.
• Inferenza statistica: dopo aver sintetizzato e descritto, cercare di trarre delle conclusioni.

Statistica descrittiva

Cerca di riassumere, visualizzare dati e cercare di capirne qualcosa, tabelle e grafici, sintesi, numeri chiave che possono far capire qualcosa, correlazione. Necessità di scrivere i numeri, per la statistica servono molti numeri. Prima informazione che si va a cercare è dove tendono ad accumularsi i dati, cioè quello che è il centro di un dataset, media aritmetica. Somma diviso numero di osservazioni.

Variabilità nel dataset

Somiglia al Sigma di probabilità, misura la stessa cosa. Indice chiamato deviazione standard. Somma delle distanze dalla media al quadrato fratto n-1 sotto radice. Oltre a dire quanto variano le variazioni dice quanto la media rappresenta bene il fenomeno. Quando la deviazione è grande la media non è rappresentativa delle situazioni.

• Perché questa formula serve? L’abbiamo ottenuta con gli scarti della media, facciamo una sorta di media degli scarti (li ho elevati al quadrato e sotto ho n-1, non è una media). L’indice calcolato con n-1 dà una stima migliore di quello che è il sigma, questo indice infatti non è uguale al sigma, n-1 invece di n. I quadrati servono per motivi tecnici, se non avessi i quadrati la somma degli scarti sarebbe sempre zero perché altrimenti si compenserebbero. S non è altro che la media degli scarti di ciascuna osservazione della media, di fatto dice quanto la media rappresenta bene ciascuna osservazione. Se s è piccolo la media è vicina alle osservazioni, se s è grande le osservazioni sono lontane dalla media.
• Disuguaglianza di Chebyshev: per ogni numero positivo a la frazione di osservazioni compresa nell’intervallo. Quanto più s è piccolo tanto più grande è il numero, quindi maggiore è il numero di osservazioni simili alla media, osservazioni concentrate intorno alla media. Valori piccoli di s la media rappresenta bene la situazione.

Quantili

Altro indicatore che può essere centro di distribuzione è la mediana: valore che divide la distribuzione in due parti di ugual numerosità. Per calcolarla si prendono tutti i dati, tutti in ordine crescente, si prende quello che sta in mezzo. Se n è un numero pari avrò due numeri centrali, prendo i due centrali e prendo il punto medio tra essi. Generalizzazioni della mediana: quartili (divide la distribuzione in 4 quartili, 4 parti di uguale numerosità, i 3 quartili dividono la popolazione in 4 intervalli, ciascuno di questi contiene il 25% della popolazione) il quantile di α (quantile di livello alfa) generico è più grande di una frazione α di una osservazione e più piccolo di una frazione 1-α.

Calcolo dei quantili

(Non serve per l’esame)

A cosa servono i quantili? In genere possono servire per confrontare diverse popolazioni laddove interessano (confrontare i poveri della popolazione, se siamo una compagnia assicurativa studiare il 95 percentile per capire quali sono le perdite alte possibili che possono capitarci). Altra cosa i quantili forniscono una misura della variabilità, distanza interquantile dice ad esempio Quanto è ampio il quartile che contiene il 50% della popolazione. Informazioni sul centro, info sulla variabilità, info sull’asimmetria.

Boxplot

I quattro puntini sono osservazioni anomale. 5 linee orizzontali che sono i quartili. La parte centrale è il box, in cui la linea più grossa è la mediana, l’altezza della scatola è la distanza interquartile, dà un’idea della variabilità, poi ci sono i due baffi, il minimo ed il massimo della distribuzione. Asimmetria: ampiezza molto più piccola rispetto a quella che sta dall’altra parte.

Nel confronto tra boxplot: Sommari dei 5 numeri sulle nuvole inseminate e non inseminate. La mediana degli inseminati è più alta del terzo quartile dei non inseminati, quindi a questo livello nel gruppo degli inseminati abbiamo solo il 50% dei valori più bassi, mentre abbiamo più del 75% delle osservazioni più basse.

Media o mediana?

In linea di massima si usa sempre la media. La media è:

• Più facile da ottenere
• Più comoda da trattare matematicamente
• Legge dei grandi numeri: sotto condizioni opportune, che sono indipendenza e identica distribuzione tra variabili aleatorie, la media di un campione al crescere di n all’infinito tende ad avvicinarsi al valore atteso della popolazione.

La mediana invece:

• Molto più scomoda
• Molto più difficile da trattare
• Per calcolarla su un milione di osservazioni queste vanno riordinate
• Molto meno sensibile alla presenza di outliers, cioè di osservazioni anomale. Outliers sono dati strani rispetto alla popolazione.

A seconda della situazione è meglio l’una o l’altra. Se gli outliers mi spostano di tanto la media allora uso la mediana.

Istogramma

Bisogna fare attenzione all’ampiezza delle classi che potrebbe non rendere utili i risultati. 2 gruppi abbastanza separati, addensati intorno ad una moda (il valore più alto)

• Primo gruppo concentrato intorno ad una classe, più stretto
• Secondo gruppo un po’ più disperso, un po' più largo.

Se guardiamo i due gruppi separatamente i risultati ottenuti sono diversi, ma media e mediana sono quasi coincidenti. Questi sono i due boxplot: Si vede l'esistenza dei due gruppi, molto separati. Nei due gruppi abbiamo una certa simmetria. Il primo è molto più alto, il secondo molto più basso, poi una più larga dell’altra, questo perché il primo gruppo è più concentrato ed il secondo meno concentrato. I boxplot permettono un confronto in quantili.

Relazione eruptions-waiting

Diagramma di dispersione: Per ciascuno degli individui su cui è stata fatta l'osservazione si prendono le due variabili considerate e si mettono nel diagramma.

La correlazione

Vediamo se le variabili tendono ad assumere valori grandi simultaneamente, quindi anche piccole simultaneamente oppure no. Vediamo nel grafico che a valori piccoli del tempo di eruzione corrispondono valori piccoli del tempo di attesa, stesso vale per i grandi, relazione crescente. In altri casi si può avere andamento decrescente.

Indice di correlazione

Il denominatore è la deviazione standard delle due variabili, il prodotto delle deviazioni standard delle due variabili. Andamento crescente, una volta traslati gli assi le osservazioni sono in maggioranza nel primo e nel terzo quadrante, questo per via dell’andamento crescente. Allora se è vero questo quando faccio il prodotto tra le coordinate i prodotti sono moltissimi positivi e pochi negativi, quando faccio la media questa verrà positiva. Il numeratore della correlazione allora è positivo (caso andamento decrescente negativo) la correlazione è positiva nel caso di correlazione crescente, negativa per correlazione decrescente. Il valore numerico senza segno dice quanto l'andamento crescente è intenso. L’indice è detto anche indice di dipendenza lineare, perché è fortissimo quando i punti sono su una linea, tende a misurare quanto i punti stanno su una linea.

• Se r = 0 nello scatterplot i punti sono su una palla più o meno informe, non vi è correlazione o quasi.
• R = 0.5 la correlazione quasi non si vede, andamento leggermente crescente o decrescente.
• R = 0.9 il fenomeno di andamento crescente o decrescente tra le due variabili è evidente.

Correlazione a blocchi: decrescente, a valori bassi della X corrispondono valori bassi di Y: È come se avessimo osservato due variabili su due popolazioni diverse e le abbiamo messe insieme, allora le studio separatamente.

I disturbi ci possono essere, sono magari rumore di fondo e magari 2/3 popolazioni diverse, forse non mi accorgo del fenomeno.

Lezione 2: 23 febbraio

Variabili aleatorie VA

Variabile aleatoria è un esperimento probabilistico in cui gli esiti possibili sono numerici, abbiamo la retta reale R (insieme reale).

Esempio

Acquistiamo due componenti elettronici ciascuno dei quali (indipendentemente l’uno dall’altro) può essere accettabile o difettoso. A come accettabile e D come difettoso, con probabilità:

• 0.7 A
• 0.3 D

Quello che può succedere qui è: Ω = {(A,A), (A,D), (D,A), (D,D)}

La probabilità di ciascuno è la moltiplicazione delle probabilità di ciascuno. A,A allora 0.7x0.7

Noi siamo interessati solo ad una cosa: X = numero di componenti funzionanti. I risultati possono essere:

• 0. 0.09
• 1. 0.21+0.21 = 0.42
• 2. 0.49

Sono di numeri, quindi stiamo parlando di variabile aleatoria. La probabilità che siano entrambe rotte è 0.09, la probabilità di averne uno A e uno D è 0.21x2, entrambi A 0.49.

Esempio

Arriviamo alla fermata dell’autobus, sulla fermata c'è scritto che in una fascia oraria il bus passa ogni 12 minuti. X = quanto tempo devo aspettare il bus. Anche qui il risultato è incerto ma sono dei numeri. Il tempo che devo aspettare è un tempo compreso tra 0 e 12 min. Tutti i possibili risultati all’interno di un intervallo.

Distribuzione di una VA

Conoscere la distribuzione significa saper dire per ogni intervallo (a,b] qual è la probabilità che X abbia un valore appartenente a quello intervallo. Devo conoscere la sua funzione di ripartizione di una variabile aleatoria X: è una funzione che ad ogni numero reale associa un valore nell’intervallo [0,1].

È definita così :

Per X che va all'infinito la probabilità va a zero. Per X che va a più infinito la P vale 1, è sempre non decrescente e ha delle probabilità di continuità. Se conosciamo la distribuzione possiamo dare tutte le risposte dell’esempio precedente. Quindi la funzione di ripartizione permette di poter dare un numero per qualsiasi intervallo a,b. Con pochi artifici dalla funzione di ripartizione possiamo trovare la probabilità di qualsiasi intervallo, lui l'ha definito così per comodità.

Variabili aleatorie di due tipi

• Discreti
• Continue

Variabili aleatorie discrete

Una variabile aleatoria X è discreta se può assumere al massimo un insieme (finito) numerabile di valori. (Un insieme numerabile può essere messo in corrispondenza biunivoca con i numeri naturali)

Esempio

Numero di componenti accettabili di cui prima. I valori possibili erano 0,1,2 insieme finito. In genere per una variabile aleatoria discreta indichiamo con:

Se conosco tutte le x e le p allora conosco la distribuzione di X poiché x e p definiscono completamente la distribuzione delle variabili. Nell’esempio di prima qual è la probabilità di avere almeno una componente sana? Se conosco le p allora posso determinare la probabilità di qualsiasi evento.

Variabili aleatorie continue

X è una variabile (assolutamente) continua se esiste una funzione:

Quindi X è variabile continua se ammette una funzione di densità.

• La probabilità non deve mai essere negativa.
• L’integrale deve fare 1 perché se valgono le due condizioni allora f è una funzione di densità.

Se voglio trovare la funzione di ripartizione in un certo punto z (z qualsiasi reale):

Quindi la relazione tra la funzione di ripartizione è la funzione densità: la f di ripartizione è una primitiva della densità (F è primitiva di f) quindi f è la derivata di F. Il passaggio tra f di ripartizione è la densità si ottiene facendo l'integrale andando da una parte all'altra è la derivata al contrario.

Esempio

Quello della fermata dell’autobus. Questa f soddisfa le due condizioni, integra 1, è maggiore di zero. Questa potrebbe essere una funzione che rappresenta quelle probabilità. Allora con quale prob aspetto tra 5 e 8 minuti? Se X è continua allora la funzione di ripartizione è continua. Quindi:

Ovvero la funzione in quel punto coincide con il limite.

Esempio

Se X è una variabile aleatoria continua la probabilità che assuma un valore esatto è uguale a zero per tutti i numeri reali. Questo non è vero per le variabili aleatorie discrete. In particolare se X è una variabile aleatoria discreta la sua funzione di ripartizione F(x) è una funzione a gradini.

Nell’esempio di prima:

Quindi se X discreta F(x) funzionerà a gradini, l'ampiezza del salto è uguale alla p corrispondente.

Variabili aleatorie doppie

(X,Y) è una variabile aleatoria doppia. Guardiamo due risultati simultaneamente. Se è una variabile aleatoria doppia conoscere la distribuzione di (X, Y) vuol dire saper calcolare probabilità che (X,Y) 22.

Quale è lo strumento per calcolare queste probabilità? Devo conoscere la funzione di ripartizione congiunta.