Statistica

Statistica lez. 1

Tre grandi macro step:

• Statistica descrittiva, come si analizzano i dati
• Probabilità, che cos’è, quali sono le regole base. No situa complesse.
• Statistica inferenziale

Libri di testo: newbold

Preappello a metà maggio.

Esame su moodle ci sono 15 esercizi da fare e devo farne giusti almeno 6. Non c’è teoria sono solo esercizi. La teoria c’è solo a distanza.

Quando parliamo di statistica associamo ad essa il concetto di incertezza. La probabilità la statistica sono termini che si associano a qualcosa che non è certo. Ed è un grandissimo problema in un mondo deterministico come il nostro.

Qualunque tipo di indagine statistica faccio, sono sempre in preda di qualche elemento di incertezza, ovvero mi possono sbagliare.

La statistica è la possibilità di individuare delle previsioni affidando a loro un certo grado di affidabilità, ovvero una misura della sua incertezza.

Il punto chiave della statistica è associare a quel fenomeno una previsione con una misura della sua incertezza.

Il linguaggio statistico

Il linguaggio statistico è un linguaggio prudente. Non dico che una cosa sarà, dico che una cosa verosimilmente sarà.

Lo statistico elabora una previsione su una base del passato, ma se il passato non è riproducibile la previsione è inattendibile. Se il dato storico non si mantiene ovvero il contesto cambia è evidente che la previsione diventa inattendibile.

Definizioni chiave

• Popolazione: insieme completo di tutte le unità oggetto di studio (studenti del primo anno di economia)
• Campione: sottoinsieme delle unità osservate (studenti dell’aula rossa)

In statistica abbiamo a che fare con una dimensione “N” di popolazione, insieme totale e abbiamo a che fare con una numerosità “n” di unità che fanno parte di quello che chiamiamo campione.

• Parametro: caratteristica specifica della popolazione (es. età degli studenti), è la grandezza che ci interessa studiare
• Statistica: sintetizza una caratteristica specifica del campione, parametro relativo al campione es. ho preso come campione gli studenti dell’aula rossa ho chiesto a loro l’età e ho riportato questa statistica su un foglio excel; tutte le altezza della popolazione degli studenti sono il parametro altezza, quando io prendo un campione faccio una statistica dell’azienda.

Esempi di popolazione

• Nomi di tutti gli iscritti nelle liste elettorali degli Stati Uniti
• Redditi di tutte le famiglie che abitano a Daytona Beach
• Rendimento annuale di tutte le azioni quotate alla Borsa di New York
• La media dei voti di tutti gli studenti della vostra università

Perché si lavora sul campione e non sulla popolazione? C’è un fatto di efficienza, di risparmio tempo.

Qual è la fregatura del campione? Se io ho 1000 studenti e ne misuro l’altezza di 10 (che sono giocatori di basket) i dati che ho raccolto con questo metodo possono essere quindi sbagliati. Questo rischio è devastante quando confondo un dato campionario (ovvero una statistica) con un dato parametro della popolazione.

Es. se misuriamo l’età nell’aula rossa e dico 20 e 3 mesi età media e poi dico che l’età media dell’università di Torino è 20 anni e tre mesi commetto un errore. Perché ho scelto un campione sbagliato, perché formato da tutti elementi che appartengono tutti al primo anno quindi tendenzialmente giovane rispetto agli studenti della magistrale.

Spesso i dati campionari (statistiche) vengono spacciati per parametri.

Come si fa a creare un campione

Es. se ho una cassetta rettangolare di mela, il fruttivendolo disonesto se ha delle mele marce le mette sul fondo, perché vi è una bassa probabilità che un cliente prenda una mela scavando sul fondo, mentre c’è un alta probabilità che prenda una mela sopra e si compri tutta la cassetta.

Il campionamento casuale semplice è il procedimento nel quale:

• Ciascuna unità della popolazione è scelta rigorosamente a caso
• Ciascuna unità della popolazione ha la stessa possibilità di essere scelta (in una cassetta di mele no perché non vedi quelle in fondo)
• Ogni possibile campione di dimensione assegnata n ha la stessa possibilità di essere selezionato

Il campione ottenuto con questo metodo è noto come campione casuale.

Statistica descrittiva e inferenziale

Sono due mondi completamente diversi.

La statistica descrittiva sono quelle tecniche per descrivere, sintetizzare ed elaborare i dati in modo da trasformarli in informazioni, questo tipo di statistica è certa.

Es. se io prendo tutti gli studenti dell’aula rossa chiedo l’età e faccio la media, perché considero solo gli studenti dell’aula rossa e la media è un dato certo.

È caratterizzata da:

• Collezionare i dati. Esempio: sondaggio
• Presentare i dati. Esempio: tabelle e grafici
• Sintetizzare i dati ∑ = Esempio: media campionaria = n

La statistica inferenziale fornisce le tecniche per estendere le informazioni e le elaborazioni ottenute da un campione alla popolazione da cui il campione è stato estratto con un certo grado di attendibilità, questo tipo di statistica ha sempre un certo grado di incertezza. Es. exit poll (statistica che dice chi è il probabile vincitore dell’elezioni)

• Stima: ad esempio, stimare il peso medio della popolazione usando il peso medio campionario
• Verifica delle ipotesi: ad esempio, verificare l’affermazione che il peso medio della popolazione è 120 libbre a partire dai dati di un campione

Inferenza è il processo tramite il quale si estraggono conclusioni o si prendono decisioni circa una popolazione sulla base dei risultati campionari.

Es. se uso l’aula rossa come campione per tutti gli studenti di economia del primo anno allora l’aula rossa è un campione e io proietto l’informazione trovata sul totale degli studenti del primo anno. E questo dato avrà un certo grado di incertezza dato all’estensione della statistica al parametro della popolazione.

Nel contesto delle elezioni se io proietto il risultato di 8000 sedi su 9000 è un gioco di statistica descrittiva o inferenziale?

Il dato delle 8000 sezioni è sicuramente descrittivo, se io voglio proiettare i dati delle 8000 sulle 9000 si tratta di statistica inferenziale.

È più attendibile l’inferenza di 8000 sedo o l’inferenza degli exit poll? Gli exit poll sono fatti su un campione limitatissimo, quindi, c’è un problema di numerosità del campione, sono fatte su intenzioni di voto non di voti reali. I dati degli 8000 sono una soluzione ai primi 2 problemi.

Processo decisionale

1. Dati
2. Informazioni
3. Conoscenza
4. Decisione

L’unica cosa che conta sono i dati, devono essere raccolti e trasformarti in informazioni (attraverso la statistica descrittiva). Trasformare i dati in informazioni vuol dire raccogliere i dati e fare una rappresentazione grafica (es. quante persone nell’aula rossa hanno 19 anni, quanti 20 ecc.) e fare la media dei dati.

Dopo di che si ragiona in un’ottica inferenziale ovvero si va a proiettare questo dato sulla popolazione e qua il punto chiave è non solo utilizzare gli strumenti di statistica inferenziale ma anche poter utilizzare tutte le informazioni a contorno.

Statistica capitolo 2

Chi conosce bene la statistica (soprattutto la descrittiva) e i suoi strumenti può fare delle manipolazioni delle informazioni, sia a livello aziendale sia a livello più generale.

Tra cui il sapere come vanno rappresentati i dati e poter cogliere quelle che possono essere delle mistificazioni che vengono create per portare le persone a farsi un’opinione in una direzione piuttosto che in un'altra sono molto forti.

Quindi non è vero che il dato è oggettivo; quello che importante è conoscere come i dati possono essere rappresentati, e di conseguenza manipolati, per comprendere un fenomeno.

Esempio tweet di trump

Grafico vero ma non tiene conto del fatto che ci sono aree desertiche nelle varie contee; quindi se invece di tener conto delle contee a favore di Trump si tiene conto della quantità di persone nelle contee il grafico cambia e cambia completamente la prospettiva.

I grafici sono corretti tutti e due ma il secondo rende più l’idea della situazione reale. Da un aspetto di consenso che pareva totalmente a favore dei repubblicani, il secondo grafico ci cambia completamente prospettiva, perché mette in evidenza quante persone ci sono in ciascuna contea e quindi quanto pesa quel voto.

A volte numeri giusti proporzione sbagliata tra i grafici, non c’è scala corretta.

Statistica descrittiva, perché somma di tutti i dati disponibili a livello nazionale, quindi il dato si riferisce alla popolazione.

Dal punto di vista matematico bisogna riflettere sulla dimensione degli omini. Non sono in scala, e come dovrebbe essere la scala? In base all’area o all’altezza.

Manca la scala di riferimento es. asse cartesiano.

Grafico su terapia intensiva dell’istituto superiore della sanità

Che è corretto rispetto a quello di speranza.

Questa torta è fatta in maniera tale da rappresentare nella parte di SX il totale dei dati, e nella parte di DX rappresenta la stratificazione del dato di sinistra. Cioè la somma dei dati da destra dà il numero di sinistra.

Una rappresentazione di questo tipo è una bestialità assoluta.

Le torte si fanno nel momento in cui io faccio una rappresentazione per fette di un fenomeno che ha diversi aspetti il cui totale fa 100. Non uso il grafico a torta per mettere in metà parte il totale e nell’altra metà parte fare la somma.

Questo è un uso sbagliato dello strumento. I dati sono giusti ma li ho rappresentati graficamente in maniera sbagliata.

(a sx ho il grafico sbagliato a dx ho il grafico corretto)

Grafico di sx: scala non parte da zero.

Facendo così potrei fare una scala arbitrariamente alta, mettendo così ancora più in evidenza la differenza tra 35 e 39,6.

A destra ho il grafico corretto e in questa situazione la differenza si apprezza di meno.

In generale: Dilatando la scala il grafico sembra che cresca in maniera significativa, se usiamo una scala con le unità molto più piccole per far si che il trend negativo non sia così marcato. Il gioco della scala si può utilizzare per una rappresentazione dei dati fuorviante.

Rappresentazioni grafiche e modelli matematici

In statistica è molto utile cercare dei sistemi matematici che spieghino la realtà, perché poi con i poteri matematici posso fare delle operazioni che con una descrizione puntuale del fenomeno non riuscirei a fare.

Per cui è molto comune fare uso di rappresentazioni grafiche per fenomeni che ci circondano, che fanno vedere la situ reale e poi tracciano delle curve che rappresentano il modello matematico di riferimento.

In questo caso ci sono i dati reali (puntinanti) in rapporto alle curve matematiche utilizzante per descrivere quel fenomeno.

Queste curve non “fittano” perfettamente (il fit è la capacità di passare vicino a ciascun punto), il fit è molto buono nella parte bassa della curva, poi ad esempio nella curva verde i dati reali tendono a crescere di meno e il fit della curva teorica del modello matematico si mantiene un po’ più alto. Lo scopo di queste rappresentazioni è quello di fare il “test fit” cioè trovare un modello matematico (una funzione matematica) che descriva meglio il fenomeno.

Se io uso questi fit con l’intento di descrivere la situazione attuale, sono in un ambito di statistica descrittiva (perché rappresento una situazione reale).

Faccio azioni da “”mago”” nell’utilizzo di questi fit nella parte del futuro. Perché se io uso il modello rosso, questo mi dice che a 45 giorni dall’inizio di febbraio avrò il picco degli infetti e poi cominceranno a scendere, mi dice questo perché la curva ho usato ha questo tipo di andamento. Il tema fondamentale è che il modello matematico potrebbe essere sbagliato, quello che è il futuro è ricco di incognite.

Il modello matematico era sbagliato (non nel senso che il matematico aveva sbagliato a fare i conti) nel senso che era sbagliato l’utilizzo di quel modello matematico.

Come faccio a sapere quale funzione va meglio? Seguendo i metodi analitici e matematici che ci consentono di fare i test fit. Ma qual è il limite dei test fit? Il fatto che continui a fare i fit sulla situ che hai a disposizione, quello che succede dopo non si sa.

L’aspetto chiave di questa situazione è che quando faccio rappresentazioni grafiche che mettono insieme dati reali e modelli matematici che si suppone siano adeguati alla rappresentazione di questi dati potrei incorrere nell’errore di utilizzare il modello matematico sbagliato e questo riesco a correggerlo solo strada facendo.

(non era questo quello del prof ma non ho trovato il suo)

Global warming e trend

In questo caso si ha un fenomeno che va da prima del 1900 e arriva fino al 2020. Possiamo dire che fino al ’40 il global warming non è stato un problema, dal ’40 all’80 la situa è stata grossolanamente stabile, dal 80 al 2020c’è stato un problema di global warming, perché la rappresentazione grafica ci dice che c’è un trend in salita. Questo tipo di rappresentazione grafica è una rappresentazione grafica tipica, è un grafico cartesiano che rappresenta l’andamento di un fenomeno nel tempo.

Quando si dice che c’è un trend in crescita del global warming si intende che idealmente si fa un fit tra i punti precedenti che si metterebbero su una linea orizzontale (negli anni in cui non c’era il global warmong) mentre dal momento in cui cresce (la temperatura globale) si metterebbe una linea crescente che sottolinea il trend crescente.

E fin qua siamo nella statistica descrittiva.

Ma la vera domanda è: cosa succederà domani?

La risposta più banale è proiettare la linea crescente in avanti.

Questa proiezione è corretta se le condizioni a contorno continuano a essere le stesse, ovvero se le fonti che generano global warming rimangono le stesse.

Queste sono tutte condizioni di incertezza; ed è evidente che l’incertezza è tanto più grande quanto più io mi allontano dai giorni nostri, per questo la fascia di allarga. Infatti trovo una situazioni in cui potrei avere quasi +3°C rispetto alla fine dell’800, o potrei averne solo +1 o addirittura +5.

Ecco la differenza tra il dato descrittivo e il dato inferenziale. Con il dato descrittivo posso dire che negli ultimi 40 anni c’è stato un trend di global warming positivo (nel senso che crescente). In statistica inferenziale abbiamo un’ipotesi che ci dice che tra il 2020 e il 2100 potremmo avere ulteriori aumenti di temperatura oppure potrebbe invertirsi la tendenza.

Quindi la nostra proiezione di statistica inferenziale è una proiezione che è fortemente affetta da una serie di fattori che ne determinano un alto grado in incertezza.

(non era questo quello del prof ma non ho trovato il suo) (Nel primo disegno avevo un punto a metà della retta in mezzo agli altri punti dispersi grafico di destra era un grafico con un punto sulla retta molto avanti dove attorno non aveva i punti dispersi che c’erano all’inizio della retta.)

Fit, interpolazione ed estrapolazione

Da questo grafico deduciamo che al crescere della variabile X la varabile Y cresce e quindi: allora il fit in questo caso è modello lineare con trend positivo e la derivata della retta sarà positivo e anche il suo coefficiente angolare.

La retta crescente è un buon fit? Si, non ci viene in mente nessun’altra forma grafica che possa passare vicino a tutti quei punti. Può non convincerci il fatto che i punti non passano vicino ma sono un po’ dispersi, se i punti fossero più vicini il fit sarebbe migliore, ovvero la rappresentazione matematica del fenomeno sarebbe più affidabile invece ora il fit è comunque buono, ma effettivamente il dato reale e potrebbe spostarsi in maniera significativa dal fit (ci sono palli azzurri molto lontani dalla linea).

Immaginiamo di avere un valore di X e cercare il valore di Y. In questo caso è ragionevole usare il fit per dire mi posizioni su questo valore della X e vado a leggere il valore della Y che corrisponde a quel fit (esempio relativo al cercare un valore in un punto della linea dove ci sono attorno alla linea molti punti dispersi, in questo caso ho bune probabilità di trovare un dato corretto). Interpolazione cioè ho dei punti distanti e un punto centrale e io stimo il punto centrale.

Estrapolazione (secondo grafico) è più rischiosa perché fuori dai dati sperimentali, stimo un punto lontano dai dati sperimentali.

La differenza tra interpolazione e estrapolazione dal punto di vista dai rischi che si porta dietro è molto alta.

Descrizione grafica dei dati

Il tema della statistica descrittiva è legato alla capacità di analizzare (fare operazione, elaborarli), rappresentarli (graficamente) e elaborarli (spigare il fenomeno rappresentato).

Tipologie di dati

I dati con cui abbiamo a che fare sono spesso dati molto diversi.

Ci sono casi in cui siamo oggetto di un sondaggio e chiedono “hai mai comprato questo prodotto? Si/no” abbiamo prenotato un albero su booking e dopo il weekend booking chiede una valutazione del posto in cui sei stato e chiedono “quanto sei stato soddisfatto? Da una stella a cinque/ poco tanto soddisfatto”

Un altro dato può essere contiamo quante persone hanno lo stesso colore di occhi. Oppure quante persone comprano un determinato tipo di azioni.

Molto spesso ci troviamo di fronti a dati che hanno risp