Introduzione alla statistica computazionale - parte 2

Index model

La regressione logistica fa parte di una classe di regressioni + grande: index model. Il termine index perché dietro queste regressioni, in cui la variabile dipendente è una variabile categoriale, c’è una funzione nascosta che è una funzione indicatrice. Questo è importante perché ci farà capire che in generale tutto è definito a meno di una quantità costante che in generale si fa corrispondere a 1, e quindi tutto è univocamente determinato.

La funzione indicatrice vale 1 se una certa condizione è soddisfatta, altrimenti zero. La notazione + comune è: la f indicatrice sarà 1 quando la benefit supera la mia soglia personale.

Quando ho delle variabili dicotomiche legate a una decisione, c’è appunto una decisione da prendere, e dietro queste variabili c’è una variabile benefit che misura quanto beneficio ho dal prendere una decisione piuttosto che un’altra. Ovviamente ogni decisione viene presa se il beneficio supera una certa soglia. La variabile benefit ha un valore, che può essere anche negativo, se ad esempio per me ci sono solo disagi a prendere la decisione, può andare da -inf a +inf, è continua, quindi potrebbe essere scritta come una regressione standard, come combinazione lineare dei regressori. Come collego la benefit alla scelta finale, cioè al prendere la decisione o meno? Attraverso la funzione indicatrice.

#riformuliamo: Per collegare la funzione indicatrice alla variabile Y dicotomica si passa attraverso una variabile detta latente, che misura il benefit della scelta legata al successo.

Esiste una variabile latente Y* che misura il beneficio che l’unità i ha nel prendere o non prendere il treno. La variabile benefit, come detto sopra, può essere espressa come combinazione lineare dei regressori per ogni individuo. Non è detto che l’errore sia distribuito normalmente.

Il collegamento tra Y* e Y passa attraverso la funzione indicatrice: dove 0 è la soglia individuale superata la quale noi saliremo sul treno.

#la scelta di porre 0 come soglia è arbitraria ed infatti in generale noi avremmo c come soglia.

#così facendo ho trasformato un oggetto continuo in uno 0;1, perché quando Y* supera la soglia diventa 1, quando invece non la supera diventa 0.

#passo ulteriore per legare Y a Y*:

Nella regressione logistica o probit, il link è: ma questo è anche uguale a: cioè la prob che la benefit superi la soglia.

L’errore è la variabile random. Noi ora stiamo ragionando a Beta e x costante.

Dato che l’unica variabile è l’errore, allora posso riscrivere: La soglia, che io non conosco, incide sull’intercetta.

È come se trattassi una regressione nuova dove la c è sparita dentro l’intercetta.

Se G è la funzione di ripartizione di e allora:

Ho fatto questo cambio perché io volevo sapere la prob che e fosse > di -x^tBtilde, ciò corrisponde a 1 – la prob di e di essere <= a - x^tBtilde, tale prob corrisponde alla funzione di ripartizione.

Se e ha una distribuzione simmetrica, cosa che mi devo aspettare, allora ciò diventa = a:

Quando io trovo i beta della regressione log non sono determinati univocamente, dietro c’è un’indeterminazione che è nell’intercetta e che può dipendere dagli individui, cioè dalla loro soglia personale.

Le scelte + comuni per G(x) sono la logistica.

#oss: in realtà negli index model posso pensare di scalare le variabili per la deviazione standard degli errori e riformulare il problema con coefficienti che includono la deviazione. Infatti: noi avevamo scritto questo, se e è normale, allora io per poter calcolare quell’oggetto, devo standardizzare, la media è 0, il problema sarà la dev standard. Se consideriamo sigma la deviazione standard degli errori, tanto poi sigma rimane dentro, normalizzando diventa: adesso l’errore standardizzato ha una media 0 e una varianza=1.

In questo modo ho ipotizzato che gli errori abbiano devianza 1, posso riscrivere anche così: sapendo che e cappuccio si distribuisce come una normale con media 0 e varianza 1.

#si definisce effetto parziale di un modello di regressione la derivata parziale del valore atteso di Y condizionato a x, rispetto ad un regressore:

Nel caso della logistica veniva: quindi l’effetto è tanto + grande quanto è + grande la varianza che la variabile ha, mentre nella regr lineare l’effetto non dipendeva dalla varianza ma solo dal beta.

Se la varianza è = 1 allora le due variazioni sono identiche, altrimenti tanto + la varianza si allontana da 1 tanto più le variazioni saranno diverse.

Perché è una devianza?

Se io becco il parametro giusto, allora la verosim ovvero la prob dovrebbe essere 1, ma allora il suo log(px)=0, se non lo becco la verosim sarà <1 perché non ho toccato il max e quindi il log sarà un nr negativo. Posso dire che se io metto il - il log ottengo un nr positivo e ci dice quanto hai fallito nell'azzeccare il parametro. Il 2 invece deriva dalla formula di Taylor. Quindi è come la null deviance fosse come una var totale, perché è il peggior caso che può capitare cioè quando metto il modello nullo, quindi io devo mettermi a confronto con questo e superarlo.

Quella che sta sopra è una var residua.

La devianza residua era la somma di ei^2 nell'OLS.

Perché la derivata nel punto di max ha segno negativo

Nell’ultima parentesi la variabile è il betacappuccio mentre beta* è la sua media teorica, che ha media 0 ed è normalizzata perché è moltiplicato per l’inverso della sua varianza ed è uguale ad una differenza tra 2 loglikelyhood. Questa parte è l’unica cosa che varia ed è legata ad una chiquadro, perché la parte dopo l’= è proprio un quadrato rinormalizzato.

Questo pezzo se ho beccato il parametro giusto fa 0, perché sono nel max, quindi sarebbe il log di 1 ovvero 0.

Analisi dei gruppi (Cluster analysis)

È la prima parte di applicazione della machine learning, guardo i dati per quello che sono, senza fare ipotesi. Si cerca di classificare e raggruppare i dati sulla base della similitudine che questi dati hanno. Noi dovremo definire qualcosa che misura la similarità di questi dati.

Lo scopo delle tecniche di analisi multivariata è la reduction of the dimensionality, cioè sintetizzare. Tratteremo la riduzione sia delle unità statistiche che delle variabili.

Come riduco le unità statistiche? Raggruppandole sulla base della similarità e poi sulla base di questa eleggo un individuo ideale che rappresenta il gruppo. Poi bisogna misurare quanto è vero che questo individuo rappresenta effettivamente il gruppo, cioè quanto i nuovi dati sono fedeli a quelli iniziali, per farlo guardo quanto la media e la varianza del nuovo modello coincidono con quello originale + ampio.

L’obiettivo principale è quello di considerare un gran numero di unità statistiche e creare un certo numero di gruppi distinti che contengano unità simili, in base a tutte le variabili considerate. #ricordiamo: una variabile statistica o un carattere è un insieme di caratteristiche rilevate su una o + unità statistiche.

La cluster analysis ha molte applicazioni perché ovunque c’è la necessità di raggruppare oggetti individui considerati simili secondo qualche fissato criterio.

Esempi di cluster

Situazione ideale gruppi ben definiti → Abbiamo gruppi distinti ben definiti che contengono unità simili in base alle 2 variabili.

Situazione non ideale, ma + comune. Gruppi non ben definiti → È necessario passare da questa nuvola di punti a gruppi ben definiti.

Consideriamo un insieme di n osservazioni, per ogni osservazione noi abbiamo una realizzazione del vettore delle variabili X1, X2, …, Xp.

Lo scopo della cluster analysis è di generare una partizione delle osservazioni in gruppi (clusters) che sono omogenei all’interno, ovvero le osservazioni in un dato gruppo sono simili rispetto alle p variabili interessate, e tali che:

• M<n: ovvero il nr di gruppi m deve essere molto più piccolo delle n osservazioni, almeno di un ordine di grandezza, es: se ho 100 n faccio max 10 m. quindi il nr di gruppi (m) deve essere una sintesi delle osservazioni (n).
• Ch ∩ Ck = Ø: questi gruppi costruiscano una partizione, cioè ogni oggetto appartiene ad un solo cluster e quindi questi sono ad intersezione vuota, non hanno nulla in comune. I gruppi devono essere dissimili.
• Ui Ci=insieme delle n osservazioni.

Fasi del processo di analisi dei gruppi

Dopo aver fatto un’analisi esplorativa dei dati:

• 1) Scelta delle unità di osservazione;
• 2) Scelta delle variabili;
• 3) Omogeneizzazione scale di misura;
• 4) Scelta della misura di similarità o diversità tra unità statistiche: ovvero stabilire qual è la regola per misurare la similarità o la diversità (ci sono vari modi);
• 5) Scelta dell’algoritmo di classificazione: capire dove metto i nuovi individui rispetto a gruppi già formati;
• 6) Scelta del criterio di raggruppamento;
• 7) Trovare il nr ottimale di gruppi;
• 8) Interpretazione dei risultati ottenuti.

1) Scelta delle unità di osservazione

Possiamo scegliere di osservare:

• La popolazione completa analisi descrittiva →
• Campione inferenza →

Possiamo eventualmente ponderare le unità statistiche, soprattutto nel caso di dati campionari.

2) Scelta delle variabili

In questa fase conta molto la nostra testa, sono importantissimi l’intuizione ed il giudizio del ricercatore. È una fase che determina molto il risultato dell’analisi.

Criterio di scelta delle variabili: Le variabili selezionate dovrebbero descrivere la somiglianza tra le unità statistiche relativamente al problema di ricerca affrontato. Posso considerare ricerche già fatte, teoria e ipotesi da verificare.

Sicuramente scarterò le variabili degeneri, uniformi perché sono variabili che non discriminano niente, le correlate ne tengo solo una e l’altra la scarto, e toglierò anche quelle con troppi outlier.

3) Omogeneizzazione scale di misura

Omogeneizzazione scale di misura, cioè i pesi che posso dare alle variabili, posso anche dire scalare le variabili. Si parla di ponderazione delle variabili che può essere:

• Esplicita: è una ponderazione definita a priori per assegnare maggiore importanza ad alcune variabili, lo scelgo io.
• Implicita: sono ponderazioni basate su caratteristiche delle variabili come varianze diverse, se si può meglio usare questa, correlazioni ecc.

4) Scelta della misura di similarità o diversità tra unità statistiche

Scelta della misura di similarità o diversità tra unità statistiche, quanto sono vicine o lontane le unità statistiche?

-distanza tra due u.s: osservazioni a distanza minore sono + simili. Esistono molte distanze e la scelta tra queste non è neutrale, la + usata è la distanza euclidea.

Indice di distanza-prossimità-dissimilarità- (technical point) d(i,i’): Ω R + , Ω ={(i,i’), i,i’=1,2,…,n}, è una distanza, che ci dice se siamo → simili o meno.

#proprietà:

• 1) D(i,i’)>=0, la distanza deve essere NON negativa;
• 2) D(i,i’)=d(i’,i), simmetria
• 3) D(i,i’)=0, se i e i’ hanno le stesse coordinate (da qui il nome indice di dissimilarità)
• 4) D(i,i’)> d(i,i’’) i più vicina a i’’ →

Principali indici di dissimilarità

#Principali indici di dissimilarità: queste distanze riguardano solo variabili quantitative.

• M indica il numero di variabili quantitative analizzate.
• Il primo indice indica l’unità (i e i’) ed il secondo la caratteristica (variabile) a cui mi riferisco. Quindi i e i’ sono due unità che voglio confrontare.

1) Distanza euclidea

1) Distanza euclidea: è la più usata se i dati non hanno oscillazioni forti. Es: età, reddito. Questo indice minimizza la distanza.

Esempio: Questa è la matrice dei dati, ora calcolerò la matrice delle distanze andando ad usare come indice di dissimilarità la distanza euclidea.

Per fare ad es: la distanza tra I1 e I2 farò la differenza tra i valori che si trovano nella riga I1 e i valori che si trovano nella riga I2, il tutto sotto radice.

2) Distanza euclidea quadrata

2) Distanza euclidea quadrata: è usata poco perché ha un’unità di misura che non è naturale perché è al 2^.

In pratica è come la distanza euclidea ma senza radice.

3) Manhattan distance (city block)

3) Manhattan distance (city block): è la distanza che si percorre muovendosi in orizzontale e verticale, è usata dai navigatori.

Si calcola come la somma delle distanze orizzontali e verticali tra i due punti, senza considerare la distanza effettiva percorsa ed è più grande della distanze euclidea.

4) Minkowsi

4) Minkowsi: questa distanza dipende da un indice p e si usa negli indicatori composti.

#riprendendo l’esempio di prima ora calcolo la matrice delle distanze ma questa volta usando la distanza di manhattan:

Mettendo a confronto queste due matrici noto che:

• A) La distanza di manhattan è sempre maggiore di quella euclidea dovevo aspettarmelo dato che ciò è previsto a livello teorico;
• B) La coppia + vicina resta la stessa, ovvero I1-I3.
• C) Se ordino le coppie in base alle distanze vedo che l’ordine è uguale con entrambi i tipi di distanza:

#variabili quantitative che si riferiscono ad unità statistiche in forma vettoriale, “r”-sima e “s”-sima unità statistica posso costruire la distanza tra queste due unità attraverso:

1)distanza statistica: k è l’indice della variabile, es: k=1 età, k=2 peso, k=3 altezza. sigma^2,1 è la var dell'età e via dicendo.

Se uso questa distanza giocano di + le variabili che hanno varianza piccola, perché la varianza sta al denominatore, devo usarla quando voglio premiare le variabili con meno variabilità, quando voglio dare attenzione a queste.

Essendo tutto sotto radice alla fine la var sarà la deviazione standard (v^1/2, c’è il – perché è al den).

1) Distanza di Mahalanobis

1) Distanza di Mahalanobis è simile alla distanza statistica, ma invece della varianza c’è la matrice della covarianza S. Con questa distanza le variabili che sono meno correlate pesano di più, perché S covarianza, va al denominatore, quindi + S è piccola, ovvero le variabili sono – correlate, + queste variabili pesano di +.

Vantaggi e svantaggi della distanza di mahalanobis:

• A) Tiene conto delle correlazioni tra le variabili.
• B) Se le variabili hanno correlazione 0, allora la distanza coincide con quella euclidea per le variabili normalizzate
• C) È invariante per trasformazioni di scala, perché il rapporto tra una variabile e la sua deviazione standard è invariante per un fattore di scala.
• D) È più complessa e meno intuitiva della Manhattan e Euclidea.

Distanza tra variabili qualitative

#se voglio calcolare la distanza tra variabili qualitative: distanza(i,i’)=numero di caratteri dissimili/numero tot caratteri.

Es: La distanza I1 I2= nr di caratteri dissimili/ nr caratteri ovvero, caratteri dissimili=3, tot caratteri=4, ¾=0.75.

La distanza I1 e I3 sarà, caratteri dissimili=2, 2/4=0.5

#se la variabile qualitativa fosse binaria, allora per calcolare la distanza si guarda la presenza o assenza del carattere. Dove 1=presenza 0=assenza.

a= nr di caratteri assenti per entrambi

d=nr di caratteri presenti in entrambi

b+c=nr di caratteri dissimili

Come calcolo la dissimilarità tra l’individuo r-esimo e quello s-esimo?

Dissimilarità= nr di caratteri dissimili/tot caratteri= (b+c)/p= frequenza delle caratteristiche non coincidenti.

Indici di similarità

#indici di similarità:

• M indica il nr di variabili analizzati
• 1) Correlazione

#se però le variabili sono categoriali binarie, allora per calcolare la similarità si guarda la presenza o assenza del carattere. Dove 1=presenza 0=assenza.

Dove le righe rappresentano i e le colonne i’.

a=nr caratteristiche presenti in entrambi, d=caratteristiche assenti in entrambi, b e c= caratteristiche presenti solo in uno dei due individui.

Come indici di similarità potrò usare:

• A) Phi
• B) Chi-quadrato
• C) Q di Yule

Ponderazione delle variabili (solo quantitative)

#Ponderazione delle variabili (solo quantitative)

Ponderazione implicita:

Ho calcolato la matrice delle distanze usando come indice di dissimilarità la distanza euclidea.

Noto che l’importanza di x1 sulle distanze è trascurabile, perché l’importanza di ogni variabile nella determinazione della distanza è proporzionale alla varianza della stessa. La var di x1 è molto piccola. Per poter ponderare calcolo prima la media e la varianza di ognuna delle 2 variabili.

Per assegnare lo stesso peso alle variabili procedo con la standardizzazione di queste:

Dopo aver standardizzato calcolo nuovamente la matrice delle distanze e vedo che l’ordinamento delle distanze è cambiato, perché ora la distanza minore è quella tra I1 e I3, mentre prima era quella tra I2 e I3.

Standardizzando abbiamo eliminato delle unità di misura, ora le distanze sono ad 1 cifra, ma abbiamo anche diluito le differenze tra i gruppi rispetto alle variabili + discriminanti.

Ma che cos’è dw? Distanza euclidea ponderata, quindi cambiamo unità di misura se wj=1/var(j), allora gli addendi di dw sono numeri puri, cio