Data mining e machine learning - SGI, terzo anno

Settimana 1

Lezione 1 – 4/10

Data mining

Presentiamo nuovi approcci non analitici di data analysis. Affronteremo nuove tecniche di stima di tipo algoritmico. Questi metodi sono i metodi di statistica computazionale. Il data mining è l’anello di congiunzione tra la statistica tradizionale e il machine learning. In questa parte ci occuperemo prevalentemente di variabili quantitative, ma faremo anche dei cenni alle binarie. Il nostro obiettivo principale sarà utilizzare gli algoritmi per partire da un modello lineare e arrivare a un modello robusto.

Cenni storici

A partire dal 2016 troviamo una specie di bivio: statistica tradizionale vs nuove metodologie. Questo bivio nasce da due esigenze diverse: la statistica tradizionale interpreta, le nuove metodologie prevedono.

• Introduzione e argomenti principali

Vogliamo costruire un modello robusto perché il nostro obiettivo è la previsione: un modello robusto è il prerequisito di un buon previsore. Per un modello robusto dobbiamo controllare due cose: se le ipotesi su cui si basa l’inferenza sono rispettate e quindi coerenti sul modello che stiamo analizzando. Le inferenze devono essere robuste: se le ipotesi non sono rispettate vengono applicati dei correttivi per poter ricavare un modello corretto e per potermi fidare del modello; se i dati sono adeguati ad applicare un algoritmo. Un esempio può essere quello della collinearità: in assenza di questa possiamo avere un modello robusto. All’interno del modulo di ML renderemo robusto il modello ANCOVA (che contiene qualitative e quantitative). Diciamo che qualsiasi strumento statistico può essere usato come descrittivo e previsivo: in base all’obiettivo che ci poniamo dobbiamo capire quali passaggi svolgere. I passaggi chiave per irrobustire questo modello passano attraverso questi elementi: dati mancanti, eteroschedasticità, linearità, collinearità e inferenza robusta. Il filo rouge di questi elementi è: la definizione degli elementi, problemi dati da ciò sull’inferenza tradizionale e la soluzione ai problemi che questi elementi possono causare.

Ricordiamo che l’eteroschedasticità porta dei problemi agli stimatori: lo stimatore perde le caratteristiche su cui ci affidiamo per la stima. Ad esempio, sbagliano la stima della varianza e quindi questa non è robusta. Le proprietà degli stimatori sono correttezza, consistenza ed efficienza.

• Modello lineare standard (descrittivo): ripasso

Il modello regressione standard è dato dalla seguente formula: y = bX + e. Abbiamo la variabile risposta (y) che è spiegata da regressori (X) e il vettore dei parametri stimati (b), a cui aggiungiamo l’errore. Ricordiamo che i residui sono dati dalla differenza tra il vero valore e il valore stimato. Gli stimatori sono indicati come y^ e hanno alcune proprietà. Combinare i regressori serve a costruire degli indicatori sintetici per spiegare dei fenomeni. Lo scopo è sempre minimizzare la residual sum of square. Dobbiamo stimare p+1 parametri (tra cui la varianza degli errori -> varianza dei residui). Ricordiamo che lo standard error è la radice della varianza delle stime (errore di stima che c’è perché guardo un solo campione).

Le stime sono valide perché ha certe proprietà. In particolare, parliamo di BLUE (best linear unbiased model): la media dell’istogramma è pari al vero parametro (correttezza). Il parametro più efficiente è quello con la varianza più piccola. Nelle stime conta sia il numero delle variabili che la numerosità campionaria. Per quanto riguarda la numerosità campionaria è fondamentale nel caso dei valori mancanti.

Estensione

Indaghiamo il significato di coefficiente di regressione parziale. Un primo strumento per farlo è tramite la path analysis. Questa analisi serve a capire il significato dei beta parziali. La relazione che c’è tra covariata e target ha due percorsi: uno diretto e uno indiretto. Il percorso diretto collega y e x1 direttamente; al contrario abbiamo il percorso indiretto che le collega passando per x2. La somma di effetto diretto e indiretto compone l’effetto totale: l’influenza che ha una certa covariata sul target. L’effetto parziale è il totale – indiretto (percorso alternativo): l’effetto di x1 su y a parità di x2. Ovviamente, se le variabili sono incorrelate l’effetto totale è pari a quello parziale e quindi la regressione multipla è pari a tante regressioni singole.

Un altro modo per spiegare i regressori parziali è il partial plot. Definiamo X – k la matrice a cui togliamo la k-esima variabile. Se regrediamo prima y su X-k e poi xk su X-k: otteniamo y* e xk*. Se ora facciamo una regressione bivariata tra y* e xk* e stimiamo i parametri con i minimi quadrati (OLS) il bk trovato è lo stesso della regressione iniziale (matrice con xk). Bk è l’effetto di xk su y, depurato dagli effetti delle altre covariate di X-k sia su xk che su y -> l’effetto di xk su y una volta che sono stati tolti gli effetti delle altre variabili su entrambe. Questo esame ha dato origine ad analisi grafiche tra cui il partial plot. Il partial plot rappresenta lo scatter plot di y e xk al netto delle altre variabili.

Lezione 2 – 5/10

• Modello lineare generalizzato (estensione)

Il termine lineare fa riferimento ai parametri e non alle variabili. Le variabili, infatti, possono essere delle trasformazioni (come quadrati, cubi e logaritmi). In questo caso basta trasformare le variabili e applicare i soliti stimatori. Quando abbiamo un modello dobbiamo capire la relazione tra il target e le covariate. In particolare, per ricordare più facilmente, andiamo a guardare il segno del coefficiente maggiore. Il segno, infatti, fa cambiare la forma della parabola, della retta e della cubica. Facciamo un esempio: teniamo l’età come termine indipendente e lineare per spiegare il reddito. In questo caso il modello è troppo rigido. Questa applicazione vale per altri fenomeni: consiglio -> quando abbiamo l’età proviamo a inserirla almeno in un modello quadratico per spiegare meglio il fenomeno in esame.

Esempio -> Guardando un modello parabolico per i consumi in relazione al guadagno: Se b2 > 0 (dove b2 è il coefficiente della variabile al quadrato), il consumo cresce a tasso crescente (meno che proporzionale); se b2 < 0 al crescere di x, il consumo cresce a tasso decrescente; se b2 = 0, il consumo cresce al crescere di x, a tasso costante. La relazione tra x e y non è costante (dipende dalla derivata) e quindi varia al variare di x -> la derivata di x quadro è 2x, mentre nel modello bivariato la derivata è costante.

• Modelli trasformati (usando i logaritmi)

Le trasformazioni in logaritmi sono molto usate per irrobustire i modelli. Abbiamo 3 tipi di trasformazioni: linear-log (ln(x)), log-linear (ln(y)) e log-log (entrambe). Sono modelli molto flessibili che possono adattarsi a diverse situazioni. Vediamo l’interpretazione dei modelli:

• Linear-log: ha senso quando non ha senso interpretare la variazione di y con la variazione di una unità di x. L’interpretazione è data da: y aumenta di b_i quando x_i aumenta dell’1%.
• Log-linear: x aumenta di 1, y aumenta di b% (semi-elasticità).
• Log-log: quando x_i aumenta di 1%, y aumenta di b_i% (elasticità).

Nel modello lineare classico, l’aumento di y in base a x viene chiamato slope. Vediamo che cos’è e come si calcola la slope nei tre casi appena citati.

Δy β β β→+ += = -y x ε 1 2 2 Δx b_2 è la slope.

Caso 1: Caso 2: Δy-yΔy β β β→ln + += =-y x ε( )β β β→ln+ += =-y x ε 1 2 2 Δx1 2 2 Δx-x Caso 3 Δy-y( )β β β→ln ln+ += =-y x ε1 2 2 Δx-x In questo caso b_2 è l’elasticità.

Un problema che si propone ai nostri fini è: immaginiamo che qualcuno abbia stimato un log-linear e noi vogliamo altri elementi come la slope o l’elasticità. Questa cosa non è direttamente ricavabile dal log-linear perché mi dà solo la semi-elasticità. È abbastanza semplice: scriviamo le formule, andiamo a riorganizzare i termini e troviamo che l’elasticità è data da x*b2 -> dove x, di solito è rappresentato dalla media. Ovviamente l’elasticità cambierà in base al valore di x che scegliamo: nell’esempio, in base alla grandezza della casa, il prezzo aumenta. Se volessimo la slope dobbiamo, invece, moltiplicare la y*b2 -> per un loft di 100 mila dollari, la crescita del prezzo per l’aumento di un metro è di 41 dollari. Ciò per dire che abbiamo la possibilità di passare da un modello agli altri due (copiare la tabella alla slide 38).

• Come si interpretano i coefficienti di variabili dummy in un modello log-linear

Il coefficiente b_2 non ci dice la differenza percentuale tra il livello 0 della dummy e il livello 1. Infatti è solo una differenza tra il livello considerato e una media. Nell’esempio abbiamo reddito di uomini (1) e donne (0). Andiamo a calcolare il vero divario, prendendo in considerazione l’esempio:

Passando da donna a uomo, una varianza unitaria di x, determina un aumento del reddito di exp(b2) - 1 %

Tutti i modelli appena presentati possono essere applicati su più esplicative. Oltre alle trasformazioni logaritmiche possono essercene altre (come 1/x) per il calcolo pongo z = 1/x ma poi interpreto in base a x. Un altro tipo di trasformazione può essere anche la radice quadrata. Ciò che cambia è che il coefficiente sarà al netto di tutte le altre variabili.

ANOVA e ANCOVA

• ANOVA one-way

L’ANOVA è il modello principale lineare quando abbiamo una covariata qualitativa. Un esempio è il confronto delle medie del reddito in base ai livelli di x (la variabile qualitativa). Ci chiediamo se le medie condizionate di y con l’influenza dei gruppi di x sono diverse o no. Questo va controllato con un test -> come ci è stata presentata l’ANOVA.

Il modello è lineare e molto semplice: µ µ µ µ µ + + + + += = = -y ε ε ε ai i i ij j j j j j j Il valore dell’i-esima y dipende solo dall’appartenenza al j-esimo gruppo (effetto del livello).

Sotto l’ipotesi nulla le medie dei gruppi sono uguali; sotto quella alternativa, almeno una coppia è diversa. Per verificarlo, andiamo a calcolare le medie empiriche del gruppo e vediamo la distanza tra le medie -> questa quantità è la devianza tra gruppi, devianza spiegata o SSA. La SSA va al numeratore del test e ha j-1 gradi di libertà. Quanto più è grande SSA, quanto più è significativa l’appartenenza ai gruppi e quindi rifiutiamo H0. Poi abbiamo la SSE (devianza entro gruppi) con n-j gradi di libertà.

La statistica test è chiamata F e si calcola nel seguente modo:

A jSS / 1- AM S ( )F F j j1,~ = =-- - -na M SEE jSS / -n

Più è grande F, più il p-value è piccolo e quindi rifiuto H0. Al contrario, più è piccola, più è probabile che le medie siano uguali. Il p-value è dato da P(F > = Fa| H0). Se rifiuto l’ipotesi nulla c’è relazione tra x e y -> i livelli di x influenzano y.

L’R quadro è la devianza spiegata sulla totale -> più è piccolo meno x conta su y (SSA/SST). Nell’esempio 98% della variabilità è entro gruppi e solo il 2 è tra gruppi. La radice quadrata di MSE è la stima di sigma -> la radice quadrata della variabilità degli errori, è una stima del residuo medio del livello -> il modello sbaglia di 26 mila euro (nell’esempio), quindi il modello non è un granché ma ciò si vede anche dall’R quadro piccolo.

Se rifiuto H0 vado a vedere i contrasti, ovvero le differenze tra gruppi a coppie. Questo mi dà lo spettro completo della struttura di relazione tra x e y. C’è un problema però: ogni t-test ha un livello alfa di significatività diverso e quindi vado a compiere un test a livello moltiplicato di alfa. Ciò va in conflitto con il vero alfa dell’ANOVA e quindi dobbiamo fare il contrasto aggiustato. Uno dei metodi è calcolare il livello di ogni t-test ad alfa/r, dove r è il numero di livelli -> contrasti aggiustati di Bonferroni. Mi basta un contrasto significativo affinché la mia variabile sia significativa nell’ANOVA.

Nell’esempio ho 3 livelli e quindi il totale del contrasto sarebbe fatto su 3*alfa. Quindi, si fa un contrasto aggiustato dove l’alfa di ogni singolo contrasto è alfa/terzi.

I valori stimati dal modello sono le medie e vengono chiamate LSM (least square means). Quanto abbiamo presentato fino ad ora è l’ANOVA one-way (con una covariata).

• Modello ANOVA a due vie

Dobbiamo gestire la presenza della terza variabile e quindi gestire il significato di ‘al netto’. Abbiamo due possibilità: senza interazione o con interazione tra le variabili.

1. Nel caso di quella senza interazione, andiamo ad incrociare ogni combinazione tra le due variabili. Ma consideriamo solo le medie marginali. Andiamo a valutare se c’è una differenza prima tra i gruppi di A indipendentemente da B e poi il contrario. Il livello kj di y (per l’unità i) dipende dalla βµ µ + + + += = y ε ε a media generale, dal livello k del fattore A e k k k k kj j j j j dal livello j del fattore B. Gli indici a_k e b_j descrivono la differenza tra la media y del k-esimo livello del fattore (m_k - m) e del j-esimo livello del fattore B (m_j - m) dalla media totale. Nell’esempio: se c’è una differenza tra le due terre (A), questa differenza è costante per la varietà di cereale (B). Così se c’è differenza tra le colture (B), queste non cambiano quando si cambia terreno. Questo è proprio il focus del livello senza interazione. Quindi le differenze sui terreni NON dipendono dal tipo di culture e viceversa, proprio perché non c’è interazione. Come parametrizzare le variabili dummy: si usa la parametrizzazione GLM. Gli effetti principali non si fanno rispetto alla media ma rispetto a un livello base (baseline). Nell’esempio abbiamo il genere (in cui le femmine sono la base) e 3 istituti (in cui il primo è baseline). Con i risultati, vediamo che il contrasto tra genere non è significativo (per tutti gli istituti perché è un modello senza interazione). Per gli istituti, l’unico significativo è il terzo dove abbiamo un recupero maggiore per i soggetti ricoverati lì, rispetto al livello di base (il recupero è costante tra maschi e femmine). Il limite di questo modello è che ho solo la differenza tra i gruppi e il reference e non anche la differenza tra gruppi (non baseline).
2. Ora parliamo dell’ANOVA con interazione. Si inserisce l’effetto del prodotto degli effetti alfa e beta (dell’interazione tra gruppi). ( )β βµ µ+ + + + += = y ε α ε ak k k k kj j j j jkj Il livello kj di y (per l’unità i) dipende dalla media generale, dal livello k del fattore A e dal livello j del fattore B e dal congiunto livello kj di A e B. Nell’esempio maschio*istituto_2 e maschio*istituto_3. In questo caso, le medie nelle celle sono importanti. Vediamo che l’effetto del sesso è diverso tra istituti. In questo caso vediamo che gli effetti di A su y, variano nei livelli di B. Per studiare questi livelli, si parte dal modello generale che è quello con interazione. Infatti, se c’è interazione è inutile andare a cercare le differenze tra i macro-gruppi. Se l’interazione è significativa, gli effetti principali di A e B non sono interessanti da soli perché AxB lavorano insieme. Allora devo capire come l’interazione lavora: devo vedere le medie di A nei vari livelli di B (con i contrasti aggiustati), così trovo quali contrasti dei livelli A sono diversi tra loro in particolari livelli di B e viceversa.

Tipi di Sum of Square

Supponiamo di avere un modello in cui ho dell’interazione tra i fattori A, B. Scriviamo, dunque, y come: y = A,B,A*B. Possiamo avere 3 tipi di SS:

• Tipo 1:
  • Significatività di A al netto di nulla (one-way ANOVA);
  • Significatività di B (solo al netto di A);
  • Significatività dell’interazione (al netto di A e B).
• Tipo 2:
  • Significatività di A (solo al netto di B);
  • Significatività di B (solo al netto di A);
  • Significatività dell’interazione (al netto di A e B).
• Tipo 3:
  • Significatività di ogni fattore al netto di tutti gli effetti (compresa l’interazione) -> i più interessanti.

In test di questo tipo, abbiamo diversi metodi per valutare gli effetti. Gli effetti di tipo 1 sono quelli sequenziali -> conta il modo in cui pongo le variabili. Sono effetti di una variabile al netto di quello che trovo sopra -> A è il baseline di una misura e B è il trattamento.

Lezione 3 - 6/10

Commento esercizio: quando facciamo il “drop1” confrontiamo, per ogni variabile, il mode.