Appunti completi di Data mining

Data mining

A.A. 2023/2024

Federico Clerici

Federico Clerici

Indice

Introduzione .......................................................................................................................................... 2

Modello lineare standard (ripasso) ................................................................................................... 2

Modello ANOVA (covariate qualitative) .............................................................................................. 3

Modello ANCOVA (modello covariate miste: qualitative e quantitative) ....................................... 4

Interazioni .............................................................................................................................................. 4

Proprietà stimatori OLS in varie situazioni ........................................................................................ 5

1. Missing data ................................................................................................................................... 6

2. Multicollinearità .......................................................................................................................... 7

3. Linearità ......................................................................................................................................... 7

Regressione non parametrica: modelli additivi (studiare da PDF e-learning) .............................. 9

Ramsey reset test ................................................................................................................................. 14

4. Eteroschedasticità ...................................................................................................................... 15

5. Outliers ........................................................................................................................................ 18

6. Model selection ............................................................................................................................... 21

Inferenza robusta ............................................................................................................................... 23

Metodo bootstrap .............................................................................................................................. 23

Riepilogo modello robusto ............................................................................................................... 24

Step finale ............................................................................................................................................. 25

Regressione logistica .......................................................................................................................... 26

Odds ratio (OR) ..................................................................................................................................... 27

Stima dei parametri MLE-IRLS .......................................................................................................... 27

Wald test .............................................................................................................................................. 28

Diagnostiche del modello logistico ................................................................................................. 28

Principale uso del modello logistico ............................................................................................... 29

Perché il logistico è un classificatore lineare? ............................................................................... 30

Modello logistico robusto ................................................................................................................ 30

Logistica con target a J livelli ........................................................................................................... 31

1 Federico Clerici

Riassunto data mining

Introduzione

Obiettivo: costruire un modello lineare robusto.

➔ È un modello che fornisce un’inferenza robusta (affidabile).

➔ Fondamentale per machine learning, in quanto se vogliamo usare un modello per fare previsioni su nuovi dati, avere un modello che fornisce inferenza robusta (affidabile) è un prerequisito per essere un buon previsore.

Dobbiamo controllare:

• Se le ipotesi su cui si basano gli stimatori sono rispettate, migliorandoli o cambiando metodo di stima se necessario.
• Se i dati hanno le caratteristiche necessarie per applicare un modello.

➔ Se non è così applico pre-processing alle variabili.

Modello lineare standard (ripasso)

−1 ( = )

La stima dei parametri corrisponde al vettore −1.

➔ ( )

È ottenuta minimizzando gli errori al quadrato (OLS). è la matrice di correlazione, mentre è la matrice di covarianza.

Coefficienti di regressione parziale = + + +.

Abbiamo il seguente modello: 0 1 1 2 2.

Interpretazione: è l’effetto di su depurato dell’effetto totale delle altre variabili 1 1 (correlazione) = − 1 3 2.

➔ Per questo motivo è importante studiare le interazioni tra variabili all’interno del modello.

Tramite i partial plot in R riesco ad avere un’idea dell’effetto delle singole variabili, in quanto isolo il loro effetto sul target.

2 Federico Clerici

Modello ANOVA (covariate qualitative)

ANOVA ad una via.

➔ Abbiamo una sola variabile qualitativa (A).

➔ → Studiamo se c’è differenza in media al variare dei livelli di A ci chiediamo se c’è dipendenza in media = + = + − + = +∝ +.

Modello ANOVA: ∝.

Dove è l’effetto del valore di A.

Abbiamo quindi il seguente test d’ipotesi: : = ⋯ = = 0 1 { : ≠1.

Contrasti

Se rifiutiamo H0 nel test ANOVA, possiamo procedere ad individuare quali medie sono diverse tra loro (valuta gruppo vs gruppo ). Per fare ciò utilizziamo i contrasti. i j.

Si definisce “contrasto” una combinazione lineare delle medie delle variabili in modo tale che i coefficienti sommati diano 0. Otterremo da tale combinazione un valore k, che utilizziamo per impostare il seguente test d’ipotesi: : = 0 ( . )0{ : ≠ 0 (. )1.

Verifichiamo tale ipotesi mediante la costruzione di una statistica T (n.d.r.).

Il valore F nell’output R indica la forza di associazione tra var. risposta e una covariata.

➔ Più il valore è elevato e più sarà significativa la differenza o il parametro.

I contrasti possono essere valutati:

• A posteriori: confronto le medie di y tra tutti i possibili contrasti a coppie dei livelli di A.
• O∝/uso correzione di Bonferroni: il p-value diventa (dove r=n contrasti) in modo da evitare l’aumento globale di alpha (inflazione dell’errore).
• A priori (o pianificati): sono contrasti effettuati per “certi” livelli d’interesse prima di → raccogliere i dati devono essere indipendenti, ovvero non devono fornire informazioni sul risultato dei rimanenti contrasti a priori.

ANOVA a due vie senza iterazione

Utilizziamo per valutare l’effetto di due covariate categoriali sulla media di y. = + = +∝ + +.

Modello: ∝ Dove e sono gli effetti delle due covariate A e B.

• La verifica del test d’ipotesi viene fatta in modo analogo a quanto detto prima, con la differenza che sono presenti 2 ipotesi nulle, una per ogni covariata.

3 Federico Clerici

ANOVA a due vie con iterazione

(∝ = + = +∝ + + ) +.

Modello:

• È presente l’effetto congiunto di A e B.
• Abbiamo 3 ipotesi nulle: una per ogni covariata e una per l’interazione.

Se c’è interazione tra A e B vado a studiare le LSmeans (medie ai minimi quadrati) di A nei livelli di B per capire come AxB lavorano insieme. Oppure studio i contrasti tra tutte le LSmeans.

Tipi di Sum of Squares (SS)

Ci sono 3 tipi di somma dei quadrati che si possono ricavare da un modello:

• Type I SS (sequenziale):
• Calcolato aggiungendo in modo sequenziale le variabili.
• No interazione e no A al netto di B.
• Usato per ANOVA one way.
• Type II SS: tiene conto degli altri fattori ma non dell’interazione.
• Type III SS: tiene conto di tutti gli altri fattori, compresa l’interazione (useremo questo in quanto è il più interessante e completo).

Modello ANCOVA (modello covariate miste: qualitative e quantitative)

∑ = + + +.

Modello: 0 1.

Es. prezzo case = f(dicotomica(A ), categoriale(I ), quantitative(x ,…, x ))1 j 1 p.

Costruiamo il test d’ipotesi in modo analogo all’ANOVA: : = = = = 00 1 1{ : ≠1.

Interazioni

Se gli effetti principali A e B non sono interessanti (né le loro stime OLS) da soli, significa che potrebbero lavorare insieme.

➔ Dobbiamo capire come lavora l’interazione.

Per fare questo proviamo ad inserire alcune interazioni che riteniamo potrebbero essere interessanti dopo il primo modello. Posso procedere in due modi:

• Studio stime ai minimi quadrati (Emmeans in R) di A nei livelli di B e viceversa, in modo da trovare la migliore combinazione.
• Studio i contrasti tra tutte le stime ai minimi quadrati.

4 Federico Clerici

Modello lineare robusto

Un modello lineare robusto deve rispettare le seguenti ipotesi:

• Linear Functional form.
• Non stochastic independent variables (corr(x,61541;) =0).
• Independent observations (supponiamo sia verificato).
• Representative sample and proper specification of the model (no omitted variables).
• Normality of the residuals or errors (innocuo, non verifichiamo).
• Equality of variance of the errors (homogeneity of residual variance).
• No multicollinearity.
• No autocorrelation of the errors.
• No outlier distortion.

Proprietà stimatori OLS in varie situazioni

)(̅ =

• Correttezza: no bias, (media uguale alla situazione a.).
• Consistenza: correttezza asintotica, se aumenta n, allora varianza dello stimatore tende a 0 (ottengo una stima uguale alla situazione a., corretta).
• → Se campana spostata gli stimatori sono sempre inconsistenti e con bias.
• Efficienza: varianza minore possibile (uguale alla situazione a.).
• Situazione a: tutto okay, stimatore corretto, consistente ed efficiente.
• Situazione b: è presente eteroschedasticità. Le stime dei parametri sono corrette e consistenti, ma inefficienti.
• Situazione c: non ci interessa.
• Situazione d: non ci interessa, assumiamo indipendenza tra i residui.
• Situazione e: è presente una covariata endogena (dipendente da altre covariate).

Il termine d’errore potrebbe essere correlato con le covariate. Ogni variabile endogena ha associato un errore, pertanto risulta correlato con l’errore associato alla variabile → OLS risposta. con bias e inconsistenti.

• TSituazione f: c’è collinearità e quindi non c’è efficienza -> non posso fare X . OLS con bias, inconsistenti e inefficienti.
• Situazione g: viene esclusa una covariata -> non possiamo controllare questa cosa, va ripensato il modello. OLS con bias e inconsistenti.

5 Federico Clerici

• Situazione h: peggior casistica, fa cadere tutte le altre ipotesi. Le stime risultano essere distorte e inconsistenti. Gli OLS sono inaffidabili.

Il primo strumento diagnostico per capire quali ipotesi non sussistono è il plot dei residui. Vediamoli di seguito.

• Residui vs valori stimati.
• Se i residui si distribuiscono lungo una linea orizzontale significa che i residui sono lineari (da qui comincio a valutare presenza/assenza di eteroschedasticità).
• Normal Q-Q.
• Non ci interessa.
• Scale-location.
• Questo grafico mostra come i residui sono distribuiti rispetto alle covariate (per verificare presenza eteroschedasticità).
• Residui vs Leverage.
• Ci consente di individuare gli outliers che risultano essere influenti per la stima del nostro modello (vedremo più avanti).

Vediamo ora gli step necessari per la costruzione di un modello robusto.

1. Missing data

Ci possono essere diversi tipi di missing data:

• Missing completely at random (MCAR) -> caso raro.
• NA non dipendono dalle osservazioni delle variabili X e Y nei nostri dati.
• Posso procedere ad utilizzare solo le righe complete.
• Missing at random (MAR).
• NA dipendono dalle osservazioni delle variabili nei nostri dati.
• Posso imputare i dati.
• Missing not at random (MNAR).
• NA dipendono da variabili non osservate (non possiamo agire su queste se non sappiamo quali sono).
• Non posso imputare i dati.

Missing data imputation with naive methods

Sostituiamo i valori mancanti per una variabile con la stima della media/mediana/moda.

• Pro: utile quando abbiamo MCAR.
• Contro:
• Riduzione artificiale variabilità.
• Cambia il peso delle correlazioni tra le variabili.

Missing data imputation with non-naive methods

• Con modelli.

Prevediamo il valore della covariata x ponendola come variabile dipendente rispetto jalle altre covariate (escludendo la var. risposta).

• Fully Conditional Method (FCS).

Metodo di imputazione più complesso che stima i valori attraverso l’estrazione di k campioni, si fittano k modelli e si calcola la media dei valori stimati.

6 Federico Clerici

• È il metodo più utilizzato da R (MICE imputation).

➔ Se una variabile ha più del 20% di missing data la elimino dal dataset.

2. Multicollinearità

Possono esserci due scenari diversi:

• Perfetta multicollinearità.

TX X singolare e non invertibile → non si possono stimare i coefficienti, standard error ∞.

• Forte multicollinearità.

Elevati standard errors -> minimi quadrati non efficienti in quanto la varianza dello stimatore dei parametri è elevata (inconsistente).

→ In entrambi i casi non riusciamo a distinguere l’effetto delle due variabili sulla risposta; pertanto la stima risulterà imprecisa/impossibile.

→ L’inferenza basata sul p-value è completamente sbagliata. è un problema notevole.

Lo stimatore risulta comunque corretto.

Indicatori di seria multicollinearità (di cui preoccuparsi)

• Standard errors elevati (statistica t).
• Statistica F elevata (R² grande) ma statistica t bassa.
• → Correlazione elevata valore 1 tra parametri stimati nella matrice di var-cov.

Diagnostiche multicollinearità

• Tolleranza ²( ) = 1 − (TOL=1 X ortogonali, TOL=0 max. multicollinearità).
• Variance Inflation Factor (VIF) 1( ) = ²(1 − )( ) < 0.3 ( ) > 5 Se o eliminiamo la variabile.

Come R gestisce la multicollinearità

TSe una variabile è collineare con un’altra R non riuscirà ad invertire la matrice X X, pertanto non restituirà alcuna stima del parametro di regressione (riga di NA nel summary del modello).

3. Linearità