Data mining - riassunto

DIFFERENZA TRA LDA REG. LOGISTICA:

Alcuni vantaggi rispetto alla regressione logistica ci sono quando le assunzioni di distribuzione gaussiana delle x reggono e quando regge il fatto che la varianza è uguale tra le classi; è un vantaggio perché è più flessibile dato che utilizza solo medie e varianze. Tra i due metodi, quando l'assunzione di distribuzione normale delle x non regge viene preferita la regressione logistica.

D'altro canto, KNN calcola solo una probabilità condizionale sulla base delle caratteristiche dei vicini. Tendenzialmente si utilizza di più il KNN ma ha comunque dei limiti, dove quello più grande è la cross-validation, cioè l'identificazione delle K; ma la probabilità condizionale calcolata non ci dice se, facendo riferimento all'esempio precedente, l'altezza aiuta a classificare meglio rispetto al peso nel KNN, mentre la regressione logistica e l'LDA invece.

CAPITOLO 5: TECNICHE DI RICAMPIONAMENTO

Abbiamo detto che nella statistica moderna spesso si validano e si testano i metodi nel data set facendo una sorta di splitting dei dati, cioè trattando alcuni dati come osservati e altri come non osservati e il metodo più semplice per farlo era dividere il campione in due, in un training sample e testing sample, applicare il modello nel training sample per poi stimare i parametri necessari da utilizzare per fare classificazione nel testing sample.

Metodi di ricampionamento

Oggi vedremo come utilizzare i metodi di ricampionamento (= resampling) e quindi la divisione del training e testing sample per fare classificazione. Questi metodi permettono di ottenere informazioni che non sarebbero disponibili se facessimo il fitting solo sul nostro campione.

Esempio 1. Facciamo finta di avere una y che è l'ingaggio di un calciatore e facciamo finta che x1 sia l'età, x2 il ruolo e x3 il numero di partite in Serie A.

Con il metodo del validation set noi conosciamo le n (numero di osservazioni) di y del nostro campione e prendiamo una parte di campione, stimando il modello di interesse (es. regressione lineare o altro metodo di classificazione).

Stimiamo il modello di interesse con un metodo di classificazione e prevediamo la y fuori campione, cioè in questo caso prevediamo l'ingaggio del calciatore nell'osservazione 4 e 5.

Facciamo finta di aver stimato uno stipendio di 3.1 e 3.7 per il secondo, dove il MSE (media dell'errore al quadrato rispetto all'osservazione) si calcola così:

Quando una variabile risposta è quantitativa (es. nel caso della regressione lineare) il metodo per valutare la bontà di previsione di un modello è il MSE.

Avevamo visto, quando abbiamo introdotto il

polinomio nella regressione lineare, che avremmo potuto stimare la relazione tra i cavalli di una macchina e il consumo (miglia x gallone) e in quel caso ci interessava sapere il grado del polinomio da introdurre nella nostra retta di regressione.

Avremmo potuto, in quel caso, spezzare il nostro campione e fare previsione utilizzando di volta in volta un grado crescente di polinomi. Quindi, sulla base del validation set, spezzando il campione e utilizzando di volta in volta un regressore diverso e andando a vedere come prevede questo modello fuori campione, possiamo calcolare il MSE per ognuno dei gradi del polinomio.

PROCEDIMENTO: Prima di tutto, quindi, stimo questi modelli all'interno del training sample, utilizzo i beta stimati per fare previsione nel testing sample e vado a vedere per ognuno dei k qual è il MSE, che ovviamente deve essere il minore possibile.

Osservando la figura, se utilizzo training e testing set singoli, considerando che il MSE è alto solo per il primo

unaparte e magari in questa parte potrebbe esserci un outlier ecc. Quindi cerchiamo di andare oltre questo approccio, anche se viene utilizzato di base.

5.1.2 Leave-one-out cross-validation. Questo metodo è strettamente collegato al validation set approach, ma in questo caso si lascia fuori un'osservazione. Anche in questo caso separiamo il campione iniziale ma lo separiamo più volte. Quindi, questo metodo utilizza di volta in volta tutta l'informazione del campione per fare training tranne per una osservazione che viene utilizzata per fare testing.

Esempio 1. Immaginiamo di avere un campione con 10 osservazioni, per le quali abbiamo una x e y e ovviamente prevedere o classificare la y. L'LOOCV nel primo giro utilizza l'informazione da 1 a 9 per prevedere 10, poi nel secondo giro utilizza tutta l'informazione per prevedere 9, poi prevede la otto e così via per ognuna delle osservazioni. Quindi fa n-1 sottocampioni.

Esempio 2. Immaginiamo di avere un

campione con 10 osservazioni, per le quali abbiamo una x e y e ovviamente prevedere o classificare la y. Il validation set utilizza il 70% dell'osservazione come training set e le restanti tre per fare validation. LOOCV invece mi tiene fuori una osservazione una alla volta e su quella che resta fuori faccio previsione. Nell'LOOCV tutta l'informazione mi aiuta a prendere una decisione. MSE è singolo. Nel caso dell'LOOCV, cioè se faccio previsione solo sul valore dieci, farò l'MSE solo su quel valore e così via, fino a trovare dieci MSE singoli. Questi MSE dovrò riportarli poi ad un unico valore siccome dovrò calcolarlo per ogni k e quindi avrò tantissimi MSE. Quindi, siccome avrò n previsioni singole, faccio la media di tutti gli MSE. Col CV vado a scegliere il numero di k ottimale, cioè più basso è il mio MSE medio, migliore è la previsione di quel modello. Graficamente la LOOCV