Data Scienze for marketing - Appunti di Statistica

Data Science for Marketing (9 CFU)

Informazioni generali sul corso

Professore: Andrea Cerioli
Primo appello: Venerdì 18/12/20 ore 9-13 su più turni

Argomenti del corso

• Regressione lineare multipla, modello con più variabili esplicative (Excel)
• Regressione logistica, previsione del comportamento del consumatore (SPSS/R)
• Alberi di classificazione, previsione del comportamento del consumatore (SPSS/R)
• Cluster analysis, per la segmentazione della clientela (SPSS/R)

Software utilizzati

Excel, SPSS, R

Introduzione alla data science

Data science è la scienza dei dati, evoluzione del concetto di Data Mining. DS è la combinazione di analisi dei dati, statistica e algoritmi che, partendo dai dati, consentono di prendere decisioni informate e utili per risolvere il problema iniziale. La sfida del DS è comprendere e integrare i vari metodi.

Regressione lineare semplice

Richiami sul modello di regressione lineare semplice: Introduzione di elementi aleatori e problemi di inferenza (vedi corso Statistics for Management + cap.2-3 del libro). Campione di 7 punti vendita (A, B, C, D ecc.), dove abbiamo rilevato 2 variabili, N. dipendenti e Fatturato in milioni di euro.

Abbiamo un problema aziendale, di marketing molto semplice, di cui possiamo capire la rilevanza nel trade, nell'esempio riportato nella slide vogliamo capire se il fatturato di un punto vendita dipende dalla sua dimensione e in che misura dipende dalla sua dimensione e quantificare questa relazione.

Modello di regressione

Asse delle ascisse: numero dipendenti
Asse delle ordinate: fatturato

Coefficiente di correlazione: misura quantitativa della relazione lineare tra le due variabili, ricorda che il coeff. correlazione sarebbe +1 nel caso ideale in cui tutti i punti fossero allineati in una retta con pendenza positiva.

X: variabile indipendente
Y: variabile dipendente

Regressione: i dati sono gli stessi ma cerchiamo di vedere il problema in modo diverso, consideriamo una variabile dipendente (vogliamo prevedere una variabile) in funzione dell'altra, quindi una variabile è considerata dipendente e una variabile è considerata esplicativa, in questo esempio è sensato prevedere il fatturato in funzione del numero di dipendenti.

Il primo step di questo tipo di analisi è uno step esplorativo, così come è esplorativa l'analisi del diagramma di dispersione e il calcolo del coefficiente di correlazione.

Equazione di una retta generica

Equazione di una retta generica: y = a + bx
Y cappello: stima di una variabile dipendente, valore previsto di y in funzione di x. Successivamente dobbiamo trovare i coefficienti a, b che soddisfano l'obiettivo iniziale, che definiscono la retta più vicina alla nuvola dei punti osservati nel diagramma di dispersione.

Come si calcolano a e b?

Residuo: differenza tra valore osservato e valore stimato

Il metodo dei minimi quadrati ha l'obiettivo di trovare quella retta tale per cui la somma dei quadrati di queste differenze verticali è la più piccola possibile.

Funzioni Excel

Funzione intercetta che serve per calcolare (a), funzione pendenza per calcolare (b), funzione regr. Lin per calcolare l'intera retta, oppure analisi dati.

a = intercetta

• Significato geometrico: punto in cui la retta (y cappello) interseca l'asse delle ordinate, quindi il punto sulla retta che corrisponde a un valore x = 0
• Significato specifico nel problema: prima conclusione x=0 vuol dire un punto vendita con 0 dipendenti, y è il fatturato, y cappello è la stima del fatturato, il valore calcolato di a è il fatturato stimato con 0 dipendenti.

Altra conclusione, non si tratta di una stima utile in quanto parliamo di un fatturato negativo, il motivo è che x=0 è un valore puramente teorico che non si riscontra nella pratica, in quanto non esiste un punto vendita con 0 dipendenti.

b = coefficiente angolare

• Significato geometrico: incremento nella variabile dipendente che deriva da un incremento unitario nella variabile esplicativa. La variabile esplicativa è il numero di dipendenti, quindi il coeff. angolare significa aumentare la dimensione del punto vendita di 1 dipendente.

Il coeff. angolare è sempre espresso nella stessa unità di misura della variabile dipendente. All'aumentare della dimensione del punto vendita di 1 dipendente, abbiamo un aumento stimato nel fatturato di €198.000.

Metodo dei minimi quadrati

Il metodo dei minimi quadrati mi garantisce che ho trovato la retta migliore, ottimizzare una funzione non vuol dire che il valore assunto dalla funzione sia realmente piccolo, posso minimizzare una funzione, ma posso non trovare una soluzione utile dal punto di vista operativo. Per questo è importante la bontà di adattamento, che si basa sulla scomposizione della devianza.

Devianza: è il numeratore della varianza
Varianza: è una somma di quadrati dove ciascun termine è lo scarto tra il valore osservato e la rispettiva media (nella varianza dividiamo per n)

La Devianza di Y è il numeratore della varianza di Y, è una quantità che possiamo calcolare conoscendo soltanto Y.

Conoscendo la X e adattando il modello di regressione, possiamo scomporre la devianza di Y in due termini: DEV (REG) + DEV (RES).

DEV (RES) è la quantità che abbiamo minimizzato, somma dei quadrati dei residui.
DEV (REG) è la devianza degli y cappello, misura quanto gli y cappello, ossia i valori stimati, si discostano dalla loro media.

Se la DEV (RES) è piccola, il minimo assoluto di questa quantità è zero, e quindi la DEV (Y) sarà vicina a DEV (REG). In questo esempio la DEV (REG) mi aspetto che sia alta, sia vicina alla DEV (Y), e che la DEV (RES) sia prossima a zero, in questo esempio la bontà di adattamento è buona, non solo ho trovato a e b che minimizzano DEV (RES), ma DEV (RES) minimizzato è veramente piccolo, la retta è una buona rappresentazione dei dati e del diagramma di dispersione. Questa è l'interpretazione qualitativa.

Mentre il risultato quantitativo è espresso attraverso il calcolo di un indice che è R².

Indice R²

Se DEV (REG) è comparabile a DEV (Y) il rapporto sarà vicino a 1 (valore massimo di R²), che ottengo quanto la DEV (Y) = DEV (REG), cioè DEV (RES) = 0, i punti sono esattamente allineati.

Il minimo di R² è 0, ottengo questo risultato quando DEV (REG) = 0, e quando DEV (Y) = DEV (RES), la DEV (RES) in questo caso essendo uguale a DEV (Y) ci fa capire che la conoscenza di x non migliora la conoscenza su y e quindi la conoscenza del problema.

La retta di regressione spiega oltre il 92% della devianza del fatturato.

R²: questo indice è il quadrato del coefficiente di correlazione.

Dal modello di regressione alla retta di regressione

Il modello è uno strumento utile per governare la complessità aziendale, l'analisi esplorativa non è sufficiente, in quanto prevedere il fatturato solo sulla base del numero di dipendenti è naturalmente semplicistico, come ben sappiamo ci sono tantissimi altri fattori che possono influenzare il fatturato.

La regressione multipla ci permette di inserire ulteriori variabili esplicative, questo migliora la performance ma non risolve tutti i problemi, perché anche se teniamo conto di altre variabili rimane sempre un margine di incertezza e un elemento di imprevedibilità e complessità che rende l'analisi non esattamente prevedibile con certezza.

Questo è il motivo per cui non parliamo di una retta di regressione ma consideriamo un modello di regressione, all'interno del quale abbiamo un termine di incertezza. VARIABILE ALEATORIA.

Il modello di regressione lineare multipla

L'incertezza la rappresentiamo attraverso il concetto di variabile aleatoria. Il numero di dipendenti e le altre variabili esplicative non sono variabili casuali, ma sono variabili fisse/note, conosciute dall'azienda che li stabilisce. L'incertezza nasce dal fatto che seppur conosciamo il numero di dipendenti non possiamo prevedere con certezza il fatturato.

Y₁, Y₂, ..., Y_n sono le variabili aleatorie che associamo agli n valori di X
x₁, x₂, ..., x_n: realizzazioni delle variabili aleatorie

Il modello di regressione lineare semplice con un'unica variabile esplicativa, è un modello che afferma che il valore atteso della variabile dipendente (Y_i) è una funzione lineare di x_i.

Simbologia dei parametri

• a = alfa
• B = beta

Alfa e Beta sono due parametri ignoti, incogniti, lo dobbiamo stimare dai dati.

μ_i = mu dipende da i, dipende dalla specifica unità, non è sempre costante. In che modo varia unità per unità? La seconda parte del modello risponde alla nostra domanda. Il valore atteso di Y_i = a + B x_i.

Elemento cruciale del modello di regressione

Elemento cruciale che differenzia la retta dal modello di regressione. Nel modello di regressione la retta invece la interpretiamo come una retta che è in grado di descrivere i valori attesi di tutte queste variabili aleatorie. La retta a + Bx è una retta su cui giacciono i valori attesi di queste variabili aleatorie.

Questa è la differenza fondamentale tra la retta e il modello di regressione, modello che vuole essere utile, questo è il suo scopo.

Curva di densità simmetrica

*Curva di densità simmetrica – Variabile aleatoria Gaussiana*

In sintesi, il modello di regressione è definito dalla seguente relazione con le ulteriori assunzioni sulla distribuzione di Y_i.

NB: il modello non implica che tutte le osservazioni (x_i, y_i) stiano sulla retta, ma che i valori attesi delle distribuzioni da cui provengono le osservazioni y_i, ..., y_n di Y (realizzazioni delle v.a. Y₁, ..., Y_n) stiano sulla retta (per i valori fissati x₁, ..., x_n).

Termine di errore

Questo è il secondo modo di scrivere il Modello di regressione, che non è più scritto in termini del valore atteso di Y, come nel caso precedente, ma è scritto in funzione della Y, più un termine di errore, che assumiamo essere Gaussiano.

L'altra differenza rispetto al caso precedente è che non abbiamo solo la retta, ma abbiamo anche il termine di errore (con media 0, gli errori positivi e negativi possiamo pensare che si compensino).

Ultima considerazione della formula, alfa e Beta sono due parametri ignoti, sono due numeri, non li conosciamo ma sono due costanti, anche la x è una costante, è rilevata senza errore, gli unici termini aleatori in questa funzione sono Y e E, le proprietà di una sono equivalenti all'altro.

Inferenza e stima dei parametri

Il passaggio dalla retta al modello ci pone in un'ottica di inferenza. Per calcolare la stima di sigma quadro dobbiamo calcolare la devianza residua. I residui sono delle approssimazioni dei termini di errore, non sono termini di errore, sono una stima di essi.

Il termine di errore è dato da: Y – (a – Bx)
Il residuo è dato da: Y – y cappello
Y cappello: a + bx

Inferenza sui parametri del modello di regressione semplice

Siamo in grado di misurare e quantificare l'incertezza sulla stima, beta cappello è una stima di beta. Alfa cappello e Beta cappello sono due variabili aleatorie. Le caratteriste di una variabile aleatoria sono tre:

• Valore atteso
• Varianza
• Forma di distribuzione

Valore atteso di beta cappello

Per Beta cappello il valore atteso è Beta, il vero coefficiente del modello di regressione. Attraverso questa formula otteniamo l'interpretazione del valore atteso di una variabile aleatoria, nell'ottica del campionamento ripetuto, dove la media dei valori beta cappello di volta in volta calcolati coinciderebbe con il vero beta. Questa proprietà non significa che il beta cappello calcolato sui dati sia uguale al vero beta.

Siamo in grado di misurare l'incertezza della stima, non solo la stima puntuale, ma abbiamo anche una misura dell'incertezza della stima che discende dalla variabilità campionaria di beta cappello. La variabilità della variabile aleatoria beta cappello. Ogni variabile aleatoria che stima un parametro ha il suo errore standard.

L'errore standard di beta cappello è la stima campionaria della variabilità di beta cappello nell'ottica del campionamento ripetuto. Ottenuto semplicemente dalla radice quadrata del rapporto qui sopra dove al posto di sigma quadro troviamo il simbolo s che è la stima corretta di sigma quadro.

Intervalli di confidenza per i parametri

Costruzione di intervalli di confidenza per i parametri. Quali sono le condizioni che rendono l'intervallo valido? Quali sono le condizioni che fanno sì che la variabile aleatoria scostamento standardizzato di beta cappello abbia distribuzione T di Student con n-2 gradi di libertà?

1. La condizione di fondo è che il termine di errore abbia distribuzione normale, se è verificata questa assunzione, se siamo davvero in un modello di questo tipo, per cui per x fissato la variabile aleatoria y è ragionevole che sia Gaussiana, allora in questa condizione, sigma quadro non è noto ma lo stimiamo con s quadro, lo scostamento standardizzato di beta cappello ha una distribuzione T di Student con n-2 gradi di libertà.
2. Se questa assunzione non è vera possiamo, se siamo nel caso di grandi campioni, utilizzare il Teorema Centrale del limite, secondo cui lo scostamento standardizzato di beta cappello in grandi campioni ha una distribuzione che può essere approssimata alla normale standardizzata.
3. Se invece l'assunzione non fosse vera e siamo nel caso di piccoli campioni, non possiamo fare niente.

Test d'ipotesi

Siamo in grado di quantificare la probabilità di errore, in questo caso del 5% (vedi 0.95).

L'ipotesi Beta = 0, significa dire che X e Y sono tra loro indipendenti.

Il modello di regressione lineare multipla: approccio matriciale

Il modello di regressione lineare multipla è l'estensione naturale della regressione semplice. Il modello è un approccio matriciale con aspetti di inferenza.

Matrice H

• Simmetrica: la matrice H si dice simmetrica perché è uguale alla sua trasposta, invertendo righe e colonne la matrice non cambia.
• Idempotente: il prodotto della matrice H per sé stessa è uguale ancora alla matrice H.

H è una matrice N x N, matrice quadrata (numero di righe è uguale al numero di colonne), ha una diagonale principale, quindi elementi che sono prima riga prima colonna, seconda riga seconda colonna, fino all'ennesima riga e ennesima colonna, questi elementi si indicano con il simbolo ii dove il simbolo indicante la riga è uguale al simbolo indicante la colonna.

Elementi lungo la diagonale principale

• h: sono gli elementi lungo la diagonale principale, sono compresi tra 0 e 1, hanno una forma semplificata nella regressione semplice.
• Il valore di h_ii per una specifica osservazione sarà tanto più alto quanto più il corrispondente valore della variabile esplicativa x è distante dalla media, se x_i è vicino alla media o uguale alla media dei valori della variabile esplicativa, la differenza è zero, e h_ii è uguale a 1 su n. Quando x_i è molto distante dalla media o tende all'infinito, h_ii tende al suo massimo che è 1.

Residui

Se conosco il vero Beta aggiungo il termine di errore nella relazione. Se Beta non è noto o stimato aggiungo il residuo stimato nella relazione. Il residuo è dato da una matrice M che moltiplica il termine di errore.

I residui sono tutti omoschedastici: hanno la stessa varianza. Lo strumento per stimare sigma quadro è la varianza residua.

Requisiti per la regressione multipla

Nella regressione multipla abbiamo n - k (K = numero di parametri):

• Nel caso di grandi campioni sempre
• Nel caso di piccoli campioni quando il termine di errore ha distribuzione normale

Quantità della variabilità campionaria

Qual è la quantità della variabilità campionaria di una stima? La quantità è l'errore standard, radice quadrata della varianza campionaria di quella stima.

La verifica di ipotesi su B_j segue la stessa logica della regressione semplice. Come nella regressione semplice l'ipotesi che interessa di più è che Beta = 0, quindi che il singolo B_j = 0. Questa ipotesi ha un interesse quando B_j rappresenta il coefficiente di una variabile esplicativa.

Iperpiano di regressione

Quando l'intercetta è zero, nel caso di regressione semplice la retta passa per l'origine, anche nella regressione multipla ha lo stesso significato, non parliamo di retta in questo caso, ma di iperpiano di regressione che passa per l'origine. Questa non è condizione interessante dal punto di vista applicativo.

Assenza di relazione

L'ipotesi che si verifica quando Beta₁ = 0, ossia vuol dire che la variabile esplicativa x₁ non ha relazione con la Y. Lo stesso per Beta₂, Beta₃. Per J > 0, il significato è l'assenza di relazione con la Y.

L'ipotesi alternativa che contrapponiamo, di solito è di tipo bilaterale, è difficile che a priori abbiamo informazioni sul segno della relazione tra la variabile esplicativa e dipendente, nella maggior parte dei casi rifiutare l'ipotesi nulla di assenza di relazione non implica necessariamente ipotizzare una relazione diretta oppure una relazione di tipo inversa, nella maggior parte delle situazioni siamo in una condizione agnostica, a priori non abbiamo indicazioni su quale sia la vera relazione tra le due variabili.

Verifica di ipotesi

Nella verifica di ipotesi possiamo o costruire la zona di accettazione o di rifiuto, oppure calcoliamo il p-value (probabilità di osservare valori più estremi della statistica t del valore campionario quando l'ipotesi nulla è vera). Stat T: è il rapporto tra beta cappello e l'errore standard.

Ogni aumento unitario nel Pil, a parità di trend (rimane fermo), stimiamo un aumento negli investimenti.