Corso di Tecniche di analisi e riduzione dei dati

Le informazioni, caso e variabile

Le informazioni CASO da raccogliere, date unità, andiamo che servano a cu- Es intervistate territorio de oggetto persone, porzione cose: contagi Covid dobbiamo rilevare il giorno ogni giorno. I nostri casi saranno clienti da valutare de soddisfazione, grado, se ricerca per Amazon Italia; andremo a intervistare, caso anno, Amazon Italia, persone che usano in generale.

Variabile: caratteristica che andiamo a rilevare. Caso > a rilevare maschio/femmina.

Modalità - Variabile. Es variabile della genere: “Che la ordinerà ognuno” presenta propria pezza.

Variabile pizza preferita: modalità salsiccia, margherita, tonno, cipolla. Modalità della variabile: la variabile può presentare in un modo varie configurazioni che può assumere.

Analisi monovariata e distribuzioni di frequenza

Analisi monovariata = distribuzioni di frequenza. Se si vuole studiare una variabile, è fondamentale analizzare come si presenta la variabile all'interno dei casi: come si distribuisce la variabile. Es. colore capelli delle persone intervistate.

Esistono delle misure di sintesi della distribuzione che permettono di avere una variabile della decorazione adeguate.

Tendenza centrale = punto centrale della distribuzione.

Dispersione = quanto la variabile si disperde e quanto si allontana rispetto al punto centrale individuato precedentemente.

Si ottiene ciò dividendo la deviazione standard per la media. Se si vogliono confrontare fra di loro le variabilità di distribuzioni aventi medie fortemente diverse, conviene utilizzare un indice di variabilità che tenga conto del valore della media: coefficiente di variazione.

Coefficiente di determinazione e coefficiente di correlazione

Il coefficiente di determinazione (R²) e il coefficiente di correlazione (r) sono due misure importanti nella statistica, in particolare quando si tratta di analisi di regressione. Ecco una spiegazione di entrambi:

Coefficiente di correlazione (r)

• Il coefficiente di correlazione, spesso chiamato “r di Pearson”, misura la forza e la direzione della relazione lineare tra due variabili.
• Varia da -1 a 1, dove -1 indica una correlazione negativa perfetta, 1 indica una correlazione positiva perfetta e 0 indica nessuna correlazione.
• Il coefficiente di correlazione r può essere utilizzato per valutare la direzione positiva o negativa e l'intensità della relazione tra le variabili.

Coefficiente di determinazione (R²)

• R² è una misura che indica quanto della variazione nella variabile dipendente (Y) può essere spiegata dalle variabili indipendenti nel modello di regressione.
• R² varia da 0 a 1, dove 0 indica che il modello non spiega affatto la variazione di Y, e 1 indica che il modello spiega tutta la variazione.
• Un R² elevato suggerisce che il modello di regressione è in grado di spiegare una grande parte della variabilità nella variabile dipendente.

In generale, R² è utilizzato principalmente nella regressione per valutare quanto bene il modello si adatta ai dati, mentre il coefficiente di correlazione r è utilizzato per valutare la relazione tra due variabili, indipendentemente da un modello di regressione.

Relazioni tra variabili

Relazione spuria: quando si presume che una variabile A stia influenzando una variabile B ma in realtà esiste una terza variabile C che le sta influenzando tutte e due. Esempio: vendita dei gelati causa vendita magliette MA in realtà è la temperatura che sta influenzando entrambe queste variabili.

Relazione indiretta: si presume che A stia influenzando B ma in realtà A influenza C e C influenza B. C’è una variabile nel mezzo.

Esempio: le donne trovano meno lavoro rispetto agli uomini e quindi uno potrebbe pensare che la variabile A (genere) influenzi la variabile B (trovare lavoro) MA non è proprio così poiché le donne tendono ad iscriversi a facoltà umanistiche che danno meno sbocchi lavorativi e quindi abbiamo questa terza variabile C che si mette in mezzo alla relazione.

Relazione condizionata: causazione multipla. Pensiamo che A influenzi B ma ci troviamo in una situazione in cui ci sono due o più variabili che esercitano più effetti tra di loro.

Domanda Martini

Differenze e somiglianze tra la correlazione di Pearson e la regressione lineare

Correlazione di Pearson, regressione lineare. La correlazione è un indice e la regressione lineare è un modello.

La correlazione è un indice che si può utilizzare per studiare la relazione tra due variabili cardinali MA si basa soltanto sulla covariazione tra le due variabili e non ci dice nulla sul nesso causale.

Quindi per esempio, possiamo calcolare la correlazione tra vendite di gelati e vendite delle t-shirt ma non è detto che ci sia un’effettiva relazione tra le due variabili poiché non ce n’è una che sta influenzando direttamente l’altra.

I modelli di regressione li utilizziamo quando vogliamo studiare la relazione diretta che c’è tra due variabili. Nei modelli di regressione diamo già per scontato qual è la variabile indipendente e qual è la variabile dipendente. Escludiamo già a priori la possibilità di relazioni spurie, la possibilità che ci siano variabili intervenienti, ecc.

Per trovare la retta nella regressione lineare si utilizza il metodo dei minimi quadrati. Nella regressione logistica, per trovare questa curva a S, si utilizza la stima di massima verosimiglianza.

Dati i dati che abbiamo all’inizio, le due file di punti, la stima crea delle curve a S, compiendo una serie di iterazioni per aggiustare queste stime, finché non ne trova una che meglio si adatta ai dati che abbiamo.

La curva che si adatta meglio alle due file di unità che abbiamo, esattamente come nella regressione lineare, la retta di regressione è quella che si adatta meglio alla nuvola dei punti.

Differenza fra analisi delle componenti principali e analisi fattoriale

Libro - L’analisi delle componenti principali è una trasformazione delle variabili osservate in nuove variabili.

Le componenti estratte sono il risultato di una semplice trasformazione delle variabili originarie di cui ci si limita a ridistribuire la varianza tra le componenti stesse. Scopo: riprodurre perfettamente la varianza.

Le componenti sono le dimensioni reali che derivano dalla combinazione delle variabili.

Lo scopo invece dell’analisi fattoriale è quello di semplificare la matrice di correlazione in modo tale che possa essere spiegata in termini di pochi fattori soggiacenti i dati. I fattori sono quindi ipotetici perché devono essere stimati a partire dalle variabili osservate.

In generale le due tecniche hanno un obiettivo comune, quello di sintetizzare le relazioni tra più variabili di tipo cardinale in poche dimensioni che aiutino il ricercatore a comprendere meglio il fenomeno oggetto di studio. Sono entrambe tecniche di riduzione dati, il cui risultato rappresenta un condensato delle informazioni iniziali in grado di dar conto della correlazione tra le variabili.

Siamo sempre nell’ambito dell’analisi multivariata quindi tante variabili. Quello che cambia rispetto a prima è che non studiamo più relazioni tra variabili perché le variabili sono tutte indipendenti tra di loro.

Analisi fattoriale e analisi delle componenti principali sono note come tecniche di riduzione dati che ci servono a ridurre il numero di variabili che stiamo utilizzando in un’analisi.

Analisi fattoriale

Famiglia di tecniche di riduzione dati per variabili quantitative. Obiettivo: ridurre il numero delle variabili mantenendo la stessa informazione di prima.

Pag 95 Prospetto con 22 variabili quantitative —> è stato fatto un campione di persone, ad esempio 1000 persone intervistate, in seguito è stato dato loro un questionario dove vengono presentati tutti questi comportamenti e per ognuno di loro è stato chiesto di dare un punteggio compreso tra 1 e 10, da mai giustificabile a sempre giustificabile. In questo modo le trasformiamo in variabili quantitative.

La matrice dei dati sarà composta da:

• 1000 righe (persone intervistate).
• 22 colonne nella matrice dei dati.

Prima di fare una qualsiasi analisi che coinvolga tante variabili quantitative bisogna standardizzare le variabili per renderle ancora più confrontabili. Non è passaggio obbligatorio.

Se guardiamo queste variabili ci accorgiamo che alcune potrebbero essere legate tra loro. Ad esempio omosessualità, aborto, divorzio, eutanasia, suicidio, rapporti occasionali con partner e prostituzione.

Sono 7 variabili che indicano comportamenti molto diversi tra di loro ma potrebbero essere tutti raggruppati nell’ambito della libertà individuale.

Quindi è come se ci fosse una sorta di variabile nascosta/ambito comune che può sintetizzare queste 7 variabili.

Queste variabili nascoste vengono chiamate dimensioni latenti.

Ad esempio possiamo dire che c’è la dimensione latente della libertà di scelta che da sola si potrebbe riassumere 7 variabili.

Il compito dell’analisi fattoriale e delle componenti principali: far emergere le dimensioni latenti, fare in modo che ognuna vada a riassumere un tot di variabili al fine di utilizzare le dimensioni latenti anziché le variabili.

A fine capitolo vediamo che avremo 4 dimensioni latenti che riassumono tutte le 22 variabili => riduciamo il numero di colonne della nostra matrice dei dati, da 22 a 4 colonne, quindi riduciamo numero di dati che stiamo utilizzando MA manteniamo più o meno la stessa quantità di informazione.

Come funzionano nel dettaglio l’analisi fattoriale e l’analisi delle componenti principali?

Dopo aver fatto il nostro campione, la matrice dei dati e la standardizzazione dei dati.

Step 1 — costruzione della matrice di correlazione

Step 1 —> costruzione della matrice di correlazione (pag. 97).

Caratteristiche:

• È una matrice variabili x variabili, significa che le variabili sono sia nelle righe sia nelle colonne.
• Ogni cella forma una diversa coppia di variabili.
• Nelle celle è contenuto coefficiente di correlazione tra le due variabili incrociate (= coefficiente che misura la correlazione tra 2 variabili quantitative).
• Le celle lungo la diagonale incrociano le stesse variabili: coefficiente di correlazione = 1 perché la correlazione è al 100%.
• Vedremo più avanti che la correlazione può essere considerata una misura di similarità cioè che può misurare quanto si assomigliano tra loro due variabili.
• È una matrice triangolare poiché il triangolo sotto la diagonale è speculare al triangolo sopra la diagonale.

Importante conoscere la matrice di correlazione perché da essa parte il processo di estr