Lezioni di tecniche quantitative

Tecniche quantitative e marketing

Introduzione alla statistica nelle scienze sociali

Nella natura, la statistica serve per dominare l'esperimento. Nelle scienze sociali non funziona così. Se non ci fosse l'irrazionalità, se il comportamento umano non fosse basato sull'emozione, senza emozioni non esisterebbe la variabilità delle opinioni, delle idee, Facebook, le identità false di ognuno di noi.

Scienze sociali e tecniche quantitative

Scienze sociali e tecniche quantitative: osservare, raccogliere dati (da cui siamo sommersi → tutto produce numero!), Big Data, con il nostro comportamento noi produciamo numeri senza volerlo. Non approccio matematico, ma risolviamo il problema in maniera logica, cioè in modo intuitivo → strategie. Valutazioni sulla frequenza con cui abbiamo pensato alle cose. Osservazione dalle database personali, seguendo una logica/modo → causa effetto, quando una cosa è connessa/dipende dall'altra. Pensiero dell'uomo moderno. Ci sono sempre possibili cause osservando i possibili effetti. Siamo legati al tipo di osservazioni che abbiamo e dobbiamo abbandonare i preconcetti. L'analisi del dato ci fa diventare più moderni con un approccio più oggettivo, o scientifico. Introduzione ad una visione nuova.

Statistica economica e dati

Statistica economica = applicata. Teoria solo nel caso serva alla formalizzare la generalizzazione. Dati qualitativi vs dati quantitativi. Variabile qualitativa: genere di sesso. Categoriale: costruisce una qualità, un attributo.

Si può fare statistica attraverso app/software oggigiorno! Classificazione dei problemi e delle informazioni. Dataninja: nascono in Italia, sono il primo gruppo di ragazzi che arrivano da scienze della comunicazione che hanno cominciato a fare il data journalism (giornalismo fatto con i dati). Dati per fare storytelling, quindi per fare comunicazione. Avere la forma mentale per fare questo tipo di operazioni.

Visualizzazione dei dati

Visualizzazione dei dati nel software. Per esempio i dati relativi al reddito. Dimensione della bubble (palla che rappresenta la popolazione). Se non si conosce una storia, non serve avere i dati. Senza la conoscenza di base, non si capiscono i grafici. L'interpretazione del dato, il suo storytelling, è fondamentale. Conoscenze di dominio specifico a cui i dati fanno riferimento sono lo strumento per la comprensione. Senza la cultura umanistica non si può andare da nessuna parte utilizzando solo la tecnologia e i dati.

Interpretazione dei dati in azienda

Deriva in azienda pubblica e privata in cui questo approccio tecnologico è troppo legato al numero di cose e non al concetto interiore di dato. Nell'ambito sociale, qualcuno ha fatto quel dato, con il comportamento, con un movimento, e così via. C'è un essere umano che produce il dato. L'interpretazione passa per la cultura generale. Dashboard: pagina computer dove il manager è in grado di riportare la situazione delle vendite secondo dati determinanti, con i tipi di grafici. Oggi la tecnologia è venduta a tutti. La tecnologia ci permette di bypassare la soluzione dei problema.

Calcolo delle probabilità

Calcolo delle probabilità importante perché deve servire con i suoi teoremi (1700 in poi) a rispondere ad una domanda classica del uomo moderno: il dubbio. Un attimo dopo che ho osservato qualcosa, quindi concludo interpretativamente, la domanda deve essere “quello che ho osservato per effetto del caso o è così sistematico che può essere trasformato da me in una sorta di legge?” (si applica una regola o pregiudizio o effettiva realtà). Si trasforma un evento in una regolarità. Tanto più i dati lo confermano, tanto meno questa probabilità sia una congettura falsa. Suffragare in termini probabilistici quello che osserviamo anche solo una volta.

Osservazione sociale vs esperimenti in laboratorio

L'osservazione sociale vs esperimenti in laboratorio. L'esperimento sociale è in gran parte del mondo vietato. In marketing una sorta di esperimento sociale si fa. In una scienza sociale, le elaborazioni si raccolgono e non sono mai frutto di un esperimento perché non possono essere modificati i campioni, devo prendere i dati che ottengo e devo capire se quello che osservo può essere tradotto in qualcosa di sistematico oppure no.

Calcolo del reddito

Il calcolo del reddito è calcolato dalla media. Da cosa dipende da quanto sia affidabile la misurazione della media? Cambia la variabilità, in questo caso della media. Bisogna verificare se la media è calcolata nel modo giusto. Quando quel valore medio è stato osservato soltanto per effetto del caso oppure è effettivamente rappresentativo della realtà del cittadino? La media può anche indicare un dato negativo. Valutazione intermedia.

Probabilità e filosofia

Probabilità: in filosofia non si riesce a definirla. Si fa prima a misurarla (il conteggio delle frequenze). Non è astratta ma è molto concreta all'interno dell'umano, dai primi anni del bambino → apprendimento dalla stima delle probabilità. Dipende anche dal “taglio” cioè dalla sensibilità della probabilità. Per esempio un ragazzo che non percepisce il rischio dalla probabilità che solo lui percepisce.

Esempio di probabilità nel contesto bancario

Per esempio: mutuo in banca: la banca calcola il rischio. Decina di anni fa giornalista del corriere aveva preso dei dati di survey: 3000 tossicodipendenti, 2800 di questi avevano dichiarato di aver fatto uso di ganja. La probabilità di passare da droga leggera a tossicodipendenza è molto alta, c'è una connessione forte. I giornalista aveva stimato una probabilità di passaggio dalla droga leggera alla tossicodipendenza poteva essere, grazie a questo campione accurato, 2800/3000 = 93% → quindi il 93% di passaggio da droga leggera a tossicodipendenza. È sbagliato perché si sono intervistati solo i tossicodipendenti, invece bisognava prendere un campione più vasto, cioè tutta la popolazione.

Stima della probabilità

Dato che tu hai fatto uso di droga leggera e poi sei diventato tossicodipendente: PR (toss | DL) (sia che tu sia tossicodipendente sia che tu abbia anche usato droga leggera): stimare la probabilità che dato un elemento di condizionamento (data una x, una certa situazione), si può diventare un tossicodipendente. Variabilità di condizionamento (DL) possibile causa. Probabilità di un evento dato che è successo un altro evento. Confronto il valore atteso di una distribuzione condizionatamente e non condizionatamente. Punto di riferimento mentale. Quando facciamo le scelte di tutti i giorni, si confrontano con le probabilità. PR (toss | DL) non può essere calcolata perché prima bisogna avere una stima di DL. Se non abbiamo questa stima, non si riesce a fare una stima generale corretta.

Metodologia per la stima

I tossicodipendenti all'epoca in IT erano 250000, mentre da una survey dell'Istat gli italiani che avevano fatto uso da droga leggera erano 3 milioni. Utilizzando questi dati si poteva fare una stima. Come? Strumento tabella 2x2 (Excel) tavola a doppia entrata dove sulle righe metto la variabile “tossicodipendente o no” sulle colonne “hai fatto uso di droga leggera o no”.

Applico il 93% sui 250000 → 232500 valore assoluto = in quel periodo i tossicodipendenti che avevano fatto uso della droga. Nella tabella si incrociano i due valori (sì e sì). L'altra informazione è 3 milioni. Qua l'è l'entità di questa probabilità? I 3 milioni e andare a contare fra loro quelli che sono diventati tossicodipendenti. 232500/3 milioni = italiani tossicodipendenti e uso droga leggera = 7,75%. L'Italia era tra i primi posti in quegli anni.

Dati 100 persone italiani che fanno uso di droga leggera, quasi 8 persone diventano tossicodipendente! La variabile di condizionamento qui è fondamentale.

Definizione frequentista della probabilità

La probabilità è una definizione che parte dal conteggio di quante volte succede qualcosa: il numero di casi favorevoli (rispetto al target analizzato) rispetto al numero di casi possibili.

numero di casi favorevoli all'analisi
numero di casi possibili

Definizione frequentista. Bisogna capire se questa probabilità cambia a seconda di una variabile diversa. Le cose bisogna contarle, e così si ha la probabilità. Il conteggio permette di misurare una cosa specifica localmente definita. Da questo esperimento, cerco di trasformarlo in probabilità. Se questa definizione è diversa in base al sesso di una persona.

P (x|f)
P(x|m)

Qual è la probabilità che un set di clienti in un negozio di scarpe si compri le scarpe? Se questa probabilità è uguale, allora il genere non condiziona x. Quindi genere e x non è collegata, non è una variabile importante per il calcolo di x. Relazione di indipendenza per causa-effetto. Il genere non condiziona la variabile x. Non c'è dipendenza in questo caso.

Paradigma fondamentale dell'uomo moderno

Paradigma fondamentale dell'uomo moderno. Mi chiedo cos'è che determina quella cosa che io sto osservando. Faccio un ipotesi. (1) Misuro la probabilità di x non condizionata = p(x) e la calcolo con la definizione frequentista. Poi osservo un dato effettivo. (2) Quindi applico la stessa definizione ma condizionata dal mio dato effettivo. Valore atteso che si forma quando osservo tutto il mio soggetto. Redemption – redenzione. Ci si chiede se è stato un dato casuale o effettivamente causato dalla realtà dei fatti. Siamo in linea con le attese? L'esperto interpreta la differenza, ma noi dobbiamo dargli il dato preciso.

Interpretare il risultato

• Il valore assoluto della differenza
• Il valore casuale che può diventare sistematico.

Lezione 2: velocità e variabili quantitative

La velocità ha un valore quantitativo. 0 come minimo e un massimo indefinito (il limite è la velocità della luce). Variabile = costrutto che varia a seconda di chi/cosa sta generando il dato in un certo momento. Variabili quantitative, cioè siamo in grado di quantificarle, quindi costruire dei rapporti tra queste variabili. Siamo in grado di dire “quanto è grande” rispetto ad una scala di valori (unità di misura convenzionate) → generatrici di misura quantitativa. In base al contesto, si fanno rapporti. Il concetto di media nasce solo per i costrutti quantitativi. Per quelli qualitativi esiste il termine “modale”, che fa moda, quello più diffuso in un certo contesto.

Variabili qualitative

Per le variabili qualitative, si fa un conteggio e si osservano le frequenze di un dato contesto osservazionale. Non si può andare oltre. Si può solo dire ciò che prevale in base a quanto quella cosa si è manifestata. Classificare il problema a seconda della natura dell'informazione che si ha a disposizione. Si adoperano altrimenti strategie di analisi che non sono giuste. Si adotta poi una strategia opportuna → analisi tassonomica che permette la classificazione del problema.

Variabili e classificazione

La professione è una variabile qualitativa ed ad essa possono corrispondere valori quantitativi per fare il rango. Il titolo di studio è qualitativo, ma per come è strutturata questa variabile nella quotidianità, le categorie sono categorizzabili in base ai valori dati ai singoli gradi di titolo di studio. Se si rappresenta il titolo di studio attraverso un retta orientata (ad ogni grado un valore nella retta) si fa un grosso errore!!! perché si sta misurando il titolo di studio, e non si può. Per vedere la distanza tra i gradi tra i vari titoli di studi, si deve trattare il titolo di studio come una variabile quantitativa ed è sbagliato. Perché non si ha un modo per misurare davvero questa “distanza”.

Si può dire che la licenza elementare è < di quella media che è < del diploma e così via. Sono orientabili ma non si possono misurare le distanze tra le singole categorie. Sono categorie ranghizzabili, quindi ordinabili, ma niente di più. Non esistono scale di equivalenza. L'informazione può generare o una variabile quantitativa (posso utilizzare un asse orientato, quindi misurare le distanze, chiamate delta, tra i valori di quel dato, e si possono anche confrontare con altri valori facendo una proporzione) o una variabile qualitativa (si possono asserire la diversità, oppure inferiore o maggiore, ma non di quanto).

Rivoluzione francese e relazioni di causa-effetto

Dalla rivoluzione francese → uomo moderno. Dall'approccio illuministico, siamo interessati a capire la relazione di causa-effetto. Non possiamo usare la variabile tempo. Esiste ancora oggi un dibattito: produciamo tanti dati sui nostri comportamenti, osservando questi dati si vuole capire la causa e l'effetto di questi dati.

y=f(x). FUNZIONE f “link” che trasforma le x in y. Funzione di legame. Ma rimane comunque ipotizzata, esiste per ipotesi. Relazione fra reddito e consumi: in media, più ho soldi più spendo. Diagramma cartesiano: ipotizzando un modello, x sull'asse del reddito – orizzontale, y sull'asse del consumo – verticale. Causa x – effetto y. Retta sul diagramma = equazione y = a + bxa intercetta punto dell'asse verticale dove a inizia. b= Inclinazione tra retta e asse = coefficiente angolare.

Modello dell'economista

Modello dell'economista, cioè in maniera più accurata. Però il consumo non può essere considerato una retta perché in teoria non esiste un consumo infinito. All'aumentare del reddito infinito, aumenta anche il consumo infinito. Ma non può essere così. È una rappresentazione logica, con cui rappresento la relazione per valori osservabili funziona così: all'aumentare del reddito, aumenta anche il consumo. Modello di causa-effetto: guadagno i soldi e li spendo. Il reddito genera consumo. Il consumo negativo (consumo sotto lo 0, che porta alla morte) non è concepibile. In alcune teorie dei paesi di sviluppo il consumo negativo è interessante, con anche un reddito minimo da dover garantire per far sì che il consumo non sia negativo.

Non è detto che questo modello possa esplicitare tutte le nostre situazioni. Ora è molto difficile dagli anni '60 per la mole di dati che abbiamo. Scuola francese analisi dei dati: il modello non esiste ex ante, ma va cercato nei dati. Parto dai presupposti di investigazione, e cercando nei dati si validano o confutano i dati, e da questo si crea il modello. Il modello o ce lo dà la teoria già esistente, oppure si parla di “interdipendenza” fra variabili.

Schema di classificazione

Primo schema di classificazione: y=f(x). Prima misuro quanto sono associate le due variabili, se non sono connesse non ha senso cercare quale viene prima dell'altra. TRE POSSIBILI RELAZIONI TRA I TIPI DI INFORMAZIONI:

• Variabile qualitativa vs variabile qualitativa: la misurazione di soddisfazione in rapporto con il sesso delle persone.
• Variabile quantitativa vs variabile qualitativa: insieme di donne e insieme di uomini e si misura il reddito nella media dei due generi. Relazione molto complessa perché si deve calcolare la media nella variabile quantitativa e misurarla in maniera parziale nel gruppo della variabile qualitativa.
• Variabile quantitativa vs variabile quantitativa: relazione funzionale.

DUE VARIABILI QUALITATIVE

Come misuro la relazione fra due variabili qualitative? Due strategie:

• Strategia operativa, probabilità che viene misurata
• Strategia statistica, legata alla probabilità

Esempio: gradimento o meno dell'attuale sistema della raccolta differenziata a Casalecchio di Reno: raccolta door-to-door in relazione all'orientamento politico della giunta comunale.

Contr Favore no_dato a
Si 12 61 78 151 favorevoli
No 17 64 73 154 contrari
29 125 151 305

Tabella 2-vie o “doppia entrata”. Una variabile su colonna, una variabile su riga. Le esterne sono marginali. Forma tabellare delle frequenze di risposta congiunta a due domande: righe – opinione; colonne – variabili. Survey: il dato interno esempio 12 numero n di frequenze assolute: a favore del sistema di raccolta differenziata, e elettori di centro destra (contro l'attuale giunta di centro sinistra). Quindi una città divisa a metà. La riga e colonna rossa è la riga e colonna marginale, o non condizionata. (dall’altra variabile) Come si fa a capire se queste due variabili sono connesse? Se un'opinione di un fenomeno target è connessa al credo politico. E come si fa a tradurre la colonna in un articolo?

Quando abbiamo due variabili qualitative, si usa una tabella a doppia entrata (SEMPRE!). Schema di organizzazione dei dati. Questo è un modo di scrivere la tabella nella sua struttura = notazione generica. L'oggetto di studio iniziale da parte di Goodman e Kruskal 1973, due psicologi che hanno codificato un modello di analisi di una tabella a doppia entrata. Problema: dopo la seconda guerra mondiale in USA (approccio empirico) prima informazione legata al tipo di malattia mentale: malattie mentali si potevano distinguere in nevrosi, depressione, disordine mentale, schizofrenia. Seconda informazione legata alla classe sociale (righe): disponibilità di reddito. Quindi malattia mentale legata alla classe sociale. Variabili qualitative “incrociate”. Distribuzioni nelle colonne e nelle righe marginali sono a se stanti, divise da quelle incrociate. Esiste una relazione tra classe sociale e tipo di malattia?

nevrosi depressione disordine schizofrenia
A 45 25 21 18 109
B 10 45 24 22 101
C 17 21 18 18 74
72 91 63 58 284

Trarre conclusioni

Come trarre le conclusioni: L'idea da cui partire è “se io ho un paziente in più e non ho alcuna informazione su di lui (informazioni sulla classe sociale e sulla malattia) e voglio decidere ex ante a quale malattia classificarlo. Qual è la mia idea a priori? Non avendo nessuna informazione, come faccio? Qual è la probabilità che questo paziente possa essere malato di una delle 4 malattie? La probabilità è il numero di casi favorevoli rispetto a quelli possibili, in questo caso è 25%.