Appunti lezioni Statistica aziendale

Lezione 02 – statistica

Rilevazione statistica: operazioni volte ad acquisire informazioni su un insieme di elementi.

Si distinguono in rilevazioni globali (censuarie) o campionarie (e quindi parziali).

Censimento permanente: raccolta di dati con cadenza triennale, su un campione. Rotazione del campione, unità che io vado a rilevare di anno in anno, fa sì che la rappresentatività di questo campione sia analoga a quella di una raccolta censuaria.

Una rilevazione che ha per oggetto una popolazione, ovvero un insieme di elementi, reale o ipotetico, presente o futuro, che costituisce l’oggetto dello studio.

Popolazione reale: esistente e visibile, popolazione virtuale: definibile ma non osservata né osservabile.

L’unità statistica (o soggetto) è l’elemento di base della popolazione sul quale viene effettuata la rilevazione/misurazione di uno o più fenomeni oggetto di interesse.

Considerando le finalità con cui i dati vengono raccolti, possiamo distinguere:

• Dati primari: originati da chi effettua l’analisi, funzione di rispondere ad un problema decisionale.
• Dati secondari: derivano da rilevazioni di altri individui che possono avere finalità diverse dalle nostre.

Considerando l’origine da cui è scaturita la raccolta dati, possiamo distinguere:

• Fonti interne: i dati derivano da rilevazioni dell’azienda.
• Fonti esterne: i dati sono rilevati da persone esterne all’azienda e coinvolgono solo indirettamente la stessa.

Problemi dei dati secondari: finalità diverse che hanno portato alla rilevazione statistica e limitata possibilità di acquisire ex-post ulteriori informazioni.

È possibile che:

1. Ci siano differenze nelle definizioni dell’unità e della popolazione statistica.
2. La dimensione del campione sia eccessivamente ridotta.
3. Le informazioni disponibili siano solo in modo parziale corrispondenti alle necessità informative.

Finora abbiamo assunto che i dati siano raccolti con esplicite finalità statistiche, ma non è detto che i dati secondari siano raccolti con finalità tutt’altro che statistiche sia per rilevazioni pubbliche che private.

Se l’ISTAT va a richiedere l’accesso alle anagrafiche comunali per finalità statistiche, quei dati il comune non li ha raccolti con le stesse finalità. Ci sono intenti diversi.

Processo di data management: manipolazione del dato per renderlo fruibile rispetto alle mie finalità statistiche. Diverso è se la variabile presenta dei missing e io li riempio.

Abbiamo visto rilevazioni sia pubbliche che private.

Dati sui dati

Bisogna ricorrere ai metadati quando ad esempio non sappiamo cosa indichino i nomi delle variabili, com’è fatta la struttura del data set, qual è l’informazione statistica.

File traccia a cui fare riferimento per poter comprendere i dati.

Esempio delle aziende agricole.

Problemi quando i metadati sono incompleti, quando mancano le note metodologiche, quando il livello di aggregazione dell’info è diverso dai nostri bisogni, quando c’è un disallineamento temporale, ecc.…

Fonti statistiche sulle imprese

• ISTAT: censimento permanente delle imprese. È un censimento campionario che restituisce dati di tipo censuario.
• Archivio ASIA (ISTAT): Archivio Statistico delle Imprese Attive.
• Archivio ASIA-Occupazione.
• MIMIT: dati sulle attività economiche.
• I.Stat: imprese – dati.
• Banca d’Italia: Indagine sulle Imprese Industriali e dei Servizi.
• EUROSTAT: Structural Business Statistics (SBS).

Abbiamo visto i dati panel (o longitudinali): indagine su n unità statistiche in più anni (LONG).

Formato LONG: unità ripetuta rispetto al tempo. Quello più utilizzato.

Formato WIDE: ho dei dati longitudinali in formato “largo”.

Si noti che nel set di dati WIDE ogni valore nella prima colonna è univoco.

Al contrario, nel set di dati LONG i valori nella prima colonna si ripetono.

Mentre le serie storiche è quando una variabile è osservata in forma aggregata rispetto ad una serie temporale molto lunga. Come la mortalità sul lavoro negli ultimi 20 anni.

Focus su ASIA e SBS

Archivi come frutto di integrazione di differenti fonti, aggiornati su base annuale. Riferimento all’impresa, all’unità locale, alla posizione lavorativa.

Un sistema analogo di integrazione dati da fonti differenti è in vigore per il Frame Structural Business Statistics. Quest’ultimo è però un archivio più ricco: informazione relativa a costi e ricavi di esercizio, valore aggiunto, margine operativo lordo, importazioni ed esportazioni...

• INAPP: Rilevazione longitudinale su imprese e lavoro (RIL).
• CREA-PB: Banca dati RICA (Rete di Informazione Contabile Agricola).
• EUROSTAT: Farm Accountancy Data Network (FADN).
• US Census Bureau: Business Formation Statistics.

Ovviamente, nessuna pretesa di esaustività... Molti altri archivi da esplorare! Ad es., Enterprise surveys della World Bank, open data sulle imprese di Statistics Netherlands, vv. data sets integrati su Industry and the Economy dell’Australian Bureau of Statistics...

Dati sui consumatori

• Personal data: dati PII (Personally Identifiable Information): informazione che può essere utilizzata per identificare un individuo possono essere riferiti anche ad aziende.

Le informazioni possono essere linked e linkable.

Le prime possono essere utilizzate per identificare un individuo senza info aggiuntive, le seconde devono essere combinate con altre informazioni.

Cognome e nome, identificano una persona, ma come informazione da sola non necessariamente identifica in maniera univoca un individuo.

Se io faccio un’indagine il dato deve essere scevro di ogni info sia linked che linkable, una volta raccolto il dato dovrei essere in grado di cancellare quelle info. Se non dovesse avvenire, questa è violazione della privacy.

Dati non-PII: info anonima, non può essere usata per individuare una persona (cookies, indirizzo IP). È considerata parte dei dati personali dal EU GDPR: un prodotto dell’Unione, venuto fuori negli anni del COVID. Regolamento che vincola la raccolta dell’informazione, come deve essere codificata quell’informazione.

Questi dati non vanno mischiati con gli altri dati: dall’informazione che io raccolgo in prima istanza, avendo stabilito un protocollo per la raccolta, devo metterli al sicuro e devo cancellare dall’info qualsiasi dato che sia linked o linkable.

• Engagement data: come le persone si interfacciano con gli strumenti, tradizionalmente raccolti da chi svolge marketing aziendale.

Dati rispetto ai quali il GDPR impone una serie di cautele, devo modificarli, non posso lasciarli così come sono: devo trovare delle proxy tramite un processo di data management.

• Siti web, app: dati di interazione come le visite, i tempi di permanenza.
• Social media: likes, condivisioni.
• E-mail: tasso di apertura, percentuale di click (click-through), bounce rate.
• Customer service: feedback.
• Paid Ad: click-through, $-per-click...

• Behavioral data: dati comportamentali, permettono di svelare i pattern nascosti dietro le operazioni di ricerca/consultazione/acquisto dei consumatori.

Dati transactional: sottoscrizioni, acquisti, abbonamenti, Customer Lifetime Value.

Uso del prodotto: azioni ripetute, uso di caratteristiche, durata delle caratteristiche, …

Dati qualitativi: attenzione dell’utente, nr. di click, scrolling, …

• Attitudinal data: dati relativi alle emozioni del consumatore nei confronti del bene o servizio.

Spesso raccolti dai call center, customer services e post-vendita. Comportamenti del consumatore quando interagisce con l’azienda dopo che ha comprato o ex ante in termini di indagini.

Genericamente, info sulla soddisfazione del consumatore, la desiderabilità del prodotto, le preferenze, le motivazioni, i criteri di scelta...

Rilevare dati sui consumatori

• Website analytics: Google Analytics, Mixpanel, Crazy Egg, Hotjar...
• Social media.
• Tracking pixels: Codice HTML o JavaScript che, inserito in un sito web/e-mail, registra l’utente.
• Informazioni di contatto.
• Customer feedback e customer surveys: l’azienda offre un servizio o vende un bene... Pone anche qualche domanda mirata all’utente.
• Transactional info.

Fonti di dati sui consumatori

Acxiom CoreLogic Equifax Experian NCP (National Consumer Panel) Nielsen TNS-Global.

Attenzione! Differenza tra panel di punti vendita e panel di consumatori/famiglie.

Date anche un’occhiata a Datarade...

Per lo più, le fonti statistiche sui consumatori sono di tipo private. Ergo, dati proprietari. Ci sono però anche altri dati, oltre a quelli originati dai business provider ed ai dati proprietari...

• ISTAT: Indagine sulle spese delle famiglie.
• ISTAT: Indagine EU-SILC.
• Banca d’Italia: Indagine sui bilanci delle famiglie italiane.
• EUROSTAT: European Union Statistics on Income and Living Conditions (EU-SILC).
• Federal Reserve: Survey of Consumer Finances (SFC).

Dati proprietari sulle aziende

CCIAA (Camere di Commercio, Industria, Agricoltura e Artigianato): Archivio PARIX. La Piattaforma di Accesso al Registro Imprese in formato XML costituisce il Registro delle Imprese mantenuto da InfoCamere. Una sorta di “anagrafe d’impresa” che, a norma di legge, rileva info di natura formale per fini amm.vi e di pubblicità legale.

Unioncamere: indagine Excelsior. Condotta da Unioncamere, “integra” i dati dell’Archivio PARIX con info statistiche sulla situazione occupazionale attuale e prospettica delle imprese iscritte alla CCIAA.

Pitagora Spa: Archivio Pitagora. Raccoglie dati sui bilanci delle società di capitali italiane, aggiornato annualmente dalla Centrale dei Bilanci Spa.

Statista: Data provider globale. ... E date anche un’occhiata a Datarade!

Dati open

Gli Open Data, o dati aperti, sono dati accessibili a tutti, messi a disposizione da Pubbliche Amministrazioni o aziende private che possono essere riutilizzati per diversi scopi.

• PA Italia: Dati.gov. Gli open data della pubblica amm.ne italiana. Potete trovare vv. data sets, anche sulle imprese.
• US Gov.: US Gov Open Data. I dati open del governo degli Stati Uniti d’America, anche sulle imprese.
• Harvard College: Harvard Dataverse. Un esempio di research open data repository che ospita più di 150K data sets relativi ai più svariati temi... Ci sono anche altri esempi, come il Canadian Dataverse Borealis (repository nazionale di open data delle università canadesi).
• Elsevier: Data in Brief. Un esempio di data journal. Sempre più frequentemente, le riviste scientifiche propongono/richiedono che i dati relativi agli articoli scientifici siano pubblicati su riviste ad hoc.
• MDPI: Data.
• Nature: Scientific Data.

Lezione 03

Indagini campionarie

Partiamo da un esempio. C’è un fondo sanitario integrativo che ha necessità di acquisire info aggiuntive sulle domande di liquidazione delle prestazioni avanzate dagli iscritti al fondo.

Prassi: gli iscritti presentano domanda di liquidazione compilando un modulo on line; alcune delle info relative alla prestazione in oggetto sono richieste nel modulo. In più, devono allegare la scansione del documento di pagamento della prestazione.

Problema: le info aggiuntive che servono al fondo non si possono reperire da una lettura diretta dei documenti scansionati. Non è possibile, altresì, procedere al trattamento automatico dei documenti (software OCR, tecnologie vv., etc.). I documenti sono ≈ 430.000.

L’informazione che si acquisisce con il modulo è un’info presa, ma non ha l’informazione schematizzata/digitalizzata contenuta nella scansione.

Non posso copiare a mano/trascrivere: problema di tempistiche e di errore.

Punti salienti: possiamo esaminare soltanto una parte dei documenti? Quindi, potremmo scegliere una strategia di campionamento? O serve procedere con una rilevazione censuaria? Quanti documenti dobbiamo esaminare? Qual è il nr. giusto di documenti da esaminare? Come li selezioniamo? Quali criteri adottiamo?

Tutto questo fa parte del processo di campionamento o di costruzione di un’indagine di tipo campionario.

First things first! Innanzitutto, dobbiamo definire popolazione statistica ed unità statistica di interesse.

L’unità statistica è il documento singolo o l’individuo iscritto al fondo? Oppure...

Poniamo che l’unità statistica fosse indicata nel documento singolo (ad es.); quali documenti sono parte della popolazione statistica? Tutti? Solo quelli relativi a determinate prestazioni? Solo quelli di determinati clienti? Solo quelli riconducibili a determinate strutture erogatrici?

Nel nostro esempio, qual è l’unità statistica? Il documento (modulo e scansione), perché un individuo può fare anche più di una prestazione. Cosa caratterizza la popolazione, il mio universo, da cosa sarà dato? Tutti quelli iscritti al fondo.

Un altro esempio

Un’azienda produttrice di PC vuole valutare il grado di soddisfazione dei clienti in relazione all’ultimo modello di surface lanciato sul mercato. L’acquisto del suddetto può avvenire principalmente tramite:

1. Sito web dell’azienda,
2. Sito web del rivenditore di riferimento d’area,
3. Siti web specializzati in prodotti informatici.

Problema: l’azienda non è in condizione di conoscere l’identità degli acquirenti del surface per gli altri rivenditori. Tuttavia, c’è un accordo con i rivenditori di riferimento d’area affinché un’e-mail predisposta dall’azienda produttrice sia inviata all’acquirente successivamente all’acquisto del prodotto. (L’azienda produttrice ha elenco dei propri clienti e recapiti).

Punti salienti: qual è l’unità statistica? Il singolo surface o il singolo acquirente? 1 Qual è la popolazione statistica di interesse? O, come la considererebbero in azienda, la popolazione obiettivo? Rilevazione campionaria o censimento??? Popolazione a cui l’indagine si rivolge? I risultati dell’indagine, a chi saranno riferibili?!

Informazione relativa ai consumatori, quindi qual è la popolazione di riferimento/l’universo siano tutti gli acquirenti, consumatori dell’azienda. La popolazione obiettivo non è così circoscritta come nel caso del fondo sanitario: qui sono tutti quelli che potrebbero acquistare il prodotto.

Se io ho come interesse l’intero universo di potenziali consumatori, ma ho raccolto dati solo sui miei consumatori come faccio? Questi sono i problemi di fare un’indagine campionaria.

Campionamento

Campionamento: il concetto di base consta nell’osservazione di una porzione di popolazione per la quale trarre conclusioni su una caratteristica di interesse non osservata dell’intera popolazione.

L’obiettivo è rendere la porzione di popolazione rappresentativa dell’intera popolazione. In tal modo, possiamo ottenere info valide per l’intera popolazione (ergo, anche per la porzione di popolazione non osservata). Come ciò è possibile?! Adottando determinate tecniche, soddisfacendo determinati requisiti di estrazione del campione.

Problema di rappresentatività: se io ho un campione di persone che hanno fatto l’acquisto del surface, sto analizzando un campione della popolazione di riferimento di tutti i potenziali consumatori che è distorto: devo integrare le informazioni. Non comprende i potenziali acquirenti, osservo solo le persone già interessate al prodotto perché hanno comprato, si sono auto selezionate.

Nozioni di base

• Popolazione target/obiettivo: popolazione statistica che si vuole studiare.
• Rispetto a questa popolazione obiettivo, dovrei avere una Lista di campionamento: popolazione da cui selezionare le unità statistiche. È uno strumento attraverso il quale io censisco gli elementi della popolazione, le unità che io voglio estrarre. Questa cosa l’azienda che vende PC non ce l’ha.
• Metodo di campionamento: approccio alla selezione del campione, come scelgo quali selezionare. A tutto ciò, si aggiungono le modalità con cui raccogliere le informazioni dal campione estratto. E le modalità con cui utilizzare le informazioni suddette per trarre conclusioni sulle caratteristiche d’interesse dell’intera popolazione (e fare inferenza).
• Popolazione finita: insieme di unità che l’indagine statistica assume quali obiettivo della rilevazione; esse sono identificate in modo univoco seguendo un criterio ben definito. Se l’obiettivo della rilevazione è una parte della popolazione, una sua porzione, siamo interessati a sottopopolazioni, altrimenti dette domini.
• Carattere: o variabile; associata all’unità della popolazione, è il vettore di informazione a cui siamo interessati. L’indagine mira ad acquisire informazioni su di una caratteristica (o parametro) della popolazione.

La mia indagine che conduco sulla variabile cos’è interessata a scoprire? Ad esempio, per l’altezza, il mio interesse statistico rispetto alla variabile causale altezza, qual è? Come i parametri in popolazione si comportano.

I parametri sono funzioni delle variabili della popolazione; quantità numeriche non note che vogliamo indagare. Ad esempio: reddito medio, numero di disoccupati, vendite totali...

Accediamo alle unità della popolazione target attraverso una lista di campionamento, o sampling frame (o, più semplicemente, frame). Il campione che selezioniamo dalla popolazione è estratto dal frame per mezzo di un meccanismo di selezione.

L’osservazione delle unità nel campione consiste nel misurare e registrare i caratteri di interesse. Ciò che abbiamo misurato e registrato (i valori dei caratteri) è poi utilizzato per il calcolo di stime puntuali o intervallari dei parametri della popolazione.

Attenzione! Differ