Statistica Aziendale M

Statistica aziendale

Pagani Davide
8 febbraio 2017

Indice

• 1 Introduzione
  • 1.1 Data Warehouse
  • 1.2 Open Data
  • 1.3 Big Data
  • 1.4 Segnale o rumore
• 2 Tecniche di Data Mining
  • 2.1 Cluster Analysis: Algoritmo K-means
  • 2.2 Alberi decisionali
    • 2.2.1 Misurare la diversità di una popolazione
    • 2.2.2 Tree Building
    • 2.2.3 Tree Pruning
• 3 Six Sigma
• 4 Report, OLAP, Data Mining, CRM

Introduzione

“Per alcune aziende, la gara in cui sono attualmente impegnate somiglia sempre meno al calcio e ad altri giochi tradizionali e sempre più a quello del croquet di Alice nel Paese delle Meraviglie: una partita che costringe il giocatore a fronteggiare continui mutamenti. Nella partita fantastica di Alice niente rimane stabile a lungo, perché tutto è vivo e tutto cambia intorno al giocatore: una situazione fin troppo reale per molti manager.”

“Se davvero il nuovo gioco del business somiglia al croquet di Alice, per vincere occorrono un’azione veloce, manovre creative, flessibilità, legami con i dipendenti e i clienti più stretti di quelli che caratterizzano la burocrazia aziendale tradizionale. Occorre un management più agile e sciolto che colga le opportunità senza impastoiarsi in strutture ingombranti o in procedure lente che ne ostacolino l’azione.”

Data Warehouse

Il Data Warehouse è una base di dati:

• Utilizzata principalmente per il supporto alle decisioni direzionali.
• Integrata (aziendale e non dipartimentale).
• Orientata ai dati (non alle applicazioni).
• Storici (con un ampio orizzonte temporale, e indicazione, di solito, di elementi di tempo).
• Non volatile (i dati sono caricati e acceduti fuori linea).
• Mantenuta separatamente dalle basi di dati operazionali.

L’obiettivo del Data Warehouse è quello di supportare i processi di cambiamento delle organizzazioni con “strumenti di analisi” che consentano di focalizzare gli obiettivi e dimensionare i passi da fare.

Il punto di vista direzionale:

• Il business si sta spostando dal prodotto al cliente.
• La conoscenza del cliente è un bene misurabile per l’azienda.
• Sono richiesti flessibilità e responsabilità.
• Aumenta la richiesta per informazioni valide e tempestive.

Un piano di business deve perciò essere visto come l’intraprendere una sfida per portare una nuova visione del business.

Quali sono le motivazioni “corrette” alla realizzazione di un Data Warehouse?

• Necessità di analizzare dati da più sistemi.
• Necessità di effettuare analisi complesse/da più punti di osservazione (dimensioni).
• Necessità di disporre di profondità storica.
• Necessità di disporre di una qualità dei dati coerente con le analisi da effettuare.
• Necessità di tempi di risposta brevi nella produzione delle informazioni decisionali.

Come sono strutturati i dati?

La costruzione di un Data Warehouse prende in considerazione piccoli sottoinsiemi di dati. Gli schemi costruiti vengono detti data mart, organizzati secondo: Schema a stella (parto da unità contenute, aperte attraverso codici) o schema a fiocco di neve (apertura successiva di eventuali codici della stella, evoluzione dello schema a stella ed è strutturato gerarchicamente).

Al fine di essere estratto, il data mart deve possedere concetti rilevanti:

• Fatto: un concetto sul quale centrare l’analisi.
• Misura: una proprietà atomica di un fatto da analizzare.
• Dimensione: descrive una prospettiva lungo la quale effettuare l’analisi.

Data Warehouse: rappresentazione multidimensionale dei dati.

I data warehouse sono complessi da realizzare e richiedono il coinvolgimento di molti personaggi chiave dell’azienda nella fase di pianificazione per avere successo. I produttori hanno iniziato a fornire prodotti per ridurre questa complessità, ma l’attenzione sinora è stata rivolta all’interfacciamento dei sistemi operazionali, mentre il problema dell’amministrazione del Data Warehouse è stato sottovalutato.

Data Mart: selezione specifica del data warehouse secondo alcune dimensioni fissate. I data mart si stanno presentando come una alternativa più facile rispetto a realizzare un data warehouse. Il numero di case produttrici di soluzioni per “data mart” sta aumentando. Molte organizzazioni sono spinte dagli utenti a implementare data mart ed evitare lo sforzo di costruire un data warehouse. I data mart possono fornire soluzioni specifiche per le aree di business, ma un approccio così guidato da esigenze contingenti appare come un passo indietro.

A volte si vuol far credere che la differenza tra data mart e Data Warehouse sia data solo dalle dimensioni della base dati (più o meno di 50GB), ma la differenza vera è che i data mart sono focalizzati sui requisiti di un’applicazione particolare. Un data mart è meno complesso di un Data Warehouse solo in quanto sono molto più circoscritte le richieste del business a cui deve rispondere. Ma le problematiche di acquisizione dei dati sono le stesse di un Data Warehouse.

Tracciato record: insieme dei campi di ogni variabile (devono essere confrontabili). Sfericità dati: serve sui prodotti non brevi, poiché spesso molti sono subito obsoleti ed hanno serie storiche ad orizzonte temporale ridotto.

Open Data

È un movimento che promuove la libera distribuzione e il libero riuso dei dati pubblici senza alcuna restrizione.

Requisiti degli open data:

• Accessibili (preferibilmente via internet), senza limitazioni basate sull’identità o sull’intenzione dell’utente.
• In formato digitale e leggibile dalla macchina per l’interpretabilità con altri dati.
• Liberi da restrizioni sull’uso o sulla redistribuzione nelle loro condizioni di licenza.
• Dati gratuiti e in formato gestibile da tutti.
• Vincoli? Restituire lavoro svolto e non venderli.
• Soddisfano la trasparenza, ovvero tutti i dati collezionati devono essere visibili, in particolare nella pubblica amministrazione.
• Tra raw (grezzi) e linked (strutturati) sono preferibili i primi che danno più libertà di azione, ma la disaggregazione va ridotta per rispettare la privacy.
• Non sempre è garantita la disponibilità in maniera uniforme periodo per periodo, rendendo difficile sviluppo App.

A volte Open Data possono essere imprecisi o sbagliati e quindi può essere utile valutare ciò linkandoli con altri Open Data, non fidandosi di un solo dato.

RAW OPEN DATA: Dati grezzi, atomici, non elaborati, disorganizzati e disaggregati. I dati organizzati e interpretati sono più facili da comprendere e da ricordare, ma nascondono i dati di partenza rendendo difficile la verifica o la rianalisi. Una buona pratica dell’Open Data è quella di rendere pubblici i “Raw data” e non solo i dati già elaborati.

LINKED DATA: esigenza di ottenere dati non solo accessibili (Open) e non solo connessi tra loro in maniera organizzata (Linked), ma dati accessibili liberamente in formati standard che permettono la maggiore riutilizzabilità possibile (Open Linked Data).

Big Data

Obiettivo: Offrire le basi teoriche ed applicate per operare con i Big Data nelle aree marketing, comunicazione, commerciale, digital delle aziende.

Scenario attuale:

• Mainframe pochi e poco diffusi.
• PC tanti e tanto diffusi.
• Web nessuna modifica.
• Digitale tanti e poco diffusa.
• Social Big Data e poco diffusa.

Definizione di Big Data:

• Processa il volume crescente in maniera costo-efficiente.
• Risponde alla crescita della velocità.
• Colleziona e analizza l’ampliamento varietà.
• Stabilisce veridicità delle grandi risorse di dati.

Quando parliamo dei Big Data, parliamo di una grande quantità/mole di dati che cresce anche in varietà e complessità (testo, numerico, immagine,...). Quindi ho un grande volume di dati difficile da trattare univocamente.

Integrazione diverse fonti di dati:

• Record Linkage: Identificare record riferiti allo stesso individuo ma collocati in file diversi, attraverso chiavi comuni non perfettamente corrispondenti. Input: due data set che osservano gruppi di unità sovrapposti. Problema: mancanza di un codice identificativo univoco e privo di errori. Soluzione: uso di un set di variabili in grado (congiuntamente) di individuare i record. Attenzione: le variabili possono avere “problemi”!
• Obiettivo: maggior numero di agganci giusti, minor numero di agganci sbagliati.

Un possibile problema potrebbero essere unità sovrapposte, ma viene risolto usando un set di variabili chiave per identificare un individuo correttamente.

Record Linkage: Esistono diverse procedure di record linkage:

• Deterministico: si stabiliscono a priori delle regole che, se rispettate, definiscono i match. Il controllo dei possibili errori può essere svolto solo manualmente (clerical review).
• Probabilistico: si definisce un modello che genera i dati osservati. Si stabilisce una regola di decisione che ha l’obiettivo di essere “ottima”, in un senso da specificare. Si stimano gli elementi utili all’applicazione della regola di decisione. Vengono definite delle probabilità di errore.

Quello deterministico si basa sulla concordanza di un numero sufficiente di variabili comuni. Quello probabilistico lavora sul confronto delle coppie, stabilisce abbinamenti con punteggi basati su criteri flessibili ma, si tiene conto dei livelli di disaccordo nei dati e punteggi e soglie dipendono dal problema in esame.

- FMR: n_1,2/n_1,·

- FNMR: n_2,1/n_2,·

- Sensibilità: n_2,2/n_·,1

- Specificità: n_·,2 (False-Match (FMR) and False-Non match (FNMR)).

Esempio di tecnica statistica di trattamento dei Big Data