Riassunto esame Business Intelligence e Data Mining, prof. Vercellis, libro consigliato Business Intelligence e Data Mining, Vercellis

Business  

Intelligence,    

Carlo  Vercellis  

Riassunto   c ompleto   d el   l ibro  

Nel seguente documento sono presenti i riassunti dei vari capitoli del libro ad esclusione dei

capitolo numero 4 e 14, non rientranti nel programma d’esame.

Anno  Accademico  2013-­‐2014  

INDICE  DEGLI  ARGOMENTI  

1. INTRODUZIONE  .................................................................................................................................  1

1.2  DATI,  INFORMAZIONI  E  CONOSCENZA   .................................................................................................................  1  

1.3  ARCHITETTURA  DI  BUSINESS  INTELLIGENCE  .........................................................................................................  2  

1.3.1  PIRAMIDE  DELLE  COMPONENTI  DI  UN  AMBIENTE  DI  BUSINESS  INTELLIGENCE  ...................................................  2  

1.3.2  CICLO  DELLE  ANALISI  DI  BUSINESS  INTELLIGENCE  ................................................................................................  3  

1.3.3  FATTORI  ABILITANTI  PER  PROGETTI  DI  BUSINESS  INTELLIGENCE  .........................................................................  3  

1.3.4  REALIZZAZIONE  DI  UN  AMBIENTE  DI  BUSINESS  INTELLIGENCE  ............................................................................  4

2. SISTEMI  DI  SUPPORTO  ALLE  DECISIONI  ...................................................................................  5

2.1  DEFINIZIONE  DI  SISTEMA  .....................................................................................................................................  5  

2.2  PROCESSI  DECISIONALI   ........................................................................................................................................  5  

2.2.1  PROCESSO  DI  PROBLEM  SOLVING  ........................................................................................................................  5  

2.2.2  FASI  DEL  PROCESSO  DECISIONALE  ........................................................................................................................  6  

2.2.3  TIPI  DI  DECISIONI  ..................................................................................................................................................  6

2.2.4  QUALI  SONO  LE  PRINCIPALI  CARATTERISTICHE  DELLE  INFORMAZIONI  IN  RELAZIONE  ALLA  PORTATA  DELLE    

DECISIONI?  .....................................................................................................................................................................  7  

2.2.5  ORIENTAMENTI  NEL  PROCESSO  DECISIONALE  .....................................................................................................  8  

2.3  EVOLUZIONE  DEI  SISTEMI  INFORMATIVI  ..............................................................................................................  8  

2.4  DEFINIZIONE  DI  SISTEMA  DI  SUPPORTO  ALLE  DECISIONI  ......................................................................................  9  

2.4.1  QUALI  SONO  I  PRINCIPALI  VANTAGGI  DI  UN  SISTEMA  DI  SUPPORTO  ALLE  DECISIONI?  ....................................  10  

2.5  FASI  DI  SVILUPPO  DEI  SISTEMI  DI  SUPPORTO  ALLE  DECISIONI  ............................................................................  10

2.5.1  QUALI  SONO  I  PRINCIPALI  MECCANISMI  CHE  RIDUCONO  IL  RISCHIO  DI  INSUCCESSO  DI  UN  SISTEMA  DI    

SUPPORTO  ALLE  DECISIONI?  .......................................................................................................................................  10

2.5.2  QUALI  SONO  I  PRINCIPALI  FATTORI  CRITICI  CHE  POSSONO  DETERMINARE  IL  GRADO  DI  SUCCESSO  DI  UN    

SISTEMA  DI  SUPPORTO  ALLE  DECISIONI?  ....................................................................................................................  11

3. DATA  WAREHOUSING  ...................................................................................................................  11

3.1  DATA  WAREHOUSE  ............................................................................................................................................  11  

3.1.1  OLAP    VS    OLTP  ...................................................................................................................................................  11

3.1.2  QUALI  SONO  LE  RAGIONI  PER  CUI  VENGONO  REALIZZATI  DATA  WAREHOUSE  SEPARATI  DAI  DATABASE  CHE    

SOSTENGONO  LE  APPLICAZIONI  OLTP  DI  UN’IMPRESA?  .............................................................................................  12  

3.1.3  CARATTERISTICHE  DEI  DATI  CONTENUTI  IN  UN  DATA  WAREHOUSE  ..................................................................  12  

3.1.4  PRINCIPALI  DIFFERENZE  TRA  SISTEMI  OLTP  E  SISTEMI  OLAP  .............................................................................  12  

3.1.5  DATA  MART  ........................................................................................................................................................  13  

3.1.6  INCONVENIENTI  E  RIMEDI  RELATIVI  ALL’INTEGRITA’  DEI  DATI  ...........................................................................  13  

3.1.7  FATTORI  CHE  INFLUENZANO  LA  QUALITA’  DEI  DATI  ...........................................................................................  13  

3.2  ARCHITETTURA  DI  UN  DATA  WAREHOUSE  .........................................................................................................  14  

3.2.1  LOGICHE  DI  REALIZZAZIONE  DI  UN  DATA  WAREHOUSE  .....................................................................................  14  

3.2.2  PASSI  PER  REALIZZARE  UN  DATA  WAREHOUSE  ..................................................................................................  14  

3.2.3  STRUMENTI    ETL  .................................................................................................................................................  14  

3.2.4  METADATI  ...........................................................................................................................................................  15  

3.3  CUBI  E  ANALISI  MULTIDIMENSIONALI  ................................................................................................................  15  

3.3.1  CUBI  DI  DATI  .......................................................................................................................................................  16  

3.3.2  GERARCHIE  DI  CONCETTI  E  OPERAZIONI  OLAP  SUI  CUBI  ....................................................................................  16  

3.3.3  CALCOLO  D CUBI  DI  DATI  ................................................................................................................................  17

EI

5. DATA  MINING  ..................................................................................................................................  17

5.1  DEFINIZIONE  DI  DATA  MINING  ...........................................................................................................................  17  

5.1.1  DIFFERENZE  TRA  OLAP,  STATISTICA  E  DATA  MINING  .........................................................................................  18  

5.1.2  APPLICAZIONI  DI  DATA  MINING  .........................................................................................................................  18  

5.2  RAPPRESENTAZIONE  DEI  DATI  IN  INGRESSO  .......................................................................................................  19  

5.3  PROCESSO  DI  DATA  MINING  ..............................................................................................................................  19  

5.3.1  QUALI  SONO  LE  FIGURE  PROFESSIONALI  COINVOLTE  IN  UN  PROCESSO  DI  DATA  MINING?  ..............................  20  

5.4  METODOLOGIE  DI  APPRENDIMENTO  NEI  PROCESSI  DI  DATA  MINING  ................................................................  21  

5.4.1  FUNZIONALITA’  PRINCIPALI  DI  DATA  MINING  ....................................................................................................  21

6. PREPARAZIONE  DEI  DATI  ...........................................................................................................  22

6.1  VALIDAZIONE  .....................................................................................................................................................  22  

6.1.1  ACCORGIMENTI  PER  RISOLVERE  IL  PROBLEMA  DEI  DATI  INCOMPLETI  ..............................................................  22  

6.1.2  DATI  SOGGETTI  A  RUMORE:  METODI  DI  IDENTIFICAZIONE  E  TECNICHE  DI  REGOLARIZZAZIONE  .......................  23  

6.2  TRASFORMAZIONE  DEI  DATI  ..............................................................................................................................  23  

6.2.1  STANDARDIZZAZIONE  E  TECNICHE  DI  STANDARDIZZAZIONE  .............................................................................  24  

6.2.2  ESTRAZIONE  DI  ATTRIBUTI  ..................................................................................................................................  24  

6.3  RIDUZIONE  .........................................................................................................................................................  24  

6.3.1  LOGICHE  DI  RIDUZIONE  DEI  DATI  ........................................................................................................................  25  

6.3.2  CAMPIONAMENTO  .............................................................................................................................................  25  

6.3.3  SELEZIONE  DEGLI  ATTRIBUTI  ..............................................................................................................................  25  

6.3.4  ANALISI  DELLE  COMPONENTI  PRINCIPALI  (PROIEZIONE)  ...................................................................................  26  

6.4  DISCRETIZZAZIONE  .............................................................................................................................................  27

7. ESPLORAZIONE  DEI  DATI  ............................................................................................................  28

7.1  ANALISI  UNIVARIATA  .........................................................................................................................................  28  

7.1.1  ANALISI  GRAFICA  DI  ATTRIBUTI  CATEGORICI  ......................................................................................................  28  

7.1.2  ANALISI  GRAFICA  DI  ATTRIBUTI  NUMERICI  .........................................................................................................  29  

7.1.2.1  GENERAZIONE  DEGLI  INTERVALLI  PER  LA  DENSITA’  EMPIRICA  ...................................................................  29  

7.1.3  INDICI  DI  POSIZIONAMENTO  CENTRALE  PER  ATTRIBUTI  NUMERICI  ...................................................................  29  

7.1.4    INDICI  DI  DISPERSIONE  PER  ATTRIBUTI  NUMERICI  ............................................................................................  30  

7.1.5  INDICI  DI  POSIZIONAMENTO  RELATIVO  PER  ATTRIBUTI  NUMERICI  ...................................................................  31  

7.1.5.1  INDICATORI  DI  POSIZIONAMENTO  CENTRALE  BASATI  SU  QUANTILI  ..........................................................  32  

7.1.6  IDENTIFICAZIONE  DEGLI  OUTLIER  PER  ATTRIBUTI  NUMERICI  ............................................................................  32  

7.1.7  INDICI  DI  ETEROGENEITA’  PER  ATTRIBUTI  CATEGORICI  ......................................................................................  32  

7.1.8  ANALISI  DELLA  DENSITA’  EMPIRICA  ....................................................................................................................  33  

7.2  ANALISI  BIVARIATA  ............................................................................................................................................  34  

7.2.3  TENICHE  DI  ANALISI  GRAFICA  PER  LE  BIVARIATE  ................................................................................................  34  

7.2.2  INDICI  DI  CORRELAZIONE  PER  ATTRIBUTI  NUMERICI  .........................................................................................  35  

7.2.3  TABELLE  DI  CONTINGENZA  PER  ATTRIBUTI  CATEGORICI  ....................................................................................  36  

7.3  ANALISI  MULTIVARIATA  .....................................................................................................................................  36  

7.3.1  METODI  GRAFICI  DI  ANALISI  MULTIVARIATA  ...................................................................................................  36  

7.3.2  INDICI  DI  CORRELAZIONE  PER  ATTRIBUTI  NUMERICI  .........................................................................................  37

8.REGRESSIONE  .......................................................................................................................................  38  

8.1  STRUTTURA  DEI  MODELLI  DI  STIMA  ...................................................................................................................  38  

8.2  REGRESSIONE  LINEARE  SEMPLICE  ......................................................................................................................  38  

8.2.1  CALCOLO  DELLA  RETTA  DI  REGRESSIONE  ...................................................................................