Data mining

Data Analytics

Bimbati Alan

Contents

I Introduzione 3

0.1 Alcuni esempi . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

0.2 Tecniche di Machine Learning . . . . . . . . . . . . . . . . . . . . 4

0.3 Inductive Learning . . . . . . . . . . . . . . . . . . . . . . . . . 4

1 Data set 5

1.1 Training Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.2 Validation Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.2.1 Cross Validation Set . . . . . . . . . . . . . . . . . . . . . . 5

1.3 Test set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3.1 Esempio . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2 Alberi di decisione 8

3 Reti bayesiane 8

4 Linguaggi Proposizionali 9

5 Linguaggi di Primo Ordine 9

6 Metodo di valutazione 10

7 Calcolo Combinatorio 11

7.1 Regola della somma . . . . . . . . . . . . . . . . . . . . . . . . 11

7.2 Regola del prodotto . . . . . . . . . . . . . . . . . . . . . . . . 11

8 Apprendimento di Ricerca 12

8.1 Update-S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

8.2 Update-G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

9 Attributi mancanti 13

10 c4.5 14

11 Dimensione dell’albero di decisione 14

12 Ridurre la dimensione dell’albero 15

12.1 Pessimistic pruning . . . . . . . . . . . . . . . . . . . . . . . . 15

13 ARFF 17

14 Inferenza 17

15 Nomenclatura 18

II Reti Bayesiane 19

16 Come costruire la rete 19

17 Indipendenza tra i nodi 19

18 Markov Blanket 20

19 Marker Networks (MN) 20

Part I

Introduzione

Il Machine Learning è nato negli anni ’60-’70. Esso è la costruzione o la modifica di un qualcosa attraverso l’esperienza.

Essa si divide in

• Estrazione di conoscenza, per classificare un sistema o per essere presentato ad un umano
• Miglioramento delle performance di una macchina, per esempio il miglioramento del movimento di un robot.

0.1 Alcuni esempi

• Spam, riconoscere che un’indirizzo e-mail è o non è un messaggio di spam (problema di classificazione).
• Suggerimenti delle ricerche, Google riconosce e personalizza le ricerche attraverso un periodico apprendimento.
• Ricerca dei documenti, ricercare in breve tempo un determinato file in una grande quantità.
• Sistemi di raccomandazione, suggerimenti di prodotti correlati, un esempio è Amazon che apprende quali sono i vostri interessi e vi consiglia quali prodotti potrebbero interessarvi.
• Computer vision, estrarre delle informazioni da immagini (riconoscimento facciale, o di oggetti)
• Elaborazione del linguaggio naturale, la comprensione di un linguaggio naturale (italiano, inglese ecc...)
• Bioinformatica, analizza dati come DNA, molecole ecc... per raccogliere un grande insieme di dati e riconoscerli.
• Chemioinformatica... 3

0.2 Tecniche di Machine Learning

• Tecniche simboliche, rappresentano un linguaggio (Applicazioni A e B)
  • Proposizionale
  • Di primo ordine
• Tecniche statistiche, si basano su dati statistici (applicazioni A e B)
  • Proposizionale
  • Di primo ordine
• Reti neurali, sono tecniche particolari per cui distinguono diversi pesi (applicazioni B)

0.3 Inductive Learning

1 Data set

Nelle tecniche di Machine Learning si hanno 3 tipi di data set:

• Training Set
• Validation Set
• Test Set

1.1 Training Set

È un insieme di dati utili per classificarli in modo discreto, in poche parole data una tabella di dati, la macchina ”impara” a riconoscerli. Più è grande l’insieme, più è accurata la classificazione, per questo motivo solitamente è il ”set” più grande dei 3.

L’output di questo algoritmo, è un vettore di metadata contenenti le proprietà di classificazione del training set.

1.2 Validation Set

È una tecnica per controllare dei parametri del training set, viene infatti utilizzato insieme al training set, la tecnica più comune è il cross validation set

1.2.1 Cross Validation Set

È una tecnica di validazione statistica per fare delle predizioni sui test.

1.3 Test set

È l’ultimo dei tre, infatti viene utilizzato solo dopo il training e il validation set, perché è una verifica che le classificazioni sono corrette. In caso l’output sia negativo, si fa back tracking al training set, e si ripete successivamente il test. Il