Machine Learning - Appunti di teoria (introduzione e fondamenti)

Ripasso machine learning

Introduzione

Differenza tra intelligenza e intelligenza artificiale

Pensare, categorizzare, elaborare modelli astratti della realtà → ragionare → riproduzione parziale dell'attività intellettuale dell'uomo.

Apprendere, riconoscere, scegliere.

Tipologie di ragionamento

Deduttivo → La verità delle premesse garantisce quella della conclusione (Aristotele), fondamento di molte discipline: teoremi matematici, non pratico, ma solo riflessivo, non permette ai robot di imparare al di fuori delle situazioni programmate.

Induttivo → Le premesse (particolari) forniscono indizi ma non garantiscono la verità della conclusione (generazione). Ragionamento quindi probabilistico, capace di risultati generalizzazione.

L'analogia è una forma di ragionamento induttivo molto potente.

Abduttivo → Ragionamento probabilistico. Come induttivo, ma non è generalizzare!

Esperto: "Tutto ciò che galleggia sull'acqua è un corpo solido" → Secca in un vuoto, sic. Eracleo: l'implicazione induttiva.

Machine learning

Sottoinsieme dell'AI (intelligenza artificiale) → apprendimento automatico.

Imparare un oggetto (learning): in grado di generalizzare (ragionamento induttivo).

Apprendere, migliorare, delineare, esplorare e comprendere i dati senza programmazione esplicita.

Brute force e weak AI

Forza bruta (ricerca esaustiva) → risolvere problema al 'bruto' testando tutte le possibili alternative, spesso non applicabile ai problemi complessi.

Sistemi capaci di risolvere problemi senza ragionamento e comprensione (weak AI).

Le stagioni dell'AI

1940-1974 (nascita e anni d'oro) → previsioni troppo ottimistiche!

Primi calcolatori, test di Turing.

Neuroni intreccianti, genesi entusiasta.

1974-1980 (primo inverno) → sviluppo non accelerato: troppe aspettative.

Scarsa capacità di calcolazione, educazione indifferente/catturato e combinatoria & non trattabilità.

1980-1987 (nuova primavera) → nascita dei sistemi esperti. Algoritmo backpropagation x reti neurali. Pianificazione.

Governo interesse.

1987-1993 (secondo inverno) → flop 5ª gen. sc. x pianificazione, reti neurali, scarso calcolo!

1993-2011 (tempi moderni) → hardware + potente, classificatori robusti verso riscaldamento. Il primo.; inizio autoatt. Successi in varie discipline.

2011-oggi → deep learning. CNN_{Convolutional Neural Net} (era molto utili e potenti. Fama in maniera nella computer vision riconoscimento dei pattern & traduzione lingua.

Singolarità tecnologica

Punto, previsto nello sviluppo di una civiltà, dove il progresso tecnologico accelera oltre le capacità degli esseri umani, per esempio: primo calcolatore & "intelligente" dell'essere umano. Sviluppo esponenziale.

Riassunto machine learning

Introduzione

Differenza tra intelligenza e intelligenza artificiale

Pensare, citare, elaborare modelli astratti della realtà.

Ragionare.

Riproduzione parziale dell'attività intellettuale dell'uomo.

Apprendere, riconoscere, scegliere.

Tipologie di ragionamento

Deduttivo - La verità delle premesse garantisce quella della conclusione (Aristotele) fondamento dei nostri modelli - teoremi matematici. Non permette di scoprire nuove verità.

Induttivo - Le premesse (osservazioni) forniscono supporto ma non garantiscono la verità della conclusione (generale) ragionamento quindi probabilistico, cattura dei risultati. Generalizzazione.

Analogia = una forma di ragionamento induttivo molto potente.

Abduttivo - Ragionamento probabilistico, come induttivo, ma non si generalizza!

Esempio: tutti gli umani sono mortali. Socrate era un uomo, Socrate era un uomo.

Calcolo dell'implicazione induttiva.

Machine learning

Sottoinsieme dell'AI (intelligenza artificiale) = apprendimento automatico.

Apprendere oggetti (learning). In grado di generalizzare (ragionamento induttivo).

Apprendere, migliorare, debuggare, esplorare e comprendere i dati senza programmazione esplicita.

Brute force o weak AI

Forza bruta (= ricerca esaustiva) - Risolvere problemi al c**** testando tutte le possibili alternative, spesso non applicabile a problemi complessi.

Sistemi capaci di risolvere problemi senza ragionamento e comprensione (WEAK AI).

Le stagioni dell'AI

1940-1974 (nascita e anni d'oro) - previsioni troppo ottimistiche!

Parità calcolatori, test di Turing, neuroni artificiali, generale entusiasmo.

1974-1980 (primo inverno) - sviluppo non all'altezza delle aspettative, scarsità capacità centralizzate, euristica, inaffidabilità, espressione combinatoria e non trattabilità, bassa integrazione.

1980-1987 (nuova primavera) - Nascita dei sistemi esperti. Algoritmi backpropagation x rec. neurali, pianificazione, governo conness.

1987-1993 (secondo inverno) - Flop 5° gen. SC, pianificazione, reti neurali, sist. esperti espressione combinatoria.

1993-2011 (tempi moderni) - Hardware potente, classificatori robusti, data investigation, probabilistic learning, guida automatica, successo in intelligenza di discipline.

2011-oggi - Deep learning. CNN (Convolutional Neural Networks) ora molto più utili e potenti. Passi in avanti nella computer vision riconoscimento dei pattern, traduzioni lingua.

Singolarità tecnologica

Punto previsto nello sviluppo di una civiltà, dove il progresso tecnologico accelera oltre le capacità dell'uomo e prevedere: parità calcolatore e intelligenza dell'essere umano. Sviluppo esponenziale.

Fondamenti

Dati

Dati essenziale nel ML (Machine Learning) → comportamento degli algoritmi non pre-programmato ma appreso dai dati stessi. DATI = PATTERN. Dati = Pattern → usato spesso in ML.

Pattern

Un volto, un carattere scritto a mano...

Il termine “pattern” spesso usato per riferirsi dati. Vari tipi di:

• Numerici → Valori associati a carattere misurabili o letture rappresentabili come univoco testo. Es. nella IGRP = multidimensional, serie temx || ordinazione. Es. letture passi di una persona, ecc...
• Categorici → Valori associati a carattere qualitative (sì/no vero/falso), & categorizazione Estr; es. sesso, classe di appartenenza. Es. processo di alberi di classificazione. Es. sesso, colore occhiali, ecc...
• Sequenze → Pattern sequenziali con relazioni spaziali o temporali. Es. stream audio, video, frase, ecc... Spesso lung. variabile. Relazione nella sequenza importante - utilizzati per tenere conto del passato = allineamento spaziali/temporale.
• Altri dati strutturata → Output organizzati in strutture complesse quali alberi e grafi. E.g., natural language processing, riconoscimento del parlato, ecc...

Classificazione

→ Riconoscimento.

Assegna una classe a un pattern. Necessario apprendere una funzione → il mapping dello spazio dei pattern a quello delle classi.

2 sole classi → Binary classification (adjacent = classi) → Multiclass classification (adjacent = l’insieme delle n pattern caratteristiche colonne). 2 classi per distinguere cane da gatto. 21 classi per riconsoci. delle lettere dell'alfabeto → Italiano.

Regressione

Assegna un valore continuo ad un pattern. Necessario apprendere una funzione approssimante delle coppie {$input, output$} date. Utile → predizione di valori continui, e.g., stimata altezza di una persona in base al peso.

Clustering

Individua gruppi di pattern con caratter. simili. Più complesso della classificazione. Le classi non sono note a priori e pattern non etichettati. Spesso neotendo il numero di cluster noto a priori. 2 cluster individuarlo possono poi fungere da class>, riconseparator individui in base analogie del DNA, operazioni non supervisionate.

Riduzione di dimensionalità

Riduce il numero di dimensioni dei pattern di input. Necessario un mapping da ℝ^d a ℝ^k con k