Appunti di intelligenza artificiale

Intelligenza artificiale

WHO? WHEN?

1950 1956

convegno fondativo al

Alan Turing: uno strumento Dartmouth College (USA):

meccanico può manifestare un

comportamento intelligente?

psicologi cognitivi pensare come un essere nascita del termine

umano “intelligenza artificiale”

comportarsi come se pensasse

come un essere umano

WHAT?

Intelligenza artificiale:

studio di agenti intelligenti che percepiscono il loro ambiente e producono azioni volte a

massimizzare la probabilità di successo nel raggiungere i loro scopi

percepire gli stimoli dell’ambiente produrre delle risposte

à

processi

cognitivi 1

DEFINIZIONI DI INTELLIGENZA ARTIFICIALE

Scopo dell’IA:

costruire agenti intelligenti, riproducendo processi mentali complessi

PROSPETTIVA INGEGNERISTICA

meccanismo in grado di imitare (emulare) comportamenti

che possono essere definiti come intelligenti e, dove possibile,

superare le capacità della mente umana

FOCUS ON: risultato che si ottiene

PROSPETTIVA DELLE SCIENZE COGNITIVE

meccanismo che riproduce (simulare) in maniera più fedele

possibile il comportamento umano, anche quando questo non

è funzionale

FOCUS ON: modalità di funzionamento del cervello umano

PROSPETTIVA INGEGNERISTICA

Intelligenza artificiale intesa come tecnologia

AIM? emulare (imitare) l’intelligenza umana

Test di Turing :

mettere un essere umano in una stanza, con possibilità di comunicare solo a distanza

attraverso un terminale con un’altra persona:

l’essere umano non se

se dall’altro capo del terminale c’è un’intelligenza artificiale e

ne accorge, superato

il test si considera

2

Principali applicazioni tecnologiche:

Visione e riconoscimento visivo

Riconoscimento del parlato e traduzione

Elaborazione del linguaggio naturale

Sistemi di guida assistita/autonoma

Supporto alla decisione

Rappresentazione della conoscenza

Ricerca e recupero di informazioni

ASPETTATIVE SUGLI SVILUPPI DELL’INTELLIGENZA

ARTIFICIALE

“nell’arco di 3-8 anni avremo macchine con un livello di intelligenza artificiale paragonabile

Marvin Minsky, 1967

a quello di un essere umano medio” –

3

RECENTI SUCCESSI NEL CAMPO DELL’INTELLIGENZA ARTIFICIALE

Riconoscimento di immagini Riconoscimento del parlato

% errore odierno 2% % errore odierno 5%

à à

• Analisi di immagini complesse

• Descrizione scritta delle immagini

Deep learning:

la macchina viene posta di fronte ad uno stimolo e deve riconoscerlo

HOW?

PROCESSO DI APPRENDIMENTO

presentazione ripetuta di una grande quantità di stimoli da analizzare

4

PROBLEMI NEL RICONOSCIMENTO DELLE IMMAGINI

SENSIBILITÀ ALL’AGGIUNTA DI RUMORE

MANCATA CONSIDERAZIONE DEL CONTESTO

analisi frammentata e

non globale dell’immagine

Intelligenza artificiale “stretta” o debole: intelligenza

qualsiasi intelligenza artificiale in grado di eguagliare o superare le artificiale

capacità cognitive umane, dato un contesto controllato, definito e odierna

strutturato Necessario riaddestramento per contesti diversi

Intelligenza artificiale “generale” o forte: non ancora

qualsiasi intelligenza artificiale in grado affrontare e risolvere con sviluppata

successo molteplici compiti, anche nuovi, che vengono presentati in

contesti differenti tra loro

Capacità di applicare quanto appreso in contesti diversificati

5

LE 2 VIE VERSO L’INTELLIGENZA ARTIFICIALE

INTELLIGENZA ARTIFICIALE INTELLIGENZA ARTIFICIALE

CLASSICA NEURALE

Approccio logico-simbolico Approccio del connessionismo

Turing, McCulloch,

Newell e Simon Pitts e Hebb

WHO? 1950-1967 1943-1949

WHEN? attività di neuroni che formano

manipolare, attraverso regole, strutture

DEFINIZIONE DI complesse reti neurali

simboliche di rappresentazione della

INTELLIGENZA conoscenza

L’IA si può realizzare al computer L’IA si può realizzare al computer

scrivendo un programma simulando reti neurali

Processi mentali: sono il risultato delle

Processo di inferenza: recuperare una connessioni che i neuroni instaurano tra

serie di informazioni sugli attributi di un loro, simili ad una rete

concetto attraverso i legami che tale

informazione ha con altri concetti

Modello di rete semantica Attivare

à

una serie di informazioni che richiamano

una serie di concetti collegati

PROCESSI I processi simbolici sono indipendenti dallo I processi mentali emergono da uno specifico

specifico medium su cui vengono realizzati medium: neuroni collegati in una rete

(il cervello umano oppure un computer)

6

• Base di conoscenza:

rappresentazioni simboliche

strutturate

à

Ontologie insiemi di concetti,

assiomi e relazioni che descrivono

un dominio di interesse

STRUTTURA • Motore inferenziale:

sistema di regole

Le informazioni devono essere

è inserite nel sistema da un essere

umano

Il sistema non può mettere in

è relazione le conoscenze

pregresse con il problema attuale,

LIMITAZIONI ma si limita a trarre conclusioni in

modo deterministico in base alle

informazioni in suo possesso nel

momento attuale

Conoscenze empiriche (implicite)

è sono difficili da trasmettere

•

RECENTI SVILUPPI Approccio probabilistico

• Apprendimento da dati

7

Algebra lineare

FONDAMENTI MATEMATICI DELLE RETI NEURALI

FORMALISMO MATEMATICO FORMULA

Media pesata variabile net = sommatoria di moltiplicazioni (variabile w*a)

Funzione di Loss indica quanto la risposta di una rete neurale (y)

(funzione di errore) è diversa dalla risposta desiderata (t)

SE differenza = 0 SE differenza = 1

NO errore SI errore

Variabile gradiente gradiente della funzione errore rispetto ai pesi delle connessioni sinaptiche

Sigmoide funzione a forma di S

Funzione del tasso di

apprendimento 8 Teoria della probabilità

Teoria dei grafi

Algebra lineare Analisi matematica

Sistemi non lineari Definizione di algoritmo

TEORIA DEI GRAFI

TEORIA DEI GRAFI

formalismo matematico che si utilizza per descrivere qualsiasi sistema (rete) di elementi

che interagiscono tra di loro

• Atomi e molecole

• Geni

• Sistemi immunitari

• Specie di animali, ecosistemi

• Reti di telecomunicazione

• Flussi di migrazione

• Flussi di traffico

• Relazioni sociali

• Neuroni che interagiscono con altri neuroni = rete neurale

I nodi possono essere:

A. Singoli neuroni

B. Aree cerebrali 9

ELEMENTI FONDAMENTALI DI UN GRAFO

Nodi:

anche detti vertici o unità, definiscono quali sono le variabili implicate nello studio

Archi:

anche detti connessioni o spigoli, definiscono quali variabili interagiscono direttamente tra di

loro

Pesi:

definiscono la forza delle interazioni

0 relazione nulla

à numeri + grandi relazione eccitatoria

à numeri – grandi relazione inibitoria

à

ARCHITETTURA DI UNA RETE NEURALE architettura della rete neurale

topologia + direzionalità del grafo =

TOPOLOGIA

specifico schema di connettività su un piano 2D

esempio:

macchina di Boltzmann bipartito

à

10

DIREZIONALITÀ

Grafi direzionati Grafi non direzionati

Codificano relazioni di parentela tra le Codificano la correlazione tra le variabili

variabili, ossia esiste una direzionalità (grado di affinità)

specifica del processo Grafi non direzionati

bidirezionali + simmetrici

• Quando le variabili interagiscono

attraverso una connessione non

direzionata è come avere due

connessioni direzionate simmetriche

(con stesso peso)

• SE l’influenza bidirezionale ha pesi

diversi, bisogna specificarlo con

due archi separati

11

TEORIA DELLA PROBABILITA’

Formalismo matematico usato per studiare i sistemi stocastici

Perché sono utili i sistemi stocastici?

i sistemi sono spesso osservabili solo parzialmente, perciò

alcune cose sono osservabili mentre altre possono essere

IGNORANZA solamente inferite

Test diagnostici per il COVID-19

SPESSO I DATI CONTENGONO il rumore è sempre presente quando si misura un certo

ERRORI dato

ALCUNI SISTEMI SONO sistemi complessi, sistemi quantistici sono sistemi non

INTRINSECAMENTE STOCASTICI descrivibili in altri modi che non siano probabilistici

Probabilità condizionata P(A|B):

probabilità di osservare un certo comportamento di una variabile dato il valore di altre

variabili

Probabilità congiunta P(A,B):

probabilità dell’intersezione di due o più variabili casuali (che si verifichino entrambe)

Indipendenza statistica:

due variabili sono indipendenti se non si influenzano a vicenda

In tal caso, la loro probabilità congiunta:

P(A,B) = P(A) * P(B) P(A|B) = P(A)

à à

quindi

12

Variabile casuale o aleatoria:

variabile misurabile che può assumere valori

diversi in dipendenza da qualche fenomeno

aleatorio, rappresentato attraverso una

distribuzione di probabilità

Impredicibile Predicibile

quando assume valori troppo grandi quando la varianza diminuisce

Esempi distribuzioni di probabilità uguali

con

Esempio del lancio di 2 dadi:

• Probabilità che esca un certo numero

VARIABILI INDIPENDENTI ogni numero ha la stessa P

• Risultato di un dado e risultato dell’altro dado

i dadi sono indipendenti

distribuzioni di probabilità diverse

con

VARIABILI NON • persone con pelle scura

INDIPENDENTI • colore degli occhi

è ++ probabile che persone con la pelle scura abbiano gli occhi scuri

13

STATISTICA BAYESIANA

NIENTE È DEFINITIVO, TUTTO È IN EVOLUZIONE

la stima ottenuta viene aggiornata e riaggiustata progressivamente in base alle nuove

osservazioni

Esempio E H

probabilità che vi sia il sole probabilità a priori che vi sia il sole (se siamo in

classe di riferimento)

estate e in Italia, è alta à

Inferenza:

data una certa evidenza (osservazione, E), vogliamo trovare la distribuzione di probabilità

delle variabili non osservate (ipotesi, H)

Degree of belief (grado di (cioè il valore stesso della variabile) viene costantemente

credibilità) di ciascuna ipotesi aggiornato a seguito dell’accumulo di sempre maggiori

osservazioni ed esperienze

Apprendimento:

capacità di fare inferenze dipende dalla quantità di esperienza acquisita, che permette il

rafforzamento delle associazioni tra alcuni stimoli e altri apprendere le relazioni tra le

à

variabili

Stima di massima verosimiglianza Dato un insieme di esperienze, trovare il set di parametri

che meglio descrive la situazione

14

ALGEBRA LINEARE

Descrivere attraverso vettori e matrici dei concetti geometrici quali rette, piani, campi di forza, traslazioni, rotazioni…

Vettore:

colonna o riga

à

Matrice: Trasformazioni lineari:

insieme di numeri (indicata da una combinazione lineare di vettori

lettera maiuscola) tabella (moltiplicazione, somma)

à

Trasformazione (mapping) lineare:

2 2

funzione tra 2 spazi vettoriali (R R ) che preserva le operazioni di addizione tra vettori e

à

moltiplicazione scalare

PUÒ NON PUÒ

• •

Stirare i vari punti Alterare la curvatura dello spazio (cioè

• alterarne la linearità)

Riprodurre in scala diversa i vari punti 15

Spazio vettoriale: Somma e moltiplicazione

insieme di entità chiamate vettori, che di vettori in uno spazio

possono essere sommate tra di loro e 2

bidimensionale (R )

moltiplicate per uno scalare

Matrice:

insieme ordinato di elementi, rappresenta-

to in forma tabulare, ovvero disponendo

gli elementi su righe e colonne

N.B.:

un vettore può essere scritto come una

matrice uni-dimensionale (cioè con una

sola riga e più colonne o con una sola

colonna e più righe) dimensionalità di

Iperpiano: una rete neurale

sottospazio di dimensione inferiore di uno =

(n – 1) rispetto a quella dello spazio in numero dei suoi

cui è contenuto (n) parametri

Iperpiano

SE HO UNO SPAZIO BIDIMENSIONALE Retta (1D)

SE HO UNO SPAZIO TRIDIMENSIONALE Piano (2D)

16

ANALISI MATEMATICA

Studio di come una quantità varia nel tempo studio di funzione

à

Curvatura di una funzione

Punti di massimo e minimo

Punto di max velocità di cambiamento (indice RT)

Limiti

Funzioni multivariate:

non più solo x, y ma più variabili

Derivata:

sensibilità al cambiamento di una certa quantità (VD), la

quale è determinata da un’altra quantità (VI)

graficamente:

derivata = pendenza della tangente in uno specifico punto della

(necessario che la funzione sia continua in quel punto)

curva

++ pendenza della tangente ++ derivata elevata

à

Gradiente:

curvatura di una superficie (è la derivata per funzioni

multivariate) = vettore le cui componenti sono le derivate

parziali della funzione

graficamente:

quanto una certa curva sta crescendo o decrescendo nel tempo

17

Massimo e minimo:

punto in cui la derivata = 0

graficamente:

tangente parallela all’asse delle x

Massimo e minimo locali:

se esiste un punto in cui vi è un max più elevato o un

min più basso

APPLICAZIONI DEL MASSIMO E DEL MINIMO DI UNA FUNZIONE IN IA

funzione d’errore

quando la funzione d’errore è lineare quando la funzione d’errore è multivariata

Tecnica di discesa del gradiente:

per minimizzare una certa funzione come

quella d’errore, è necessario spostarsi sulla curva nella direzione

trovare i punti dove la derivata = 0 dove il gradiente è maggiore

18

RAPPRESENTAZIONE DI UN NEURONE ARTIFICIALE

RAPPRESENTAZIONE DI UNA RETE NEURALE (feed-forward)

vettore dei pesi per un

singolo neurone h

peso (forza della connessione sinaptica)

fra il neurone i e il neurone h

4 2

19

MODELLI NON LINEARI

SISTEMA LINEARE SISTEMA NON LINEARE

alla minima

perturbazione possono

avere un comporta-

mento completamente

diverso da quello

atteso

la traiettoria del pendolo può essere predetta la traiettoria del pendolo può essere predetta

con precisione tramite una semplice equazione solo in termini probabilistici

molto più espressivo

comportamento caotico:

e informativo, perché più flessibile

ALGORITMI

Algoritmo:

serie finita e ordinata di istruzioni dettagliate ed elementari date al sistema, che deve

eseguirle in sequenza per ottenere un determinato risultato in un tempo finito

con Python:

MACHINE LEARNING (ALGORITMI DI APPRENDIMENTO)

algoritmi che modificano in modo autonomo la propria struttura (i propri stati interni) in base

all’esperienza (input) acquisita in precedenza

modificazione dei pesi delle proprie connessioni sinaptiche

à

Algoritmi di pruning: Algoritmi incrementali:

rimuovono le connessioni inadeguate con l’esperienza, aggiungono connessioni con

data una grande quantità di connessioni fornite dal l’esperienza (molto complessi)

programmatore all’inizio

(imposto peso = 0 per le connessioni da eliminare) 20

Computazione neurale

COMPUTAZIONE NEURALE

modello di elaborazione dell’informazione eseguita dalle reti di neuroni,

siano essi biologici o artificiali

VS

computazione digitale!

RETI NEURALI BIOLOGICHE

Definizione funzionale di neurone:

rilevatore che riconosce il verificarsi di determinati eventi e segnala ciò che ha rilevato

attraverso una frequenza di scarica PROPRIETÀ

strati di rilevatori

I neuroni formano adattive,

Le relazioni tra i neuroni sono

complessi, cioè possono ricevere segnali cioè si modificano con l’apprendimento

da altri neuroni e inviarne a loro volta

codifica di una certa informazione creazione di unna rappresentazione di quanto rilevato

à Preso a sé stante, è specializzato per

la rilevazione di un certo tipo di

informazione

Comunica agli altri neuroni la presenza o

l’assenza dell’informazione per la quale è

tarato

Elaborazione complessa:

gruppi di rilevatori specializzati in una certa il neurone si specializza a seguito della comunicazione

informazione, se organizzati in strati, possono à

ripetuta con altri neuroni e grazie agli input ambientali

rilevare informazioni via via più complesse 21

CODIFICA DELL’INFORMAZIONE NEL NEURONE BIOLOGICO

Hubel e Wiesel

WHO?

Impianto di elettrodi nel cervello di un gatto (area V1)

per registrare l’attività di singoli neuroni durante la

presentazione di diversi tipi di stimoli visivi OUTCOME

preferenza per un particolare stimolo

1. Ogni neurone possiede una

Se è presente lo stimolo visivo preferito, la risposta del neurone è più forte (frequenza di

scarica maggiore)

Campo recettivo di un neurone

2. Porzione di spazio sensoriale (porzione di retina…) che attiva la risposta del neurone

STRUTTURA DEL CR DI UN NEURONE STRUTTURA DEL CR DI UN NEURONE

SEMPLICE COMPLESSO

Risposta a barre orientate

Centro vs periferia

• SI risposta • Risposta massima

Se stimolo parte on del neurone: solo

se sono stimolati

• NO risposta tutti i neuroni al

Se stimolo parte off centro del suo

campo recettivo

appartenenti allo

strato precedente

(a complessità

minore)

principio

à

di elaborazione

gerarchic