Che materia stai cercando?

Anteprima

ESTRATTO DOCUMENTO

Reti neurali: tipi di unità potenziale di attivazione

Per ogni unità si definisce un che dipende dai

i [P (t)]

i

segnali in ingresso che ad essa provengono e da caratteristiche interne.

Queste caratteristiche interne sono legate ad un valore numerico assegnato ad

soglia.

ogni unità e il quale è chiamato valore di

Per calcolare l’output di una unità ad un determinato istante di tempo, cioè il suo

potenziale di attivazione, si prendono tutti i potenziali di attivazione sulle

connessioni in ingresso, cioè le uscite dei nodi afferenti, , che vengono prima

x

j

moltiplicati per i rispettivi pesi , e poi sommati.

w ij

Il risultato viene filtrato dalla soglia e si ottiene così il potenziale di attivazione in

uscita. w

j i

G. Paronitti - Reti neurali 7

Tipi di unità

Esistono differenti tipi di unità:

In esse lo stato di attivazione vale 1 se il potenziale

1. Unità binarie a soglia.

di attivazione supera o eguaglia la soglia, mentre vale 0 in caso contrario.

In queste unità l’uscita di una qualsiasi unità al tempo è

i t+1

determinata dalla regola seguente:

u(t+1)=F(P(t)-S)

Dove è la cosiddetta funzione di Heaviside o funzione a gradino:

F ≥

F(x)= 1 se x 0

F(x)=0 se x < 0 N

P (t) w x (t)

=

i ij j

j=1

G. Paronitti - Reti neurali 8

Tipi di unità In questo tipo di unità i coefficienti di connessione sono tutti

2. Unità booleane.

1

uguali a e i segnali che circolano sulle varie linee possono assumere

1 0.

solamente due valori o L’uscita al tempo t+1 si specifica esplicitamente in

base al tipo di unità booleana presa in considerazione e dipende dai segnali di

ingresso al tempo t. In genere la descrizione di una unità booleana si fa tramite

delle tabelle associabili alle tavole di verità e quindi è superflua una equazione

che determini il potenziale di attivazione.

x x

x u

NOT u u

AND OR

y y

x u Stato degli ingressi al tempo Stato degli ingressi al tempo

t t

Stato Stato

1 0 dell’uscita al dell’uscita al

tempo tempo

t+1 t+1

x y x y

0 1 1 1 1 1 1 1

1 0 0 1 0 1

0 1 0 0 1 1

0 0 0 0 0 0

G. Paronitti - Reti neurali 9

Tipi di unità L’uscita di queste unità può assumere valori reali qualsiasi.

3. Unità lineari.

Si usa distinguere tra unità lineari a soglia e unità lineari senza soglia.

L’uscita di queste unità si calcola in base alle seguenti equazioni:

u(t 1) P(t)

+ = ⎧ 0 P(t) S 0

− <

u(t 1)

+ = ⎨ P(t) S P(t) S 0

− − ≥

⎩

€ G. Paronitti - Reti neurali 10

Strati

I neuroni che compongono una rete neurale vengono raccolti in strati, ciascuno deputato

allo svolgimento di una particolare funzione. Si hanno:

1. Strati di ingresso, quando tale strato contiene tutti e solo i neuroni che ricevono

direttamente segnali provenienti dall’esterno della rete.

2. Strati di uscita, quando lo strato contiene tutti e solo i neuroni che hanno un

canale di uscita verso l’esterno.

3. Strati nascosti, quelli che non sono né di ingresso né di uscita. Unità nascoste

sono i neuroni che compongono questi strati.

Naturalmente si distinguono anche le connessioni in:

1. Connessioni intra-strato, quelle che connettono solo neuroni appartenenti allo

stesso strato (dette anche connessioni laterali);

2. Connessioni inter-strato, quelle che connettono neuroni appartenenti a

differenti strati.

Naturalmente si può specificare anche la direzione in cui viaggia il segnale:

1. Se le connessioni fanno viaggiare il segnale dall’ingresso all’uscita si parla di connessioni

feedforward.

2. Se le connessioni trasmettono il segnale in senso inverso si parla di connessioni di

feedback ricorrenti.

o G. Paronitti - Reti neurali 11

Modelli psicologici dell’apprendimento e reti neurali

Per una rete neurale apprendere vuol dire modificare i valori dei coefficienti

di connessione tra i nodi in base a una determinata legge di apprendimento.

La maggior parte di queste leggi fa dipendere l’apprendimento dalla

presenza di opportuni pattern di stimolazione esterni, i cui costituenti sono

i valori di singole caratteristiche micro-elementari.

Nelle prossime slide daremo uno sguardo a 2 tipi di modelli di

apprendimento per le reti:

teorie stimolo-risposta (l’apprendimento è visto come una

-

acquisizione di una legge di associazione tra stimolo e risposta. Es. i riflessi

pavloviani).

teorie cognitive (sottolineano il ruolo delle rappresentazioni interne e

-

concepiscono l’apprendimento come un cambiamento nella struttura

cognitiva in cui queste rappresentazioni sono collocate)

G. Paronitti - Reti neurali 12

Teorie stimolo-risposta

Edward Lee Thorndike (Animal 1898) - la legge dell’effetto

intelligence,

Se la risposta dà luogo a uno stato di soddisfazione, l’intensità della

connessione verrà aumentata, se è seguita da uno stato di

insoddisfazione, l’intensità della connessione verrà diminuita.

Questa prima legge introduce il concetto di rinforzo, cioè un feedback che fa agire i

risultati della risposta direttamente sulla forza dell’interconnessione tra stimolo e risposta.

dell’apprendimento supervisionato.

Paradigma

Il rinforzo è ottenuto introducendo un supervisore (p.e. una memoria di tipo statico) che

in corrispondenza di ogni risposta emessa dallo strato di uscita, fornisce quella che avrebbe

dovuto essere la risposta corretta, in funzione dell’input presentato in ingresso. La

differenza (opportunamente calcolata) tra risposta attesa e effettiva è il rinforzo che andrà

a modificare il peso sulle connessioni tra lo strato di ingresso e quello di uscita.

Questo tipo di reti è impiegato per progettare sistemi neurali che realizzino una pre-

assegnata legge di associazione input-output.

G. Paronitti - Reti neurali 13

Teorie stimolo-risposta

Edwin Ray Guthrie (The 1952) - la legge della contiguità temporale

Psychology of Learning,

Un individuo di fronte a una data configurazione di stimolazione tenderà

a produrre lo stesso comportamento che aveva manifestato l’ultima

volta che gli si era presentata la stessa configurazione.

Il premio attribuito a un comportamento non ha alcuna funzione di rinforzo. La causa

dell’apprendimento sarebbe allora solo lo stabilirsi di particolari contiguità spazio-

temporali. dell’apprendimento senza supervisore.

Paradigma

La rete non ha nessun particolare obiettivo. Modifica i suoi coefficienti di connessione in

funzione degli andamenti temporali istantanei degli input stessi. Se la legge di modificazione

è scelta in modo appropriato dopo una certa “storia” di ingressi la rete avrà appreso le

eventuali regolarità presenti nella distribuzione temporale di questi ingressi in quella

particolare “storia”. L’apprendimento si riduce allo stabilirsi di associazioni stimolo-risposta

dettate da esperienze contingenti. Queste reti vengono in genere utilizzate per fare un

clustering di dati dipendente unicamente da caratteristiche statistiche dell’insieme dei dati

stessi G. Paronitti - Reti neurali 14

Teorie stimolo-risposta

Burrhus Frederic Skinner (Science 1953) - Condizionamento operante

and Human Behavior,

Se il verificarsi di un comportamento operante è seguito dalla

presentazione di uno stimolo rinforzante, l’intensità del comportamento

stesso viene accresciuta (intensità = il ritmo di emissione del

comportamento nel tempo)

Skinner introduce la distinzione tra comportamenti rispondenti, che si verificano in

risposta a determinati stimoli e comportamenti operanti, che non necessitano di nessuna

connessione con qualche stimolo particolare.

Apprendimento basato sul rinforzo. La rete gestisce una sequenza temporalmente ordinata

di pattern di ingresso, in corrispondenza dei quali emette un pattern di uscita; ogni uscita

effettivamente prodotta dà luogo alla ricezione, da parte della rete, di un opportuno

segnale di rinforzo; la modifica dei pesi della rete avviene in modo da massimizzare la

somma dei segnali di rinforzo ricevuti durante la presentazione della sequenza in

questione.

Viene utilizzata per progettare reti che interagiscono con un ambiente complesso e

mutevole G. Paronitti - Reti neurali 15

Teorie stimolo-risposta

Clark Leonard Hull (Principles 1943) - tenta diverse formalizzazioni della teoria

of Behavior,

associazionista dell’apprendimento.

Il concetto fondamentale è che l’apprendimento dipende dalla contiguità

dello stimolo e della risposta, ma solo se vi è una stretta associazione

con il rinforzo, definito come la riduzione del bisogno.

L’intensità della connessione è misurata tramite una grandezza chiamata intensità

dell’abitudine ( ) definita come la tendenza di uno stimolo a produrre in successive

H S

S R

occasioni la risposta R.

La descrizione della dinamica di un processo di apprendimento equivale a quella

dell’andamento di in funzione del numero di rinforzi che sono stati associati alla

H

S R

concomitanza, o contiguità, di quel particolare stimolo e di quella particolare risposta

S R.

G. Paronitti - Reti neurali 16

Teorie cognitiviste

Con le teorie cognitiviste l’associazione stimolo-risposta viene sostituita

dalla triade stimolo-organismo-risposta.

I modelli dell’apprendimento per le teorie cognitiviste sono più complessi di

quelli associativi perché devono tenere in considerazione sia l’oggetto

dell’apprendimento (i processi di apprendimento differiscono in base a

quello che deve essere appreso) sia altri processi coinvolti nella cognizione.

I sostenitori delle teorie cognitive considerano l’apprendimento come

qualcosa che non può essere studiato isolatamente, se non nei casi più

semplici, ma deve essere posto in relazione con la memoria, la percezione,

l’affettività, le capacità sensomotorie, ecc.

I costruttori di modelli di reti neurali in grado di apprendere fanno fatica a

trovare delle corrispondenze con teorie psicologiche abbastanza recenti.

G. Paronitti - Reti neurali 17

Rote learning

Nel Rote learning non esiste una uscita della rete e i pesi sono modificati

direttamente solo in funzione dei di ingresso da memorizzare o,

pattern

eventualmente, delle associazioni ingresso-uscita che si vogliono

immagazzinare; questo tipo di rete è impiegato per progettare sistemi

memorie associative,

neurali che fungano da in cui il richiamato

pattern

dalla memoria dipende dal di richiamo presentato per sondare il

pattern

contenuto della memoria stessa.

G. Paronitti - Reti neurali 18

Apprendimento supervisionato

È la forma di apprendimento nella quale le reti neurali hanno avuto più

successo.

Nelle prossime slide vedremo due forme di rete neurale che apprende il

perceptrone semplice e quello multistrato dotato di una regola di

apprendimento chiamata regola di error-backpropagation.

perceptrone

Il è una rete neurale a due strati, uno di ingresso e uno di

uscita, in grado di classificare opportune categorie di stimoli attraverso una

forma di apprendimento supervisionato.

Nella sua forma più semplice il perceptrone ha uno strato di uscita

composta da una singola unità a soglia, con una uscita di tipo binario, che

vale 1 se lo stimolo in ingresso appartiene alla classe desiderata mentre vale

0 (o -1) in caso contrario. G. Paronitti - Reti neurali 19

Perceptrone semplice

Denotiamo con:

le uscite al tempo t delle unità dello strato di ingresso e con

x (t) (i =1,…,n)

i

w (i =1,…,n) il coefficiente di connessione tra l’i-esima unità di ingresso e l’unica

i

unità di uscita,

il processo di apprendimento consiste in una modifica di seguendo l’algoritmo

w i

della slide successiva. 1 w 1

2 w 2 u

w

... …

w i

i

G. Paronitti - Reti neurali 20

Perceptrone semplice: algoritmo di funzionamento

1. Scelta casuale dei valori dei coefficienti w ;

i

2. Scelta dell’errore ammissibile sull’insieme dei pattern appartenente al training set;

3. Si pone che l’errore effettivo sul training set = 0; 1 w 1

4. Si pone un numero di ordine del pattern da esaminare n = 1; w

2

5. Si presenta in ingresso il pattern numero n; 2 u

6. Si calcola l’uscita effettiva della rete tramite:

u w

... …

⎛ ⎞

N w

u F w x s

= − i

⎜ ⎟ i

i i

⎝ ⎠

i=1

dove s è la soglia dell’unità di uscita e F la funzione di Heaviside;

7. Si calcola l’errore effettivo sul pattern tramite il valore assoluto della differenza dove t è la risposta corretta fornita dal

t-u,

supervisore; €

8. Si pone (errore effettivo sul training set)=(errore effettivo sul training set)+(errore effettivo sul pattern);

∆w

9. Si aggiunge al precedente valore dei coefficienti di connessione la correzione data da:

w i i

x (t u)

Δw = ⋅ −

i i

10. Se il pattern presentato era l’ultimo del training set, si va al punto 12), altrimenti al punto 11;

11. Si pone n=n+1 e si va al punto 5);

12. Si pone: (errore effettivo sul training set) = (errore effettivo sul training set)/n;

€ ≤

13. Se (errore effettivo sul training set) (errore ammissibile sul training set) allora apprendimento terminato altrimente si

torna al 3). G. Paronitti - Reti neurali 21

Limitazioni del perceptrone semplice

Immaginiamo un perceptrone molto semplice:

w

1 1 u

2 w 2

L’uscita di questo perceptrone vale 1 se è soddisfatta la disuguaglianza:

w • x + w • x - s 0,

(a) 1 1 2 2

Mentre vale 0 se è soddisfatta:

w • x + w • x - s < 0.

(b) 1 1 2 2

Queste due disuguaglianze possono essere visualizzate geometricamente se ci poniamo in

un piano di coordinate , e consideriamo in esso la retta di equazione

x x

1 2

w • x + w • x - s = 0.

(b) 1 1 2 2 G. Paronitti - Reti neurali 22

Limitazioni del perceptrone semplice

w

1 1 ≥ →

w • x + w • x - s 0 u = 1

u 1 1 2 2 →

w • x + w • x - s < 0 u = 0

2 1 1 2 2

w 2

In questa figura si mostra la

suddivisione del piano nel

x , x

1 2

caso in cui w =1, w =1, s=1. x

1 2 1

Il semipiano che soddisfa la In questa esempio con la scelta fatta

prima equazione è quello che dei coefficienti di connessione il

si trova al di sopra della retta perceptrone classificherà come

(0,1) (1,1)

che giace in positivi gli ingressi (1,0), (0,1) e (1,1)

come negativo l’ingresso (0,0). Cioè

ovvero la retta che

x +x -1=0,

1 2 questo perceptrone realizza la

incrocia i due assi in OR

funzione x x .

x 1 2

2

(0, 1) e in (1, 0); il semipiano (0,0) (1,0)

che soddisfa l’altra equazione si

trova al di sotto di questa

retta. G. Paronitti - Reti neurali 23


PAGINE

38

PESO

701.92 KB

AUTORE

Atreyu

PUBBLICATO

+1 anno fa


DESCRIZIONE DISPENSA

Questa dispensa si riferisce alle lezioni di Filosofia della scienza, tenute dal Prof. Roberto Cordeschi nell'anno accademico 2010 e tratta i seguenti argomenti:
[list]
Modelli psicologici dell'Apprendimento;
Apprendimento supervisionato;
Reti Neurali;
Perceptrone.
[/list]


DETTAGLI
Corso di laurea: Corso di laurea in filosofia
SSD:
A.A.: 2010-2011

I contenuti di questa pagina costituiscono rielaborazioni personali del Publisher Atreyu di informazioni apprese con la frequenza delle lezioni di Filosofia della scienza e studio autonomo di eventuali libri di riferimento in preparazione dell'esame finale o della tesi. Non devono intendersi come materiale ufficiale dell'università La Sapienza - Uniroma1 o del prof Cordeschi Roberto.

Acquista con carta o conto PayPal

Scarica il file tutte le volte che vuoi

Paga con un conto PayPal per usufruire della garanzia Soddisfatto o rimborsato

Recensioni
Ti è piaciuto questo appunto? Valutalo!

Altri appunti di Filosofia della scienza

Macchine di Turing
Dispensa
Logica
Dispensa
Logica e rappresentazione della conoscenza
Dispensa
Risoluzione automatica dei problemi
Dispensa