Appunti di Intelligenza artificiale

Il margine funzionale

Chiamiamo margine funzionale il valore del margine di una classe nella classificazione binaria. Il margine può essere positivo o negativo a seconda se il punto si trova all'interno o all'esterno dell'iperpiano che rappresenta la separazione tra le due classi.

Se il margine è positivo, allora il punto è correttamente classificato. Se il margine è negativo, allora il punto è classificato in modo errato.

Definiamo il margine geometrico come la distanza dal punto al valore dell'iperpiano. Per ottenere il valore del margine, moltiplichiamo l'equazione dell'iperpiano per una costante e otteniamo i parametri della stessa.

Se il margine è maggiore di zero, allora la classificazione è corretta. Se il margine è uguale a zero, allora la classificazione è ideale. Se il margine è minore di zero, allora la classificazione è errata.

ciò ilsifaresi cerca marginespesso con . dell'problemadetto iperpiano(wtdataset DATASET chevaloreilMARGINEDef del ) taleDEL bchiamiamomargine( Max mindi: )massimo margineibW ,datasetlinearmente diciamo LINEARMENTEdatasetDef cheseparabile SEPARABILE) '( seeun: µVediamo codicelo dell'quindi algoritmopseudo :Perceptionfunction ( )D :initialize bw: ,t indice d' iterazione( )R dellaMax datasetcontiene( )che ilraggio sferarepeat :hlrr dall'contatore algoritmodel di )commessi un'errori( in epocanumerofor i in WTif b negativopositivo falso )falso( othln we: Weepoca +1 R2beta nerrnerrttunti / nerrL' idea di commettedell' diventifacendoche positivol'spostarequellaalgoritmo chevolta ilè sìiperpiano si margineerroreogni unpositivo l'realtà falsofalso altrimentiallora negativo)l' all'sottrae' vettore( il erapoiché in 'iperpiano ( erroreerrorese e se esi un✗un , , l'ottimoTale

algoritmo gready

positivo garantiscerealtà ) 'negativo ))all'vettoreallora (il epoiché erainiperpiano (si nonaggiunge ..L' quando intera garantitocommetterealgoritmo termina Ciosi è( -esegue sempresenza peroerroriepocauna ' nonnerr . 29terminalinearmentealgoritmol' quindihaInfatti separabile allora soluzioni'e ese non nonnon , ., edbanaledatoTeorema datasetdataset almeno positivo( che ha negativo ) cheesempio supponiamoesempioovvero: non unun unun , ?2£wt dib Perceptiondall' alalgoritmo e-tali che piùAllora ilb errorii× commessiWW numeroconDim perdereConsideriamo R di generalitàsenza .~ wtmodolol wtxtbInChiamiamo questo possiamo scrivereW b . .{" Wt" sola1aggiornamentol'scriverepossiamoDi conseguenza equazioneuna we wecon aRZ -betaabbiamo ipotesiQuindi Per: WTWTW WTW WT ✗Wee a, a --induzionePer avremo :t allora wt wtwallora 8wtwzt allora2 28,: wtw.lyt altrimentiallora

Poiché genericocinon, stato l'sarebbe errore 222 T 2Inoltre 2scriviamo 2Wt WtWeWe -1aa, -- =2Per induzione totteniamo we I contino " -1Mettendo wtwe notWTtgiotteniamo btinsieme 21 ee wedipuntitutti della 12=1all' internotrovano sferasi raggioi .→iperpiano l' puntidataset banale sicuramente latagliaallorailInoltre poiché sferaiperpiano- in 2e non , .,I; 1 bLa distanza dell' dall' bdeveipotesiorigine 'iperpiano R perciò esseresara percon ,tgi 2-Di tavremoconseguenza ✓< ☐ digarantisce terminazione dell' ilalgoritmoteorema chelaquestoB finitopoiché implicav. sianumero errori: .detta PERCEPTRONvariante VOTEDdi algoritmoquesto èUna .linearmenteutilizzata dataset Perilvariante separabilenel sostituirebastarealizzarlaTale in repeatilcuicaso siaviene non .dilimitadi iltermina certo epoche )ciclo si massimo(checon passiin numero numeroun un .del volteInoltre ditraccia fattohacontatore tiene erroriche

iperpiano inseriamo in cui numero non un un Voted Perception (function )D :initialize bw: ,t indice d' iterazione( )R della Max dataset contiene( )che il raggio sfera dall' di corrette( conta classificazioni il )iperpiano numero tEpoch for epochs maxhlrr dall' contatore algoritmo model di )commessi un' errori( in epoca numero for i n WT if b negativo positivo falso )falso( othln Weta: Wt È epoca b. i. +1 nerrnerr÷el se ce le return br tCrwr rcon, ,Tale algoritmo di lista di rappresentano ritorna volte valori il gli in rispettivi tutti che cui piani i una C numero iper concorretta effettuato classificazione ha iperpiano una un . E dettawrtxtbrvotazione soluzioni facendo hmodo sulle questo possiamo combinare Crsgnovvero In Crpesouna sgn, rgrandidà )VOTE MODE più più agli piani iper Crpesosi( con . E WrtxtbrUn' detta haltra talicombinare ottiene tecnica soluzioni MODEAVERAGE' e Crsgnsieper con .,del ridefinendo problema dell' detta ottiene

Il PERCEPTRON è un algoritmo di apprendimento supervisionato utilizzato per la classificazione binaria. La sua variante più comune è chiamata perceptron a margine massimo o perceptron duale. Questo algoritmo cerca di trovare un iperpiano che separi i dati di addestramento in due classi, in modo che gli esempi di una classe si trovino da un lato dell'iperpiano e gli esempi dell'altra classe si trovino dall'altro lato. Nel caso in cui i dati di addestramento non siano linearmente separabili, il perceptron può essere esteso utilizzando una funzione kernel per mappare i dati in uno spazio di dimensioni superiori, in cui diventano linearmente separabili. N.B. L'algoritmo del perceptron può essere implementato in diverse varianti, a seconda delle scelte fatte per la rappresentazione dei dati, la funzione di attivazione e l'aggiornamento dei pesi.

chesostituire una unapossiamo con: delle istanzespazio IR taledetta chedi dueMACHINESKERNEL Dato istanzesimilarità( E)funzione che incompara sensouna. scalareprodottodelle featurespaziomappa ✗✗ = Kqualelaper .TRICKKERNEL grandemolto anche )(esserepuò co: . Z•'^ ZRadialRBF FunctionBasis( questoKERNEL )punto) adkernel simile trovaKlx vicinoe-e 2-(2- sise a ;un: ,- ellissiIn di darealizzare diversi iperbolimodoquesto piani (iper )separazionesuperficipossiamo ecccome , . .., .- di classificatoreFeaturecomposizioniparticolareIn larealizzarepossiamo funzioni mdpponiamoovvero concom+7 un,- . WT rappresentazioneh doveb detta dianche'sgn+ e=Possiamo scriverla attraversorepresentationapprendere dianche ( )learning kernelinvece un, .Limiti del perception :la linearmenteprimate separabilisolamenterisolvere problemiwtxtb• ( ) puòforma ;=×" "'la ' l' exponenzialedell'li liduale esplosione( problemacomportare il'

'ad può forma esempio✗•