ChatGPT: l'AI supera gli esami universitari del primo anno, ma dopo fa un disastro

L’esperimento arriva dal dipartimento di Informatica dell’Università di Torino. I docenti hanno sottoposto a ChatGPT alcune domande estrapolate dai test scritti del primo anno di informatica. Il risultato? Idoneo, idoneo e ancora idoneo.

Come fa sapere ‘La Stampa’, che riporta la notizia, il chatbot è quindi in grado di superare brillantemente gli esami a cui sono sottoposti gli studenti al primo anno di università. Il discorso però sembra cambiare, e di molto, a mano a mano che si alza l’asticella dei quesiti.

Leggi anche:

• In Cina si usa l'AI a scuola per monitorare l'attenzione degli studenti
• WhatsApp si potrà finalmente usare su due smartphone
• Whatsapp, in arrivo le chat segrete con impronta digitale
• "Avatar: Frontiers of Pandora": cosa sappiamo sul videogioco della saga

L’esperimento: ChatGPT testato sugli esami del primo anno di Informatica

ChatGPT supera l’ennesima prova. Questa volta è stato testato agli esami del primo anno di università, ottenendo ottimi risultati. L’esperimento è stato condotto dai docenti del dipartimento di Informatica dell'Università di Torino. Come racconta ‘La Stampa’, se il chatbot fosse stato una matricola, avrebbe passato senza intoppi la totalità dei test a cui è stato sottoposto.

“Dagli esperimenti che abbiamo effettuato”, spiega il professor Elvio Amparore, “è emerso che il software è capace di formulare delle soluzioni corrette rispondendo a quesiti di alto livello, formulati cioè per valutare la preparazione accademica di uno studente iscritto al primo anno del nostro corso di laurea”. Aggiunge poi il docente: “Ma il discorso cambia se si passa ad esercizi più complessi”.

Pessimi risultati di ChatGPT per gli esami di magistrale

L’esperimento, infatti, è continuato mettendo alla prova ChatGPT sulle domande di un esame di algoritmi avanzati che appartiene al programma di laurea magistrale. I risultati, diversamente da quanto osservato nella prima parte dell’esperimento, si sono rivelati pessimi: “In questo caso il software ha fornito soluzioni del tutto sbagliate, si è dimostrato incapace, ma questo non è così sorprendente”, afferma ancora Amparore, che spiega: “Fra gli strumenti utilizzati dagli sviluppatori di OpenAI per ‘allenare’ ChatGPT ci sono proprio le domande dei test universitari del primo anno dei college americani”. Il che naturalmente permette al chatbot di rispondere in maniera del tutto adeguata a quelle domande su cui ha una preparazione specifica, anche in lingua italiana.

Lo scopo dell’esperimento: “Capire se gli esami sono resistenti a una tecnologia così dirompente”

L’esperimento portato avanti dai docenti di Informatica aveva un intento ben preciso: “I test sono stati eseguiti proprio per capire se gli esami a UniTo siano ‘resistenti’ ad una tecnologia così dirompente”.

I sotterfugi, infatti, sono sempre dietro l’angolo. Le prove scritte vengono svolte rigorosamente in presenza e sotto la sorveglianza dei professori, ma le cose cambiano per altri tipi di prove, come possono essere le tesi o le relazioni richieste dai professori a fine corso. ChatGPT, senza girarci troppo attorno, in questi casi si rivelerebbe un alleato un po’ troppo invadente, che potrebbe addirittura sostituirsi del tutto agli studenti più pigri. E naturalmente questo per i professori non va affatto bene.

Così Guido Boella, anche lui docente al dipartimento di Informatica di Unito: “L'Università dovrebbe prendere posizione contro quanto sta accadendo perché ci sono strumenti prematuri, ed è il caso di ChatGPT, a disposizione di tutti e senza particolari salvaguardie”. Continua il professore: “Alcuni atenei stranieri hanno già stilato dei manifesti in cui si fa appello agli studenti sul fair play nella carriera accademica sconsigliando l'uso di questi strumenti. Si potrebbe replicare anche qui. Un'altra soluzione, anche se difficilmente percorribile dati i costi, sarebbe quella di riadattare i metodi didattici, ad esempio aumentando le prove orali”.