ChatGPT supera il test di Medicina, ma totalizza 46,3 punti su 90

Un gruppo di ricerca dell’Università di Cagliari mette alla prova ChatGPT sul test di Medicina dell’anno scorso. Il risultato è molto interessante: il chatbot riesce a passare il test totalizzando 46,3 punti su 90. Bene, ma non benissimo.

Il punteggio ottenuto di 46,3 avrebbe permesso a un candidato di entrare alla facoltà di Medicina de La Sapienza di Roma. Ma la performance non si è mantenuta costante su tutte le aree del test: il chatbot sembrerebbe aver fatto un po’ di fatica con il ragionamento logico. A riportare la notizia, ‘Il Corriere della sera’.

Leggi anche:

• I giochi gratis di Marzo 2023 su PlayStation e XBox
• Un ragazzo su due ritocca le foto prima di pubblicarle sui social
• I titoli più giocati su Twitch a febbraio 2023: la Top 10

ChatGPT: una super persona super limitata

ChatGPT, il celebre chatbot basato su intelligenza artificiale e machine learning, da qualche tempo si è guadagnato un ruolo da protagonista tra le pagine della cronaca. In molti ne parlano, sia in termini positivi che negativi. Il dibattito si fonda soprattutto sui rischi e sulle potenzialità che deriverebbero dall’utilizzo della chat, sempre più diffusa in vari ambiti.

Il vero aspetto innovativo di ChatGPT è di non limitarsi a offrire una risposta asettica, ma di capire, comprendere e argomentare, offrendo degli spunti anche molto articolati che tengono conto del contesto. Tanto che a volte si ha la sensazione di parlare con una vera e propria persona, anzi con una “super persona” dalla conoscenza spropositata, che però spesso inciampa su delle banalità che fanno cadere le braccia. Una specie di Funes di Borges, ovvero quel personaggio che ricorda tutto, e che proprio per questo risulta estremamente limitato, data la sua incapacità di selezionare e gerarchizzare le informazioni.

Ecco allora che molti utenti si sono sbizzarriti per mettere alla prova il chatbot su vari fronti. Seguendo questa tendenza, un gruppo di ricerca ha sottoposto l’intelligenza artificiale alla verifica per eccellenza, che ogni anno mette in croce migliaia di studenti: il test di Medicina.

ChatGPT sottoposto al test di Medicina

Il gruppo di ricerca dell’Università di Cagliari, costituito da logici, filosofi e ricercatori di Machine learning, ha dunque sottoposto ChatGPT al test di ingresso di Medicina dell’anno scorso, mettendolo alla prova non solo sulle materie, ma anche sulle sue capacità di ragionamento logico e di risoluzione dei problemi, tutte caratteristiche essenziali per i futuri medici che si troveranno ad affrontare una vasta gamma di situazioni complicate. Qual è stato il risultato? Come se l’è cavata il chatbot nei panni di uno dei tanti candidati al test nazionale?

Beh, direi abbastanza bene, ma non benissimo. Il gruppo di studiosi ha somministrato le 60 domande al test di Medicina 2022 e la chat è riuscita a rispondere correttamente a 37 quesiti su 60, che corrispondono al 62% delle domande, ottenendo quindi un punteggio di 46,3. Se prendiamo in considerazione la graduatoria dell’anno scorso, il punteggio minimo per l’ammissione è stato di 33,4 punti. Questo vuol dire che il “candidato ChatGPT” non solo avrebbe passato il test, ma si sarebbe oltretutto classificato in una buona posizione, ottenendo l’accesso alla facoltà di Medicina de La Sapienza di Roma, una delle più ambite. Allo stesso tempo, però, non sarebbe potuto accedere alla facoltà di Pavia (punteggio minimo 46,6), a Padova (46,6), a Milano (47,5) e a Bologna (51,5).

Considerando che il numero di partecipanti al test del 2022 è stato di 56.775 e che solo il 50,7% è risultato idoneo, il chatbot risulterebbe comunque tra i candidati che avrebbero avuto un motivo per festeggiare.

La performance di ChatGPT

La ricerca, intitolata “ChatGPT prospective student at Medical School”, mostra nei particolari la performance di ChatGPT: particolarmente bene sui quesiti di comprensione del testo (4 risposte esatte su 4), bene su biologia (16 su 23), un po’ meno su chimica (9 su 15) e su fisica e matematica (7 su 13), e decisamente lacunosa sul ragionamento logico e problemi (1 su 5).

La ricerca tiene poi conto di un’analisi comparativa con il BMAT 2021 (BioMedical Admission Test) del Cambridge Assessment Admission Testing, utilizzato per valutare le competenze dei candidati in ambiti analoghi a quelli del test italiano per l’ammissione a corsi di studio di ambito biomedico. I risultati del confronto hanno messo in evidenza uno sbilanciamento dell’efficienza di ChatGPT tra quesiti “Thinking skills” (16 risposte esatte su 25) e “Scientific knowledge and applications” (7 su 22).

Secondo gli stessi autori, questo esperimento preliminare, che comunque necessita di approfondimenti su più vasta scala, può essere molto utile per capire gli ambiti in cui ChatGPT risulta più performante e quelli in cui ancora si dimostra piuttosto limitato.