Un peluche beige, un musetto rotondo, una sciarpa di lana che gli cade morbida tra le gambe. Kumma, a guardarlo, sembrava la quintessenza dell’innocenza.
E invece, dentro quella pancia imbottita, c’era un sistema di intelligenza artificiale capace di dialoghi un tantino fuori luogo. Tanto da destare un certo grado di allarme: conversazioni sessualmente esplicite, istruzioni su come accendere un fiammifero, perfino indicazioni su dove trovare coltelli in casa. Il tutto, mentre l’orsetto era promosso come “il perfetto compagno per bambini e adulti”.
Dopo il report del PIRG (Public Interest Research Group), organizzazione americana impegnata nella tutela dei consumatori, l’azienda di Singapore dietro al peluche ha perciò dovuto sospenderne le vendite e ritirare l’intera linea AI dei suoi prodotti.
Una retromarcia rapida, arrivata quando ormai l’incidente aveva mostrato quanto fragile possa essere l’idea stessa di un giocattolo “intelligente”.
Indice
Kumma, ovvero il peluche che parlava di sesso
Kumma è un peluche dotato di altoparlante, venduto a 99 dollari, capace di conversazioni vivaci e racconti personalizzati grazie all’integrazione di un modello linguistico avanzato. Almeno sulla carta.
Sul sito di FoloToy, l’azienda produttrice, la promessa era invitante: un “adorabile orsetto che combina intelligenza artificiale avanzata con funzionalità interattive e amichevoli”, perfetto per tenere compagnia ai più piccoli. Una promessa che è subito venuta meno nel momento in cui i ricercatori americani del PIRG Education Fund hanno iniziato a testarlo.
È bastato introdurre un singolo tema sensibile perché l’orsetto lo sviluppasse con sorprendente naturalezza. Non proprio un argomento da bambini: spiegazioni dettagliate di posizioni sessuali, fantasie di ruolo, perfino istruzioni su nodi e pratiche di bondage “per principianti”.
A condire il discorso, una spontaneità inquietante, che aumentava man mano che la conversazione procedeva.
Le risposte pericolose: dai fiammiferi ai coltelli in cucina
Oltre ai contenuti sessuali, Kumma ha mostrato un altro lato problematico: la tendenza a rispondere con consigli pratici su azioni rischiose.
Durante i test, l’orsetto avrebbe indicato diversi posti in cui cercare coltelli in un’abitazione e fornito suggerimenti su come accendere un fiammifero.
Per un adulto può suonare come un’anomalia gestibile. Ma è evidente che, per un bambino, informazioni del genere possano facilmente sfociare in un rischio concreto.
Il ritiro immediato e la reazione dell’azienda
Dopo la pubblicazione del report, Larry Wang, CEO di FoloToy, ha confermato alla ‘CNN’ il ritiro immediato non solo di Kumma ma di tutti i giocattoli AI della compagnia.
Una scelta drastica, accompagnata dall’annuncio di un audit interno per verificare i protocolli di sicurezza. Nel frattempo, secondo il PIRG, OpenAI avrebbe sospeso lo sviluppatore per violazioni delle policy.
La pagina del prodotto, che prima mostrava un rassicurante “sold out”, è ora sparita del tutto, insieme al resto del catalogo.
Un vuoto normativo pericoloso
L’episodio di Kumma è un campanello d’allarme sul presente, non sul futuro. Lo sottolinea R.J. Cross, coautrice del report che ha "incastrato" l'orsetto, che ricorda come i giocattoli basati sull’intelligenza artificiale operino in un territorio quasi privo di regole.
Nessuna certificazione specifica, nessun protocollo condiviso, nessuna tutela pensata per gestire il comportamento di sistemi progettati per “conversare” con bambini.
Rimuovere un prodotto dal mercato è un passo necessario, ma toglie solo il sintomo. Il problema resta: un settore in espansione che corre più veloce della sua stessa cornice di sicurezza.
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo
