Doveva essere la nuova frontiera creativa, la fabbrica dei sogni digitali capace di trasformare poche righe di testo in un piccolo film. Invece, almeno secondo l’organizzazione statunitense Eko, Sora – l’app di generazione video tramite intelligenza artificiale di OpenAI – rischia di diventare la corsia preferenziale dei contenuti che i minori non dovrebbero vedere. Altro che ambiente sicuro e filtrato: bastano un telefono, un account e una data di nascita inserita con onestà adolescenziale per ritrovarsi a produrre e visualizzare materiale che definire sensibile è un eufemismo. L’undicesimo comandamento dell’era digitale sarebbe semplice: “Non generare video inadatti ai minori”. Sora, però, stando al report di Eko, sembra averlo preso come un suggerimento opzionale.
Il gruppo consumerista parla chiaro. «Sora 2 di Open AI: una nuova frontiera per il danno», titola il report che documenta come anche accedendo con profili di adolescenti di 13 e 14 anni sia possibile ottenere dall’IA contenuti contrari alle stesse politiche della piattaforma. Non trucchi da hacker, non stratagemmi sofisticati: semplici richieste, a volte persino molto esplicite, che l’algoritmo non blocca. Il risultato è una collezione di ventidue video generati da quattro account giovanissimi, tutti con temi che nessun minore dovrebbe maneggiare. Una performance che racconta molto su come gli strumenti pensati per proteggere possano trasformarsi in giostre incontrollate quando l’architettura dei controlli mostra qualche crepa.
I casi citati sono abbastanza eloquenti da togliere forza a ogni tentativo di minimizzazione. Tra i filmati ottenuti dagli analisti compaiono ragazzini che fumano e fanno uso di droghe, sparatorie ambientate all’interno di scuole, pistole animate sotto forma di protagonista di un cartone e scene che suggeriscono comportamenti autolesionisti. Non basta: l’app proporrebbe nelle sezioni “per te” e “ultimi” anche contenuti creati da altri utenti, spesso non filtrati, che includono stereotipi su ebrei e persone di colore, violenze sessuali e varie forme di aggressione. È la socializzazione algoritmica dell’orrore: il feed decide cosa guardi e l’età indicata al momento dell’iscrizione sembra avere lo stesso peso di una moneta gettata in un pozzo.
«C’è il rischio di autolesionismo», scrivono i ricercatori di Eko, e non si può certo dire che il tono sia esagerato. Secondo il report, la crescita esplosiva dell’app starebbe generando «nuovi rischi non considerati», mentre OpenAI ripeterebbe «gli stessi errori di moderazione già documentati con ChatGpt». Solo che questa volta il problema non riguarda parole su uno schermo, ma video iperrealistici, virali per natura, potenzialmente più incisivi di qualsiasi conversazione testuale. L’effetto domino è evidente: ciò che viene creato dai minori o per i minori finisce nella circolazione generale, e da lì nelle raccomandazioni dell’algoritmo. Un circuito chiuso in cui il danneggiato è anche il destinatario.
Il report insiste sulla dinamica più insidiosa: la sezione “per te”, che funziona come un social network, suggerisce video basati sull’attività degli utenti seguiti e su quelli più popolari. In teoria la piattaforma dovrebbe evitare che contenuti violenti, razzisti o con riferimenti sessuali raggiungano un tredicenne. In pratica, secondo Eko, non succede. Tra i clip segnalati dai ricercatori figurano sparatorie, aggressioni sessuali simulate, e perfino contenuti che raffigurano comunità religiose e minoranze etniche con stereotipi degradanti. È un mondo in cui l’algoritmo non possiede freni, e il problema non è tanto che un minorenne possa imbattersi in un video sbagliato, ma che lo faccia con la benedizione del meccanismo di suggerimento.
La questione centrale, al di là della tecnologia, riguarda il concetto stesso di responsabilità. Sora nasce come strumento creativo, non come un videogioco proibito, eppure riesce a generare ciò che la piattaforma sostiene di voler impedire. Eko parla apertamente di «traiettoria orientata al profitto», lasciando intendere che la corsa alla crescita potrebbe aver superato la cautela. Il punto, però, è un altro: se da un lato gli adolescenti utilizzano l’app con una facilità disarmante, dall’altro l’architettura dei controlli appare più decorativa che funzionale. Il risultato è una zona grigia dove la promessa dell’innovazione rischia di rovesciarsi nel suo esatto contrario.
Finché il dibattito resta confinato nei report, la questione sembra astratta. Ma basta guardare uno dei video raccolti da Eko – una classe scolastica trasformata in teatro di una sparatoria, o il trailer animato di un cartone con protagonista una pistola – per capire che non si tratta di un dettaglio. È un cortocircuito di proporzioni considerevoli: una piattaforma presentata come rivoluzionaria che finisce per esporre i più giovani a contenuti che altrove verrebbero bloccati in un istante. Non c’è bisogno di retorica per rendere evidente il rischio: è sufficiente osservare l’elenco dei video generati, ventidue in totale, tutti ottenuti da account che dichiaravano un’età compresa tra i 13 e i 14 anni.
Il report di Eko, nel suo complesso, è un invito a interrogarsi su come la tecnologia possa sfuggire di mano persino a chi la progetta. Non è una requisitoria, né un processo alle intenzioni, ma un documento che descrive un problema già visibile. Sora cresce, i contenuti aumentano, l’algoritmo suggerisce. E nel frattempo le barriere che dovrebbero proteggere i minori restano permeabili. È l’immagine perfetta dell’era digitale: un sistema che vuole essere sicuro, ma che finisce per mostrare che tra le promesse e la realtà, spesso, lo spazio è grande quanto un click.
