Claude Fable 5.2 completa il 41,3% degli incarichi del Remote Labor Index (RLI) con un risultato che un cliente pagante potrebbe accettare. Nella misurazione precedente, il suo predecessore Fable 5.1 aveva raggiunto il 17,9%; il miglior agente al lancio dell’indice, circa un anno prima, aveva ottenuto il 2,5%. La distanza è notevole, anche se forse il dato più utile è un altro: persino il modello in testa alla classifica non porta a termine con qualità professionale la maggior parte dei lavori valutati.
L’RLI cerca di rispondere a una domanda a cui i test di conoscenza o di programmazione isolata non possono rispondere da soli: un agente è in grado di completare un progetto dall’inizio alla fine in condizioni simili a quelle di un incarico retribuito? Il test raccoglie lavori reali di diversi settori e valuta il risultato consegnato, non solo una breve risposta o una singola abilità. Il salto di Fable 5.2, quindi, non dimostra che l’IA possa già sostituire in generale i professionisti indipendenti. Mostra però che una quota molto più ampia di determinati incarichi raggiunge ora una soglia accettabile.
Dal 2,5% a oltre il 40%
Il Remote Labor Index è stato creato da Scale Labs e dal Center for AI Safety. Il suo set di valutazione comprende 240 progetti realizzati da 358 professionisti verificati su Upwork, per un valore complessivo di circa 144.000 dollari. I lavori includono montaggio video, progettazione CAD, sviluppo di giochi e analisi dei dati. Il progetto medio costa 632,60 dollari e richiede a un professionista indipendente poco meno di 29 ore.
Si tratta di un cambiamento di scala rispetto al punto di partenza. Il lavoro che presenta l’indice su arXiv descriveva inizialmente risultati prossimi allo zero: l’agente con il punteggio più alto automatizzava appena il 2,5% delle attività. Nella misurazione attuale, Fable 5.2 raggiunge il 41,3%. A luglio, Fable 5 si attestava intorno al 16%, mentre Fable 5.1 si ferma ora appena sotto il 18%. Il confronto riassume una rapida progressione, ma non va interpretato come se ogni percentuale misurasse posti di lavoro completi che scompaiono: l’indicatore conta i progetti specifici portati a termine a un livello che un cliente accetterebbe.
La differenza emerge anche dalla classifica attuale. Anthropic colloca Opus 5.5 al 21,3% e GPT-6 Astra al 20,8%; Fable 5.1 ottiene il 17,9%. Fable 5.2 raggiunge così circa il doppio dei risultati dei modelli che lo seguono in questa classifica. Gemini Argon 4, secondo The Decoder, ottiene il 17,08%.
Cosa si considera un lavoro completato
Gli agenti ricevono uno spazio di lavoro virtuale con programmi professionali come Blender, GIMP e Audacity, oltre a strumenti specializzati per generare immagini, audio e video. Consegnano poi file che devono poter essere aperti e utilizzati. La valutazione non si limita a verificare che il risultato sembri convincente in uno screenshot: esperti umani lo esaminano nel software pertinente e lo confrontano direttamente con il lavoro svolto dal professionista originale.
Questo processo è un punto di forza dell’indice e, al tempo stesso, un collo di bottiglia. Secondo The Decoder, i tentativi di automatizzare la revisione con un altro modello di IA sono falliti: i valutatori automatici possono lasciarsi ingannare da consegne curate all’apparenza ma tecnicamente difettose, assegnando punteggi troppo generosi. L’ispezione umana permette di rilevare questi problemi, ma rende laboriosa la valutazione di molti incarichi. Per interpretare il 41,3%, conta tanto la cifra quanto il rigore applicato nel decidere cosa si considera un successo.
Anche la varietà delle attività cambia il modo di leggere il risultato. Non è un test di un’unica abilità, ma di incarichi completi con strumenti e risultati da consegnare diversi. Secondo Scale Labs, Fable 5.2 migliora soprattutto nel montaggio audio e nella musica, nella progettazione architettonica e d’interni e nella creazione di modelli 3D. Quasi 50 dei suoi progetti completati erano attività che nessun agente della valutazione aveva mai risolto prima. Ciò indica progressi nelle capacità pratiche, ma non dimostra che tutti i settori o i tipi di lavoro stiano avanzando allo stesso ritmo.
La media nasconde errori molto diversi
Il punteggio aggregato non significa che il sistema produca risultati quasi finiti nel restante 58,7% dei casi. Tra i tentativi falliti si trovano lavori incompleti, file danneggiati, progetti contraddittori o consegne di livello amatoriale. Ci sono anche ambiti in cui il modello continua ad avere difficoltà: Scale Labs segnala la progettazione di prodotti industriali e l’animazione.
Per un’azienda che valuta l’adozione di questi agenti, questa varietà conta più della posizione in classifica. Un incarico portato a termine correttamente può far risparmiare lavoro; uno che genera un file inutilizzabile può richiedere una revisione, correzioni e una nuova esecuzione. L’indice registra se il lavoro raggiunge lo standard professionale, ma la cifra da sola non spiega quanto impegno umano servirebbe per recuperare ogni tentativo fallito. Né indica quali attività specifiche di un’organizzazione corrisponderebbero a quelle che l’agente risolve meglio.
La differenza tra un risultato accettabile e uno semplicemente accattivante ha conseguenze dirette per la valutazione interna. Una dimostrazione visiva può nascondere errori nel file sorgente o nel suo funzionamento all’interno del programma. Proprio per questo l’RLI si affida a revisori che aprono le consegne negli strumenti professionali pertinenti. Per i team che valutano l’automazione delle attività, il test suggerisce che misurare gli artefatti finali e i criteri di accettazione concreti sarà più informativo che contare le interazioni o giudicare le risposte dall’aspetto.
Un miglioramento con costi e condizioni
Anthropic presenta Fable 5.2 come un modello per lavori tecnici ambiziosi e aperti e consiglia di iniziare con Opus 5.5 per molte attività abituali di programmazione e conoscenza. Propone inoltre che Fable possa fungere da consulente per modelli più piccoli o coordinare agenti incaricati di svolgere sottoattività. Questo orientamento è importante: il risultato dell’RLI non impone di scegliere tra automazione totale e nessun utilizzo. Può aiutare a individuare progetti in cui il modello risolve una parte sostanziale del lavoro, con supervisione e verifica del risultato consegnato.
Il costo, inoltre, non si deduce direttamente dal tasso di successo. Anthropic afferma che Fable 5.2 costa meno per milione di token rispetto a Fable 5.1 e genera risultati fino al 30% più velocemente. Ma Xataka, riassumendo un’analisi esterna di SemiAnalysis, segnala che in GDPx il costo per attività di Fable 5.2 è stato del 31% superiore a quello di Fable 5.1, perché il modello ha generato più token. Questo calcolo non riguarda il Remote Labor Index e non permette di concludere quanto costi completare i suoi progetti; avverte però che un prezzo unitario inferiore non garantisce che ogni attività costi meno.
In definitiva, il 41,3% è una misura delle capacità dimostrate secondo un protocollo specifico, non un tasso di automazione applicabile senza distinzioni a qualsiasi portafoglio di lavoro. L’indice propone incarichi reali, strumenti professionali e revisione umana, elementi che rendono il risultato più simile a una consegna lavorativa rispetto a molti benchmark convenzionali. Ma la percentuale restante è ancora maggioritaria e gli errori possono variare da una consegna incompleta a un file che non funziona. La prossima domanda pratica per ogni azienda non è se Fable 5.2 sia in testa alla classifica, ma quali incarichi del proprio flusso di lavoro assomiglino a quelli che il modello riesce già a superare.
Fonti: The Decoder, Xataka, Anthropic, arXiv
