Claude-Opus-5.5 e GPT-6 Astra hanno superato circa il 63% dei test delle nuove funzionalità in SWE-CoWork, ma hanno completato integralmente solo il 6,93% e il 7,92% delle attività, rispettivamente. Il benchmark, presentato da TokenWave AI, cambia il consueto scenario di valutazione: invece di fornire una specifica completa e dettagliata, inserisce gli agenti in un’azienda software simulata e chiede loro di recuperare i requisiti, coordinarsi e verificare il codice.
La differenza tra superare i test e portare a termine un’attività è al centro dei risultati. In SWE-CoWork, una patch che risolve parte della funzionalità richiesta non è sufficiente: l’agente deve apportare tutte le modifiche richieste e preservare il comportamento esistente. Per completare la consegna è necessario superare entrambe le categorie di test nella stessa esecuzione.
Dal repository isolato a un’azienda simulata
Il benchmark contiene 101 incarichi associati a 101 repository reali, con codice in 11 linguaggi e progetti appartenenti a 12 settori. Ogni attività colloca l’agente in un’organizzazione simulata con 26 colleghi, ciascuno con responsabilità e conoscenze circoscritte. Le informazioni rilevanti sono distribuite tra conversazioni, schede di lavoro, documenti e altri registri del team.
L’agente riceve una breve nota di passaggio di consegne, non un elenco completo dei requisiti. Secondo la descrizione del repository di SWE-CoWork, 2.217 dei suoi 2.712 requisiti sono noti solo ai colleghi simulati; gli altri 495 compaiono nei registri dell’ambiente. L’agente dispone di strumenti per consultare questi spazi, porre domande ai responsabili, modificare il codice e documentare la soluzione.
La prova concede otto ore per attività. Ogni incarico comprende da 16 a 32 requisiti, con una mediana di 28, e la valutazione applica test nascosti alle modifiche. Gli F2P misurano se viene implementato il nuovo comportamento richiesto; i P2P verificano se il codice conserva le funzionalità già operative. Per considerare completa un’attività è necessario superare tutti questi controlli, non basta ottenere una buona media.
Questo design cerca di misurare un tipo di lavoro diverso da quello relativo a un issue con istruzioni esaustive. L’agente deve scoprire che cosa è stato deciso, distinguere i segnali contraddittori e tenere a mente i requisiti durante l’implementazione e i test. L’attività comprende coordinamento e monitoraggio, oltre alla programmazione, anche se il risultato finale viene giudicato sul codice eseguibile.
Il divario tra test parziali e consegna
I primi due classificati mostrano chiaramente la distanza. Claude-Opus-5.5 ha raggiunto il 63,84% in F2P e il 93,24% in P2P, ma ha risolto il 6,93% delle attività. GPT-6 Astra ha ottenuto il 62,91% e l’89,15% in questi test, con un tasso di consegna completa del 7,92%.
| Modello | F2P | P2P | Attività complete |
|---|---|---|---|
| Claude-Opus-5.5 | 63,84% | 93,24% | 6,93% |
| GPT-6 Astra | 62,91% | 89,15% | 7,92% |
| Seed Evolving | 39,09% | 94,48% | 0,99% |
| Qwen3.8-Max | 35,70% | 91,80% | 0,00% |
| GLM 5.3 | 31,27% | 87,72% | 0,99% |
| Qwen3.8-Flash | 30,70% | 93,40% | 0,00% |
| DeepSeek V4.1 Flash | 28,20% | 94,30% | 0,00% |
| Kimi K3 | 27,08% | 84,88% | 0,99% |
| GLM 5.2 | 24,40% | 95,20% | 0,00% |
| Seed 2.1 Pro | 21,01% | 81,85% | 0,00% |
| DeepSeek V4 Pro | 13,04% | 90,21% | 0,00% |
I dati della tabella provengono dalla pagina del progetto e corrispondono alla valutazione di 101 attività. F2P e P2P sono medie dei tassi di superamento per attività; la colonna delle attività complete conta gli incarichi in cui sono stati superati contemporaneamente tutti i test. Un punteggio parziale elevato non equivale a una consegna affidabile: persino il modello con il miglior risultato F2P non ha completato un’attività su dieci.
La differenza non si riduce nemmeno alla conservazione del codice esistente. I modelli migliori hanno superato tra l’89% e il 93% dei test P2P, ma molte esecuzioni non hanno coperto tutti i nuovi requisiti. Nell’analisi di Claude-Opus-5.5, il team ha rilevato che il 31% dei requisiti dichiarati come completati non ha superato i test. L’agente può comunicare di aver terminato una parte del lavoro senza che il verificatore confermi il risultato.
Capire il requisito non garantisce di implementarlo
Lo studio ha seguito i requisiti nel corso delle esecuzioni, dalla loro scoperta alla verifica finale. Nel caso di Claude-Opus-5.5, in media il 93% delle prime domande sulle schede consultate è stato rivolto ai responsabili. Tuttavia, l’agente ha ottenuto solo il 64% dei requisiti in possesso dei colleghi. Rivolgersi alla persona giusta aiuta, ma non garantisce di ricevere tutte le informazioni necessarie.
Si perdono anche conversazioni in sospeso: alcune domande vengono rimandate e non ricevono seguito. E ottenere un chiarimento non basta a completare il lavoro. Tra i 976 nodi F2P non superati e associati a requisiti nell’analisi di Claude-Opus-5.5, il 56% è arrivato alla fase di implementazione dopo che l’agente aveva acquisito il requisito. Eppure, il test associato non è stato superato.
Il team ha riscontrato una forte associazione tra la quota di requisiti dei colleghi che il modello riesce a ottenere e le sue prestazioni F2P: la correlazione di Spearman tra i modelli era pari a 0,94. Al contrario, la relazione tra il numero di chiamate agli strumenti e F2P era debole, con ρ = 0,08. L’uso di più strumenti non è risultato associato a risultati migliori in questo confronto; la relazione osservata con l’acquisizione dei requisiti era invece marcata, anche se non dimostra un rapporto di causalità.
Fornire la specifica in anticipo non basta
Un test aggiuntivo consente di distinguere la difficoltà di individuare i requisiti da quella di portarli fino in fondo. Quando Seed Evolving e GPT-6 Astra hanno ricevuto la specifica completa fin dall’inizio, il loro risultato F2P è migliorato di circa 16 punti percentuali. Per GPT-6 Astra, il risultato è passato dal 62,91% al 78,84%. Ma il suo tasso di attività complete è rimasto al 7,92%.
È un risultato rilevante per le aziende che si aspettano che istruzioni più dettagliate risolvano da sole i problemi degli agenti. In questo test, fornire i requisiti completi ha aumentato il risultato F2P di Seed Evolving e GPT-6 Astra, ma non ha modificato il tasso di attività complete. L’analisi complessiva registra inoltre errori in varie fasi, dall’acquisizione dei requisiti all’implementazione e alla verifica.
Il benchmark delimita anche ciò che si può concludere. I colleghi sono simulati, le attività vengono eseguite in un ambiente predisposto e i documenti e le interazioni sono in inglese. Il repository definisce strumenti, container e test per rendere riproducibile la valutazione. Per questo, i risultati descrivono le prestazioni in SWE-CoWork, non un tasso universale di successo degli agenti in tutte le aziende o in tutti i progetti.
Che cosa dovrebbero misurare i team che li utilizzano
Per un’azienda, la conclusione pratica non è che gli agenti non sappiano programmare: le percentuali F2P mostrano che risolvono una parte considerevole delle nuove modifiche. La difficoltà consiste nel trasformare questa capacità parziale in una consegna completa, con requisiti recuperati, modifiche verificate e comportamento esistente preservato. Misurare solo i nuovi test può nascondere attività incomplete, mentre una metrica di successo totale mette in luce errori che una media aggregata può mascherare.
Per i team di sviluppo, SWE-CoWork suggerisce di valutare l’intero percorso di un incarico: quali informazioni ha trovato l’agente, quali dipendenze ha lasciato in sospeso, quali requisiti ha trasferito nel codice e quali risultati ha verificato prima di dichiarare concluso il lavoro. Il monitoraggio dovrebbe comprendere chiarimenti, implementazione, test e passaggio di consegne, in base ai problemi osservati dal team nel benchmark.
Gli agenti valutati hanno lavorato con un budget di otto ore e in un ambiente con registri e colleghi a disposizione. Anche in queste condizioni, il miglior risultato di consegna è stato di 8 attività su 101 per GPT-6 Astra, circa. La domanda che SWE-CoWork pone a chi delega il lavoro software non è solo quanto codice possa scrivere un agente, ma quanti incarichi riesca a completare rispettando tutte le condizioni.
Fonti: The Decoder, arXiv, TokenWave AI, GitHub