SWE-CoWork: los mejores agentes completan menos del 8% de tareas

SWE-CoWork: los mejores agentes completan menos del 8% de tareas

Claude-Opus-5.5 y GPT-6 Astra aprobaron alrededor del 63% de las pruebas de nuevas funciones en SWE-CoWork, pero solo completaron por completo el 6,93% y el 7,92% de las tareas, respectivamente. El benchmark, presentado por TokenWave AI, cambia el escenario habitual de evaluación: en vez de entregar una especificación cerrada, coloca a los agentes dentro de una empresa de software simulada y les exige recuperar requisitos, coordinarse y verificar el código.

La diferencia entre superar pruebas y cerrar una tarea es el centro del resultado. En SWE-CoWork, un parche que resuelve parte de la funcionalidad solicitada no basta: el agente debe acertar todos los cambios pedidos y preservar el comportamiento que ya existía. La entrega completa exige que pasen ambas familias de pruebas en la misma ejecución.

Del repositorio aislado a una empresa simulada

El benchmark contiene 101 encargos asociados a 101 repositorios reales, con código en 11 lenguajes y proyectos de 12 dominios. Cada tarea sitúa al agente en una organización simulada con 26 compañeros, cada uno con responsabilidades y conocimientos acotados. La información relevante está repartida entre conversaciones, tarjetas de trabajo, documentos y otros registros del equipo.

El agente recibe una breve nota de traspaso, no una lista completa de requisitos. Según la descripción del repositorio de SWE-CoWork, 2.217 de sus 2.712 requisitos solo los conocen los compañeros simulados; otros 495 aparecen en los registros del entorno. El agente dispone de herramientas para consultar esos espacios, preguntar a las personas responsables, modificar el código y dejar constancia de la solución.

El ensayo concede ocho horas por tarea. Cada encargo incluye entre 16 y 32 requisitos, con una mediana de 28, y la evaluación aplica pruebas ocultas al cambio. Las F2P miden si se incorpora el comportamiento nuevo solicitado; las P2P comprueban si el código conserva funciones que ya operaban. El resultado de tarea completa requiere aprobar todos esos controles, no solo obtener una buena media.

Ese diseño intenta medir una clase distinta de trabajo que la de un issue con instrucciones exhaustivas. El agente tiene que averiguar qué se decidió, distinguir señales contradictorias y mantener el requisito presente mientras implementa y prueba. La tarea incluye coordinación y seguimiento además de programación, aunque el resultado final se juzgue sobre código ejecutable.

Una brecha entre pruebas parciales y entrega

Los dos primeros puestos muestran la distancia con claridad. Claude-Opus-5.5 alcanzó un 63,84% en F2P y un 93,24% en P2P, pero resolvió el 6,93% de las tareas. GPT-6 Astra obtuvo 62,91% y 89,15% en esas pruebas, con una tasa de entrega completa del 7,92%.

ModeloF2PP2PTareas completas
Claude-Opus-5.563,84%93,24%6,93%
GPT-6 Astra62,91%89,15%7,92%
Seed Evolving39,09%94,48%0,99%
Qwen3.8-Max35,70%91,80%0,00%
GLM 5.331,27%87,72%0,99%
Qwen3.8-Flash30,70%93,40%0,00%
DeepSeek V4.1 Flash28,20%94,30%0,00%
Kimi K327,08%84,88%0,99%
GLM 5.224,40%95,20%0,00%
Seed 2.1 Pro21,01%81,85%0,00%
DeepSeek V4 Pro13,04%90,21%0,00%

Las cifras de la tabla proceden de la página del proyecto y corresponden a la evaluación de 101 tareas. F2P y P2P son promedios de tasas de aprobación por tarea; la columna de tareas completas cuenta encargos en los que se aprobaron todas las pruebas a la vez. Una puntuación parcial alta no equivale a una entrega fiable: incluso el modelo con mejor F2P no cerró una de cada diez tareas.

La diferencia tampoco se reduce a conservar el código existente. Los modelos líderes aprobaron entre el 89% y el 93% de las pruebas P2P, pero muchas ejecuciones no cubrieron todos los requisitos nuevos. En el análisis de Claude-Opus-5.5, el equipo identificó que el 31% de los requisitos declarados como completados falló sus pruebas. El agente puede comunicar que terminó una parte del trabajo sin que el verificador confirme ese resultado.

Entender el requisito no garantiza implementarlo

El estudio siguió los requisitos a lo largo de las ejecuciones, desde su descubrimiento hasta la comprobación final. En Claude-Opus-5.5, el 93% de las primeras preguntas sobre tarjetas consultadas se dirigió a sus responsables, en promedio. Sin embargo, el agente solo obtuvo el 64% de los requisitos que estaban en manos de compañeros. Preguntar a la persona adecuada ayuda, pero no asegura que se reciba toda la información necesaria.

También se pierden hilos pendientes: algunas preguntas quedan aplazadas y no reciben seguimiento. Y obtener una aclaración tampoco cierra el trabajo. Entre 976 nodos F2P fallidos vinculados a requisitos en el análisis de Claude-Opus-5.5, el 56% llegó a la fase de implementación después de que el agente hubiera adquirido el requisito. Aun así, no pasó la prueba asociada.

El equipo encontró una asociación fuerte entre la proporción de requisitos de compañeros que el modelo logra obtener y su rendimiento F2P: la correlación de Spearman entre modelos fue 0,94. En cambio, la relación entre el número de llamadas a herramientas y F2P fue débil, con ρ = 0,08. Usar más herramientas no se asoció con mejores resultados en esta comparación; la relación observada con la adquisición de requisitos sí fue marcada, aunque no demuestra que una cause la otra.

Entregar la especificación por adelantado tampoco basta

Una prueba adicional permite separar la dificultad de descubrir requisitos de la de llevarlos hasta el final. Cuando Seed Evolving y GPT-6 Astra recibieron la especificación completa desde el comienzo, su F2P mejoró aproximadamente 16 puntos porcentuales. Para GPT-6 Astra, el resultado pasó de 62,91% a 78,84%. Pero su tasa de tareas completas permaneció en el 7,92%.

Es un resultado relevante para empresas que esperan que una instrucción más detallada resuelva por sí sola los problemas de los agentes. En esta prueba, proporcionar los requisitos completos elevó el F2P de Seed Evolving y GPT-6 Astra, pero no cambió la tasa de tareas completas. El análisis general también registra fallos en distintas fases, desde la obtención de requisitos hasta la implementación y la verificación.

El benchmark también acota lo que puede concluirse. Los compañeros son simulados, las tareas se ejecutan dentro de un entorno preparado y los documentos y las interacciones están en inglés. El repositorio fija herramientas, contenedores y pruebas para hacer reproducible la evaluación. Por eso, el resultado describe el desempeño en SWE-CoWork, no una tasa universal de éxito de los agentes en todas las empresas o proyectos.

Qué deberían medir los equipos que los despliegan

Para una empresa, la lectura práctica no es que los agentes no puedan programar: sus porcentajes F2P muestran que resuelven una parte considerable de los cambios nuevos. La tensión está en convertir esa capacidad parcial en una entrega íntegra, con requisitos recuperados, cambios comprobados y comportamiento existente preservado. Medir solo tests nuevos puede ocultar tareas incompletas, mientras que una métrica de éxito total expone fallos que una media agregada disimula.

Para los equipos de desarrollo, SWE-CoWork apunta a evaluar el recorrido completo de una asignación: qué información encontró el agente, qué dependencias dejó pendientes, qué requisitos trasladó al código y qué resultados verificó antes de informar que terminó. El seguimiento debe abarcar aclaración, implementación, pruebas y traspaso, según los problemas observados por el equipo en el benchmark.

Los agentes evaluados trabajaron con un presupuesto de ocho horas y un entorno con registros y colegas disponibles. Aun con esas condiciones, el mejor resultado de entrega fue 8 de cada 101 tareas para GPT-6 Astra, aproximadamente. La pregunta que deja SWE-CoWork para quienes delegan trabajo de software no es solo cuánto código puede escribir un agente, sino cuántos encargos consigue cerrar con todas sus condiciones satisfechas.

Fuentes: The Decoder, arXiv, TokenWave AI, GitHub