Con el mismo modelo y las mismas tareas, Aider en modo arquitecto necesitó alrededor de 3.500 tokens por tarea resuelta; OpenClaw, 292.000. Otro benchmark encontró que el coste por tarea podía variar hasta 13,1 veces entre harnesses. El modelo no es la única variable que determina cuánto cuesta un agente de programación.
Un harness es la capa que dirige el ciclo del agente: envía solicitudes al modelo, gestiona el historial, llama a herramientas y decide cuándo terminar. The New Stack comparó varios de estos sistemas con modelos y tareas fijos; Composio, en un estudio posterior, también aisló el efecto del harness. Sus cifras no son una clasificación universal: corresponden a conjuntos de pruebas distintos y exhiben resultados que cambian según el modelo.
El coste empieza antes de que el agente trabaje
En una de las pruebas recogidas por The New Stack, cada harness recibió las mismas tareas a través de OpenRouter y con el mismo modelo. La diferencia más llamativa apareció antes de que el agente abordara el trabajo: el sistema añadió instrucciones, descripciones de herramientas y datos del entorno. El benchmark llamó a ese gasto inicial «startup tax».
Ese bloque ocupaba unos 700 tokens en Aider, en modo arquitecto, frente a unos 26.000 en OpenClaw. Como el contexto se vuelve a enviar en cada turno, no se trata necesariamente de un coste que se paga una sola vez. En el cálculo del artículo, repetir 26.000 tokens durante quince turnos supone cerca de 390.000 tokens de entrada solo para ese texto de configuración.
En esa prueba, el coste de arranque multiplicado por el número de turnos predijo los tokens por tarea resuelta con un R² de 0,99 en los dos modelos ensayados. En cambio, el crecimiento de ese bloque a lo largo de cada turno no explicó la diferencia: cada harness añadía unos cientos de tokens por turno. El volumen inicial y las veces que se procesa vuelven a ser, por tanto, variables que el equipo puede observar y modificar sin sustituir el modelo.
La comparación de 3.500 frente a 292.000 tokens mide el consumo por tarea resuelta. En otra evaluación, Composio encontró diferencias de hasta 13,1 veces en el coste por tarea, según el modelo y el conjunto de pruebas.
Coste, éxito y tiempo no siempre se mueven juntos
Composio mantuvo fijo el modelo, el conjunto de tareas y el catálogo de herramientas mientras comparaba harnesses. Con DeepSeek V4 Pro, nueve opciones completaron entre el 30% y el 60% de una batería de 30 tareas; el coste por tarea fue de 0,101 a 0,252 dólares. En una segunda evaluación con GPT-6 Astra, seis harnesses alcanzaron entre el 66% y el 72% de éxito, con costes de 1,20 a 15,72 dólares por tarea.
| Modelo y prueba | Harnesses | Éxito observado | Coste por tarea |
|---|---|---|---|
| DeepSeek V4 Pro, 30 tareas | 9 | 30%-60% | 0,101-0,252 dólares |
| GPT-6 Astra, 29 casos compartidos | 6 | 66%-72% | 1,20-15,72 dólares |
En la segunda prueba, cinco de los seis sistemas quedaron en una franja de 1,20 a 1,63 dólares. Claude Code fue el valor atípico, con 15,72 dólares por tarea, el mayor uso de tokens —1,547 millones— y el mayor tiempo medio, 194 segundos. Sin embargo, quedó cuarto en éxito, con un 69%. El dato muestra por qué comparar solo el precio o solo la tasa de acierto puede ocultar el comportamiento real del sistema.
Los resultados tampoco permiten trasladar sin más un ganador de un modelo a otro. Entre los seis harnesses presentes en ambas pruebas, el orden cambió; Pi Agent, por ejemplo, quedó empatado en segundo lugar con DeepSeek y en quinto con GPT-6 Astra. Composio advierte que la muestra de seis comparaciones no basta para establecer si las clasificaciones entre modelos están relacionadas.
Los turnos y la caché alteran la factura
El número de turnos influye porque cada petición vuelve a procesar el historial acumulado, incluidos resultados de herramientas y esquemas. Composio probó tres formas de aportar instrucciones de planificación con Sonnet 4.5 y el mismo harness. Al cargar la planificación como una habilidad invocable, el sistema usó 33,4% menos tokens que la configuración sin planificación, con el mismo 100% de éxito en esa batería de once casos.
La prueba registró también un 21,5% menos de turnos y un 21,8% menos de tiempo. Pero la batería ya alcanzaba el 100% de éxito sin planificación, así que no permite concluir si esa estrategia ayuda en tareas más difíciles. La planificación insertada directamente en el prompt perdió un caso; el resultado favorable corresponde a la variante que la ofrecía como habilidad.
La caché puede modificar el coste aunque el consumo bruto de tokens parezca desfavorable. En la prueba de Composio, Claude Code obtuvo de la caché el 1,5% de sus tokens de entrada; Codex, aproximadamente el 70%, y OMP, el 57%. La entrada nueva costaba cerca de cinco veces más que la entrada servida desde caché, por lo que Codex resultó más barato por tarea que un harness que usó la mitad de tokens sin caché.
Hay una cautela importante al atribuir esa diferencia. The New Stack relacionó la baja proporción de caché de Claude Code con la ruta de sus solicitudes a través de OpenRouter y la traducción de un formato de mensajes, no con el texto de sus instrucciones. En esa ejecución fue el único harness que usó el endpoint de mensajes de estilo Anthropic a través de la pasarela. Es un hallazgo sobre esa ruta de integración, no una propiedad demostrada del producto en cualquier configuración.
Las herramientas disponibles también cambian el resultado
El harness no opera aislado: las conexiones a aplicaciones determinan qué acciones puede intentar el agente. En once comparaciones de conectores, Composio registró un 99% de finalización frente a un 86% de media para las vías nativas —servidores MCP, CLI o conectores propios—. El promedio resume resultados desiguales: siete pruebas favorecieron a Composio, dos empataron y dos favorecieron a la alternativa.
Slack fue el caso más marcado. El servidor MCP propio pudo intentar 18 de 50 tareas; Composio intentó las 50 y completó correctamente el 94%. La primera integración resolvió todos los casos que podía ejecutar, pero su cobertura era limitada. La segunda abarcó más tareas con una tasa de éxito inferior al 100%. Para una empresa, la diferencia entre cobertura y acierto importa: un porcentaje agregado puede no describir el conjunto de acciones que necesita su equipo.
También hay diferencias entre accesibilidad y eficiencia. En una comparación de pasarelas, Composio redujo los turnos un 41%, las llamadas al proveedor un 52% y el tiempo total un 50% frente a la pasarela MCP de Zapier; el uso de tokens bajó un 18%. En otra prueba, cargar esquemas de forma diferida redujo un 68% los tokens de Arcade, sin elevar su tasa de éxito. Ahorrar tokens no garantiza, por sí solo, que más tareas terminen bien.
Qué deberían medir los equipos
Para una empresa que opera agentes a escala, elegir un modelo por su precio anunciado deja fuera costes que dependen de la ejecución. La evidencia apunta a medir por separado, sobre tareas propias, el tamaño del contexto fijo, los turnos medios, la tasa de éxito, el tiempo, los tokens y la proporción atendida desde caché. También conviene revisar qué tareas puede intentar realmente cada conector.
El repositorio de benchmarks de GitHub incluido entre las fuentes propone construir pruebas con tareas de repositorios reales y fijar las referencias de código, registrar coste, latencia y turnos y puntuar los resultados con un evaluador independiente. Su propio conjunto publicó un ejemplo de enrutamiento entre modelos: durante 21 tareas, resultó un 45,4% más barato con un 4,6% menos de calidad. Es un intercambio medido en ese conjunto, no una garantía para otros equipos.
Los límites de las pruebas aconsejan no convertir sus cifras en una tabla permanente de ganadores. La evaluación de junio de The New Stack hizo una sola pasada por harness, tarea y modelo, sin estimaciones de variabilidad; además, los agentes pueden dar resultados estocásticos. Composio, por su parte, indicó que algunos costes se registraron solo en una parte de los casos y que una configuración usó parámetros de razonamiento distintos.
La conclusión operativa no es que un harness concreto sea siempre más barato, sino que forma parte del coste y del rendimiento del agente. La brecha de tokens puede nacer en el mensaje inicial, crecer con cada turno y cambiar con la caché; la tasa de éxito puede variar a la vez, y el orden entre sistemas no se conserva necesariamente al cambiar de modelo. La siguiente decisión para un equipo es comprobar esas métricas con sus propios flujos de trabajo.
ী