Saltar al contenido principal
eKoFeed

Gemini 4 Carbon lidera el benchmark MathArena, pero cuesta 15 veces más que GPT-6.1 Sol

Google Gemini 4 Carbon supera a GPT-6.1 Sol y Claude Fable 5.2 en MathArena, aunque su coste esperado multiplica por 15 al del modelo de OpenAI.

·
Imagen editorial con el logotipo del modelo Gemini 4 Carbon de Google (The Decoder)

Google ha colocado a Gemini 4 Carbon en la cima del benchmark matemático MathArena, rompiendo el prolongado dominio de OpenAI en esta clasificación. Según informa The Decoder a partir de los datos difundidos por Jasper Dekoninck en X, el modelo desplazó a GPT-6.1 Sol y dejó en segunda posición a Claude Fable 5.2.

El resultado posiciona a Gemini 4 Carbon como potencialmente uno de los modelos disponibles al público más capaces para tareas matemáticas. No obstante, la comparativa abarca únicamente sistemas accesibles para los usuarios, ya que los modelos internos más recientes de OpenAI —que supuestamente habrían resuelto recientemente ecuaciones exigentes como las de Navier-Stokes— aún no están disponibles públicamente.

Comparativa de rendimiento y coste en MathArena

Los registros compartidos por Jasper Dekoninck evalúan los modelos bajo configuraciones específicas de razonamiento (reasoning), fijadas en nivel high para Gemini 4 Carbon y en max para sus principales rivales. Bajo esos parámetros, el salto en desempeño matemático conlleva un incremento sustancial del gasto frente a la alternativa de OpenAI.

Con dichos ajustes, Gemini 4 Carbon cuesta alrededor de 15 veces más que GPT-6.1 Sol, mientras que Claude Fable 5.2, desarrollado por Anthropic, eleva el desembolso hasta aproximadamente 40 veces más. La siguiente tabla resume los cuatro modelos destacados en la clasificación general y en el segmento abierto:

RecomendaciónModelo (ajuste)ProveedorFecha de lanzamientoRendimiento esperadoCoste esperado (USD)
#1 generalGemini 4 Carbon (high)Google10 de noviembre de 202685,4 % ± 3,0 %$15,70 ± $1,33
#2 generalClaude-Fable-5.2 (max)Anthropic9 de noviembre de 202682,8 % ± 5,3 %$40,20 ± $2,59
#3 generalGPT-6.1 Sol (max)OpenAI29 de septiembre de 202680,6 % ± 2,7 %$1,07 ± $0,018
Mejor modelo abiertoKimi K3.1 Pro (max)Moonshot AI23 de octubre de 202654,3 % ± 5,8 %$3,70 ± $0,27

Los resultados muestran que los lanzamientos de noviembre de Google y Anthropic superaron al modelo de septiembre de OpenAI en precisión matemática, aunque sin igualar su eficiencia económica. En la categoría abierta, Kimi K3.1 Pro de Moonshot AI encabeza la recomendación con un coste intermedio y un desempeño todavía distante del podio propietario.

Las cifras difundidas por Jasper Dekoninck en X incorporan además márgenes de variación tanto en rendimiento como en coste esperado para las cuatro configuraciones evaluadas. El resumen publicado en la red social no detalla la unidad de cómputo ni el consumo exacto de tokens asociado a esos importes monetarios.

Fallos por tiempo límite y persistencia extrema

Más allá de la puntuación global, The Decoder destaca un patrón operativo específico en el comportamiento de Gemini 4 Carbon. El modo de fallo más frecuente del modelo durante las evaluaciones consiste en exceder el tiempo límite establecido para resolver los problemas.

Esta tendencia se vincula con una resistencia inusual a dar por terminada una tarea compleja, ya que el sistema casi nunca abandona un ejercicio en curso. Ese rasgo admite lecturas opuestas, pues puede resultar beneficioso ante problemas arduos o contraproducente cuando falta capacidad de detención.

En uno de los episodios documentados durante las pruebas, el modelo puso en marcha un script que permaneció ejecutándose durante más de once horas sin comprobar su propio progreso. De este modo, el incidente ejemplifica hasta qué punto el sistema prolonga la ejecución de procesos sin interrumpirlos.

Fuente: The Decoder | Publicación de Jasper Dekoninck en X