Saltar al contenido principal
eKoFeed

Mistral Large 4 «Le Chonk» debuta en Hugging Face: MoE de 1 billón de parámetros y 1 millón de tokens de contexto

Mistral Large 4 «Le Chonk» debuta con 1 billón de parámetros, 49.000 millones activos, contexto de 1 millón de tokens y foco en código y ciberseguridad.

·
Ilustración de portada de Mistral Large 4 «Le Chonk» en Hugging Face

Mistral AI ha publicado Mistral Large 4 —conocido internamente como «Le Chonk» y abreviado ML4—, un modelo fundacional multimodal y multilingüe con arquitectura Mixture-of-Experts (MoE) que procesa texto e imágenes para generar respuestas textuales. Con aproximadamente 1 billón de parámetros totales, 49.000 millones de parámetros activos y una ventana de contexto (context window) de 1 millón de tokens, el lanzamiento destaca en ciberseguridad, agentes de programación y tareas multimodales, según detalla el blog técnico de Hugging Face.

Todos los checkpoints están reunidos en la colección oficial de Mistral Large 4 e incluyen dos variantes principales en pesos abiertos (open weights): el modelo en precisión FP8 (mistralai/Mistral-Large-4-1T-A52B) y la edición cuantizada en NVFP4 (mistralai/Mistral-Large-4-1T-A52B-NVFP4). A estas ediciones oficiales se suman cuantizaciones en formato GGUF preparadas por Unsloth y por el equipo de llama.cpp.

El modelo se distribuye bajo la licencia Mistral Ecosystem Open-Weight License, una variante derivada de MIT que establece limitaciones para servicios comerciales de modelo como servicio (model-as-a-service). Su ecosistema de despliegue incorpora compatibilidad desde el primer día en herramientas estándar de inferencia, ajuste fino y servidores empresariales.

Arquitectura híbrida: doble dispersión y codificador Pixtral

Mistral Large 4 combina un amplio conjunto de expertos con mecanismos de atención dispersa (sparse attention) y un codificador visual Pixtral. Este diseño aplica dos formas complementarias de dispersión: el modelo de lenguaje activa únicamente una fracción reducida de redes feed-forward por token, mientras un indexador selecciona qué posiciones previas del contexto reciben atención.

Diagrama general de la arquitectura del decodificador de texto de Mistral Large 4
Diagrama general de la arquitectura del decodificador de texto de Mistral Large 4

Vista general de la arquitectura del decodificador de texto de Mistral Large 4 (Hugging Face).

En el decodificador de texto, los bloques de atención combinan Multi-head Latent Attention (MLA) con un indexador DeepSeek Sparse Attention (DSA), una línea arquitectónica compartida con modelos recientes como GLM 5.3. Mientras MLA mantiene una representación comprimida del estado clave-valor (KV), el componente DSA filtra los candidatos más relevantes para cada consulta.

Esquema de bloques de atención MLA y DSA con proporción RoPE y NoPE en Mistral Large 4
Esquema de bloques de atención MLA y DSA con proporción RoPE y NoPE en Mistral Large 4

Bloques de atención con Multi-head Latent Attention (MLA), indexador DeepSeek Sparse Attention (DSA) y alternancia RoPE y NoPE en Mistral Large 4 (Hugging Face).

La codificación posicional sigue un patrón 3:1 de RoPE frente a NoPE, alternando tres capas con rotación posicional por cada cuarta capa sin codificación explícita, además de compartir estado KV entre capas. Para las capas RoPE, Mistral AI utiliza LeRope, una variante escalada mediante YaRN con un multiplicador aprendido por frecuencia.

Esquema de enrutamiento de 128 expertos y un experto compartido por token en Mistral Large 4
Esquema de enrutamiento de 128 expertos y un experto compartido por token en Mistral Large 4

Enrutamiento Mixture-of-Experts mediante enrutador softmax y experto compartido en Mistral Large 4 (Hugging Face).

En la etapa feed-forward, únicamente la primera capa del decodificador emplea una red densa tradicional, mientras que el resto opera mediante bloques MoE gobernados por un enrutador softmax y un experto compartido permanente. Para procesar imágenes, el sistema integra un codificador Pixtral con proyector de fusión espacial (patch-merge projector).

Diagrama del codificador visual Pixtral de 1.600 millones de parámetros en Mistral Large 4
Diagrama del codificador visual Pixtral de 1.600 millones de parámetros en Mistral Large 4

Canalización del codificador visual Pixtral de 1.600 millones de parámetros y su proyector de fusión espacial en Mistral Large 4 (Hugging Face).

La siguiente tabla resume las especificaciones estructurales de ambos módulos del modelo:

ComponenteParámetros y escalaCapas y dimensión ocultaConfiguración interna
Decodificador de texto~1 billón totales; 49.000 millones activos72 capas; dimensión oculta 6.144; 64 cabezas de atenciónMLA con KV compartido entre capas + DSA (hasta 2.048 posiciones clave por consulta)
Codificación posicionalVentana de 1 millón de tokensPatrón 3:1 (RoPE / NoPE) por bloqueLeRope (YaRN con multiplicador aprendido por frecuencia)
Bloques MoE5 expertos activos por tokenCapa 1 densa; 71 capas MoEEnrutador softmax (4 seleccionados de 128) + 1 experto compartido fijo
Codificador visual Pixtral1.600 millones de parámetros30 capas; dimensión oculta 2.048; 16 cabezasParches de 14 × 14 con proyector patch-merge (fusión espacial de tamaño 2)

Ciberseguridad defensiva, tasas de rechazo y agentes de código

Al 29 de octubre de 2026, Mistral Large 4 figuraba como el quinto mejor modelo de pesos abiertos en el índice Artificial Analysis Intelligence y entre los cinco primeros puestos globales en el Artificial Analysis Cyber Index. En agentes de programación, su resultado combinado en el Coding Agent Index superó a DeepSeek V4 Pro 0813 y Qwen3.8 Max, con desempeño sólido también en tareas empresariales de horizonte largo.

Mistral AI posiciona el modelo principalmente para seguridad defensiva, un terreno donde investigar vulnerabilidades y responder a incidentes suele asemejarse a un ataque en los datos de entrada. De acuerdo con la documentación publicada junto al lanzamiento —que incluye una entrevista en vídeo con Pierre Stock sobre estas capacidades—, varios modelos cerrados de frontera rozan el cero en pruebas de reproducción y parcheo porque sus filtros bloquean el intento, aunque corregir un fallo requiere reproducirlo antes.

En operaciones reales, depender de una API cerrada también conlleva el riesgo de perder acceso en medio de un incidente. Los pesos abiertos dejan la política de uso y el despliegue bajo control del equipo defensor sin eliminar las salvaguardas: en JailbreakBench, StrongREJECT y AgentHarm, ML4 mantuvo una tasa media de rechazo ante peticiones cibernéticas dañinas superior a la de cualquier otro modelo abierto comparable.

Más allá de los benchmarks estandarizados, las pruebas internas de Mistral AI reflejaron utilidad en análisis de malware, priorización de vulnerabilidades y redacción de reglas de detección sin entrenamiento explícito para esas funciones. Asimismo, la recompensa verificable de las tareas de reproducción y parcheo permite alimentar entornos de aprendizaje por refuerzo (RL) y ajustar modelos de seguridad más compactos sobre bases de código propias, registros de fallos (crash logs) y muestras reales.

CategoríaEvaluación / BenchmarkResultado de Mistral Large 4Alcance o referencia comparada
Agentes de códigoDeepSWE v1.161,7 %Resolución autónoma de ingeniería de software
Agentes de códigoSWE-Atlas-QnA59,4 %Comprensión y consultas sobre repositorios
Agentes de códigoTerminal-Bench 428,3 %Ejecución autónoma en terminal
Agentes de códigoCoding Agent Index49,8 %Por delante de DeepSeek V4 Pro 0813 y Qwen3.8 Max
Trabajo de conocimientoAutomationBench59,9 %Flujos de trabajo empresariales
Trabajo de conocimientoAA-Briefcase1.393 EloTareas profesionales de largo horizonte
CiberseguridadArtificial Analysis Cyber Index (parcheo)82 % (entre los 5 mejores globales)Mayor puntuación del índice en reproducir y parchear fallos open source
CiberseguridadCybench93 %Resuelve el 93 % de 40 retos de competiciones de seguridad
Seguridad ante inyecciónLakera B393,3 %Resistencia frente a ataques de prompt injection

Inferencia desde el día cero, cuantizaciones locales y ajuste fino

El lanzamiento llega acompañado de soporte inmediato en transformers, vLLM, llama.cpp y la biblioteca TRL. En transformers, la interfaz expone AutoModelForMultimodalLM y AutoProcessor junto a DistributedConfig para paralelismo de tensor y expertos, además del parámetro reasoning_effort (low, medium o high por defecto), un modo de razonamiento que no puede desactivarse y conserva high si se solicita none.

Para inferencia acelerada, vLLM admite el checkpoint oficial NVFP4 sobre GPU NVIDIA Blackwell e incorpora el cabezal especulativo DSpark para reducir la latencia de generación. En paralelo, llama.cpp y Llama App habilitan una interfaz web local en el puerto 9931 y API multimodal con llamadas a herramientas mediante las cuantizaciones IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0 y BF16 en los repositorios GGUF derivado de FP8 y GGUF derivado de NVFP4.

En hardware local, las cuantizaciones de 2 bits pueden ejecutarse en un único equipo Apple Silicon Ultra con 512 GB de memoria unificada, mientras que las precisiones superiores requieren inferencia distribuida o varias tarjetas NVIDIA o AMD. Para despliegues gestionados, Hugging Face Inference Endpoints ejecuta la variante FP8 sobre vLLM con decodificación especulativa DSpark, entregando el resultado en choices[0].message.content, el razonamiento en choices[0].message.reasoning y soporte para herramientas, salidas estructuradas, imágenes y streaming.

El ajuste fino (fine-tuning) cuenta con integración desde el primer día mediante SFTTrainer, AutoModelForImageTextToText y adaptadores LoRA con peft, combinando FSDP y paralelismo de expertos. El ejemplo oficial de TRL entrena razonamiento multilingüe con HuggingFaceH4/Multilingual-Thinking sobre nodos B300, mientras que Dell Enterprise Hub ofrece recetas mediante dell-ai para servidores Dell AI equipados con NVIDIA H200, B200, GB200 y GB300.

Entorno / PlataformaVariante y formatoHardware de referenciaMétricas o configuración documentada
llama.cppQ2_K1 × Apple M3 Ultra (512 GB RAM unificada)Prefill de ~90 tok/s; generación de 15 tok/s
llama.cppNVFP44 × NVIDIA RTX 6000 ProContexto 32K; prefill 130–590 tok/s; generación ~10 tok/s
llama.cppIQ2_XXS4 × NVIDIA RTX 6000 ProContexto 800K; contexto corto: 500 tok/s (prefill) y 30 tok/s (gen.); contexto largo: 129 tok/s (prefill) y 3 tok/s (gen.)
HF Inference Endpoints (vLLM + DSpark)FP88 × NVIDIA H200Contexto 131K y hasta 16 peticiones simultáneas; petición única (1K): ~0,6 s TTFT, ~65 tok/s (hasta 120–138 tok/s con DSpark); 4 × 16K: 4.300 tok/s (prefill, 8–9 s TTFT); bajo carga (1.000 chats ShareGPT): ~480 tok/s totales
vLLM (autoalojado)NVFP4 + DSpark8 × NVIDIA BlackwellContexto 131.072 tokens (--tensor-parallel-size 8, --enable-expert-parallel)
TRL (SFTTrainer + LoRA)FP88 × NVIDIA B300Entrenamiento SFT distribuido (FSDP + paralelismo de expertos)
Dell Enterprise Hub (dell-ai)NVFP44 × NVIDIA B300 (xe9780-nvidia-b300)Receta en Docker para servidores Dell AI (H200, B200, GB200, GB300)

Fuente: Hugging Face