baidu/ERNIE-4.5-VL-28B-A3B-Thinking

El modelo introduce tres mejoras clave con respecto a las versiones anteriores:

Capacidades de pensamiento mejoradas: ERNIE-4.5–21B-A3B-Thinking ofrece un rendimiento significativamente mejorado en tareas de razonamiento, incluido el razonamiento lógico, las matemáticas, la ciencia, la codificación, la generación de textos y los puntos de referencia académicos que generalmente requieren experiencia humana. El modelo presenta una mayor longitud de pensamiento, lo que lo hace particularmente efectivo para tareas de razonamiento altamente complejas.

Utilización eficiente de la herramienta: El modelo demuestra capacidades excepcionales en el uso de herramientas y llamadas a funciones, lo que lo hace ideal para aplicaciones basadas en agentes. Esto permite una integración perfecta con sistemas externos y API para aplicaciones del mundo real.

Comprensión del contexto extendido: Con sus capacidades mejoradas de comprensión de contexto largo de 128K (131,072 tokens), ERNIE-4.5–21B-A3B-Thinking puede procesar documentos extensos, bases de código y conversaciones complejas de varios turnos sin perder contexto ni precisión.

ERNIE-4.5–21B-A3B-Thinking utiliza técnicas avanzadas posteriores al entrenamiento que incluyen SFT (ajuste fino supervisado), DPO (optimización de preferencias directas) y UPO (optimización de preferencias unificadas) patentada por Baidu. El modelo lanza pesos estilo Transformer para alinearse con la comunidad en general, lo que garantiza la compatibilidad con los ecosistemas PyTorch y PaddlePaddle, incluidos vLLM y FastDeploy. Esta amplia compatibilidad facilita la integración en los flujos de trabajo existentes mientras mantiene la eficiencia computacional con solo 80 GB × 1 requisito de GPU.

Rank	Model	Owner	Size / Act.	License	Approx. MMLU	HF-trend
1	GPT-5 Pro	OpenAI	400 B dense	Closed	94	–
2	Gemini-2.5-Pro	Google	200 B dense	Closed	92	–
3	Claude-4-Sonnet	Anthropic	~175 B	Closed	91	–
4	DeepSeek-V3-671B-A37B	DeepSeek	671 B / 37 B MoE	Apache-2	88	–
5	Qwen3-30B-A3B	Alibaba	30 B / 3 B MoE	Apache-2	87	–
6	ERNIE-4.5-21B-A3B-Thinking	Baidu	21 B / 3 B MoE	Apache-2	86-89	#1 text-gen
7	MiniMax-M2	MiniMax	52 B / 5 B MoE	Apache-2	85	–
8	GLM-4.5	Z.ai	60 B / 6 B MoE	Apache-2	84	–
9	Llama-3.3-Nemotron-Super-49B	NVIDIA	49 B dense	Apache-2	83	–
10	Qwen3-7B-A3B	Alibaba	7 B / 3 B MoE	Apache-2	81	–

Especificaciones del modelo ERNIE-4.5–21B-A3B-Thinking emplea una sofisticada arquitectura de mezcla de expertos optimizada tanto para el rendimiento como para la eficiencia. El diseño del modelo permite la activación selectiva de los expertos más relevantes para cada token, logrando un equilibrio óptimo entre capacidad y costo computacional.

Especificaciones principales:

Parámetros totales: 21B Parámetros activados: 3B por token Capas: 28 Cabezas de atención: 20 cabezas de consulta / 4 cabezas de clave-valor Expertos en texto: 64 en total / 6 activados por token Expertos compartidos: 2 Duración del contexto: 131,072 tokens Salida máxima: 65,536 tokens Capacidades de entrada / salida: Mensaje de texto Etapa de entrenamiento: Post-entrenamiento Proveedor: Baidu Licencia: Apache 2.0 Cuantización: FP8 Requisitos de GPU: 80 GB × 1 GPU

Apoyo al razonamiento: Sí

La arquitectura MoE de ERNIE-4.5-21B-A3B-Thinking representa un gran avance en el diseño eficiente de IA, heredando innovaciones de la serie ERNIE 4.5 más amplia, incluido el enrutamiento aislado de modalidad y las técnicas de pérdida ortogonal del enrutador. Al activar solo 3 mil millones de parámetros por token mientras se mantiene el acceso a 21 mil millones de parámetros totales, el modelo ofrece un rendimiento de nivel empresarial sin la sobrecarga computacional típica.

La ventana de contexto de 131,072 tokens del modelo y la capacidad de salida de 65,536 tokens permiten el procesamiento de documentos extensos y la generación de respuestas integrales, lo que lo hace ideal para tareas analíticas complejas, generación de contenido de formato largo y documentación técnica detallada.

Aspectos destacados del rendimiento ERNIE-4.5–21B-A3B-Thinking demuestra un rendimiento excepcional en múltiples dominios, logrando resultados de vanguardia (SOTA) como parte de la familia ERNIE 4.5. Las capacidades de pensamiento mejoradas del modelo y la profundidad de razonamiento mejorada lo hacen particularmente efectivo para tareas que requieren análisis de varios pasos y resolución de problemas complejos.

Las fortalezas clave del rendimiento incluyen:

Razonamiento lógico: ERNIE-4.5–21B-A3B-Thinking ### sobresale en tareas complejas de deducción lógica, demostrando un rendimiento superior en acertijos, silogismos y problemas de razonamiento de varios pasos que requieren un análisis cuidadoso y un pensamiento sistemático.

Matemáticas: El modelo muestra capacidades avanzadas de resolución de problemas matemáticos, manejando todo, desde aritmética básica hasta cálculo complejo, álgebra lineal y conceptos matemáticos abstractos con alta precisión.

Ciencia: Las capacidades mejoradas de razonamiento y análisis científico permiten a ERNIE-4.5–21B-A3B-Thinking abordar problemas en física, química, biología y otros dominios científicos, proporcionando explicaciones detalladas y soluciones precisas.

Codificación: Con capacidades mejoradas de generación y depuración de código en varios lenguajes de programación, el modelo puede escribir, analizar y optimizar el código al tiempo que proporciona explicaciones claras de los conceptos de programación y las mejores prácticas.

Generación de texto: La generación de lenguaje natural de alta calidad hace que ERNIE-4.5–21B-A3B-Thinking sea ideal para tareas de escritura creativa, documentación técnica y creación de contenido que requieren comprensión y expresión matizadas.

Puntos de referencia académicos: El modelo logra un rendimiento competitivo en puntos de referencia que requieren experiencia a nivel humano, lo que demuestra su preparación para aplicaciones profesionales y académicas.

Acceso a la API a ERNIE-4.5–21B-A3B-Thinking con confiabilidad y rendimiento de nivel empresarial a través de puntos finales compatibles con OpenAI.

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="",
)
model = "baidu/ernie-4.5-21B-a3b-thinking"
stream = True # or False
max_tokens = 32768
system_content = "Be a helpful assistant"
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )
if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)