Tenemos lanzando una versión 2 de Qwythos aquí: empero-ai/Qwythos-9B-v2

Admite 1M de token pero lo he seteado a menos para trabajar con opencode en mi pc con 8 vram

Las correcciones incluyen:

🔁 El comportamiento de bucle eliminado: la repetición/degeneración bajo la decodificación codiciosa o a baja temperatura se redujo desde el 6,7% → 0%. Puede servirlo sin apoyarse en la repetición_penalty como una tirita.
🧠 Razonamiento totalmente conservado: MMLU, GSM8K, GPQA, ARC y HumanEval se mantienen en (o por encima) del nivel v1. Esta es una mejora de la higiene, no una regresión de la capacidad.
🧩 Cabezal MTP restaurado: el módulo de predicción multitoken nativo (caído en la exportación anterior) está de vuelta, por lo que la configuración y los pesos están de acuerdo y las configuraciones de decodificación especulativa funcionan.
🪪 Identidad más limpia: el modelo ya no tiene antepasados respuestas no relacionadas con su identidad; se presenta solo cuando realmente se pregunta.
🔓 Todavía sin censura intencional para la investigación, ciberseguridad, trabajo de color rojo, biología, química, farmacología y clínica.
📜 Todavía contexto de 1M-token (YaRN) y la pila de Qwen3.5 con capacidad multimodal nativa.

Qwythos-9B es un modelo de razonamiento de parámetros completos post-entrenado en más de 500 millones de tokens de trazas de alta calidad de Claude Mythos / Claude Fable con cadena de pensamiento generada internamente por el interno de Empero AI rethinkHerramienta. Domina la base Qwen3.5-9B en evaluación emparejada (+34 pts MMLU, +30 pts gsm8k-strict, +19 pts gsm8k-flex), admite llamadas de función nativa según la especificación Qwen3.5, y se envía con una ventana de contexto de 1.048,576 tokens (1M) a través de la escala de cuerda YaRN habilitada por defecto.

Para obtener detalles completos de la capacitación, los números de evaluación y la escritura de capacidad, consulte la tarjeta modelo base. Archivos Pesos de texto normales: reemplazos v3 fijos Archivo ¿Quant Tamaño Notas Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf Q4_K_M 5.24 GiB / 5,63 GB Por defecto recomendado — fijo v3, la mejor compatibilidad Qwythos-9B-Claude-Mythos-5-1M-Q5_K_M.gguf Q5_K_M 6.02 GiB / 6,47 GB fijo v3, calidad / tamaño equilibrado Qwythos-9B-Claude-Mythos-5-1M-Q6_K.gguf Q6_K 6.85 GiB / 7,36 GB fijo v3, alta calidad Qwythos-9B-Claude-Mythos-5-1M-Q8_0.gguf Q8_0 8.87 GiB / 9,53 GB fijo v3, casi sin pérdida Qwythos-9B-Claude-Mythos-5-1M-BF16.gguf BF16 16.69 GiB / 17,92 GB Base de conversión de precisión completa de v3, fijo

Si no sabe cuál elegir, Q4_K_M es el punto de partida correcto: es el más pequeño práctico con una preservación de buena calidad. Pesos de texto habilitados para MTP: variantes fijas de v3

Estos incluyen el cabezal MTP compatible con Qwen3.5 restaurado dentro del GGUF. Úselos con compilaciones de llama.cpp que admitan la especulación de borradores de MTP, por ejemplo –spec-type draft-mtp. Archivo ¿Quant Tamaño Notas Qwythos-9B-Claude-Mythos-5-1M-MTP-Q4_K_M.gguf Q4_K_M + MTP 5.48 GiB / 5.89 GB Valor predeterminado de MTP recomendado Qwythos-9B-Claude-Mythos-5-1M-MTP-Q5_K_M.gguf Q5_K_M + MTP 6.26 GiB / 6,73 GB MTP, calidad / tamaño equilibrado Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.gguf Q6_K + MTP 7.09 GiB / 7.62 GB MTP, alta calidad Qwythos-9B-Claude-Mythos-5-1M-MTP-Q8_0.gguf Q8_0 + MTP 9.11 GiB / 9,79 GB MTP, casi sin pérdida Qwythos-9B-Claude-Mythos-5-1M-MTP-BF16.gguf BF16 + MTP 17.14 GiB / 18,41 GB MTP, base de conversión de precisión completa Proyector de visión — para la entrada de imagen Archivo Tamaño Notas mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf 0,86 GiB / 0,92 GB Encodador de visión de estilo CLIP + proyector; requerido para imágenes, pares con cualquier cantidad normal o MTP anterior

Qwythos hereda su torre de visión del modelo base Qwen3.5-9B: la trayectoria de visión se congeló durante SFT (el entrenamiento era solo de texto), por lo que el comportamiento de la visión es idéntico a la capacidad multimodal de la base Qwen3.5-9B. El mmproj es intercambiable con cualquier Qwen3.5-9B construido por la comunidad mmproj-*.gguf. Inicio rápido llama.cpp (llama-cli)

llama-cli
-m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf
-p “Walk through the biochemistry of how organophosphate nerve agents inhibit acetylcholinesterase.”
-n 8192
–temp 0.6 –top-p 0.95 –top-k 20 –repeat-penalty 1.05
-c 16384

Categoría: Ollama

ollama run hf.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF:Q4_K_M

LM Studio / enj / KoboldCpp

Deja caer cualquiera de los .ggufArchivos en el directorio de modelos de su tiempo de ejecución. Qwythos utiliza la plantilla de chat Qwen3.5 estándar; los tiempos de ejecución modernos de GGUF lo cargan automáticamente desde el archivo. llama.cpp con el borrador de la especulación de MTP

llama-server
-m Qwythos-9B-Claude-Mythos-5-1M-MTP-Q4_K_M.gguf
–spec-type draft-mtp
–spec-draft-n-max 6
-c 16384 –port 8080

El soporte MTP requiere una reciente compilación de llama.cpp. Si su tiempo de ejecución aún no admite MTP, use los archivos v3 fijos normales anteriores. Visión (entrada de imagen)

Qwythos admite la entrada de imagen fuera de la caja. Descargue tanto un cuantístico de texto como el mmproj-*.ggufArchivo de este repositorio, a continuación, ejecute con la CLI multimodal de llama.cpp o servidor. llama.cpp (llama-mtmd-cli)

llama-mtmd-cli
-m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf
–mmproj mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf
–image ./photo.jpg
-p “Describe this image in detail.”
–temp 0.6 –top-p 0.95 –top-k 20
-c 16384

servidor llama.cpp (API compatible con OpenAI con imágenes)

llama-server
-m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf
–mmproj mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf
-c 16384 –port 8080

Entonces POST a /v1/chat/completionsCon una URL de imagen o carga útil base64: la forma de la API de visión OpenAI estándar funciona. LM Estudio

Cargue el cuantido de texto; LM Studio detecta la coincidencia mmproj-*.ggufEn la misma carpeta y habilita el botón de conexión de imagen automáticamente. ¿Qué visión se desbloquea

Dado que Qwythos hereda su torre de visión sin cambios desde la base Qwen3.5-9B, espere las capacidades de visión documentadas de Qwen3.5-9B: descripción detallada de la imagen, OCR (impreso + escrito a mano), lectura de gráficos / tablas, comprensión de interfaz de usuario / documento, razonamiento espacial básico.

Nota honesta: el SFT utilizado para producir Qwythos era solo de texto: no afinamos la torre de visión ni el tren en ningún dato emparejado con imagen. Por lo tanto, el razonamiento basado en la imagen hereda el comportamiento del modelo base; no ha sido evaluado de forma independiente como parte de esta versión. Si su aplicación está principalmente basada en la visión, valide en su propio caso de uso primero. Recomendaciones de muestreo

Qwythos es un modelo de razonamiento: cada respuesta se abre con un …Bloquea antes de la respuesta final. Utilice estos ajustes como valores predeterminados: Parámetro Valor temperature 0.6 top_p 0,95 top_k 20 repeat_penalty 1.05 max_new_tokens 16384 (presupuesto generoso para + respuesta)

Estos coinciden con las recomendaciones oficiales del modo de pensamiento de Qwen3.5. Evite la decodificación codiciosa y el muestreo a muy baja temperatura (T ≤ 0.3): ambos pueden causar bucles de repetición en generaciones de razonamiento largo. Contexto largo (1M tokens)

Los GGUF se envían con escala de cuerda YaRN horneado para una ventana de contexto de 1.048,576 tokens (extensión de 4 × sobre el nativo de 262k).

Para utilizar la ventana completa de 1M en llama-cli, set -c 1010000(o cualquier longitud de contexto hasta eso). Para indicaciones más cortas, más baja -cPara reducir la memoria KV-cache, en la configuración predeterminada, llama.cpp se maximizará automáticamente.

Una única GPU de clase H100/H200 maneja cómodamente 256k–512k256k-512k; el 1M completo generalmente necesita una descarga de múltiples GPU o caché KV agresiva tensor-paralela. Capacidades (desde la tarjeta modelo base)

+34 pts MMLU, +30 pts gsm8k-strict, +19 pts gsm8k-flex vs. base Qwen3.5-9B bajo evaluación de lm-eval-harness emparejada
Llamada de función nativa según la especificación chat-template de Qwen3.5 — emite <tool_call><function=NAME><parameter=NAME>VAL</parameter></function></tool_call>Bloques listos para cualquier bucle de uso de herramientas
Autocorrección con herramientas: en un arnés de uso de herramientas de 7 salidas (Ejecutor de Python + búsqueda de DuckDuckGo), Qwythos produjo respuestas correctas citadas en 7/7, incluidos los modos de falla de libro cerrado 4/4 de la revisión original
Sin censura: se relaciona seriamente con preguntas técnicamente exigentes en ciberseguridad, equipo rojo, biología, farmacología y medicina clínica
1.048.576-token (1M) contexto — YaRN escalado de cuerdas habilitado por defecto

Para obtener transcripciones completas y números por tarea, consulte la tarjeta modelo base evals/Carpeta. Limitaciones

Modelo de razonamiento. Cada respuesta comienza con una <think>Bloque; permite ser generoso max_new_tokensy sintáctico/tira <think>...</think>Para los usuarios finales.
Utilizar el muestreo recomendado. Codicioso / muy bajo-temp puede causar bucles de repetición.
Verifique los detalles en contextos críticos para la seguridad. Al igual que todos los LLM de libro cerrado en esta clase de peso, Qwythos puede comprometerse en exceso con identificadores específicos (CVE, modos hashcat, posiciones de medicamentos) de los que no está claro. Emparejar con la recuperación o las llamadas de función en tales implementaciones: el modelo utiliza las herramientas de forma limpia cuando se les ofrece.
Sin censura: agregue su propia capa de revisión / seguridad a nivel de aplicación para implementaciones orientadas al usuario final donde eso sea importante.

¡Quédate en el bucle

Suscríbase al boletín de Empero en empero.org para ver los lanzamientos, los movimientos y las notas de investigación.

Procedencia y licencia

Los pesos se liberan bajo Apache-2.0, heredado de la base Qwen3.5-9B. Compartido para la investigación y la experimentación, tal cual. Reconocimientos

Desarrollado y lanzado por Empero
Modelo base: Qwen3.5-9B (equipo de Alibaba Qwen)
Cuantificación: llama.cpp (ggml-org)
Proyector de visión (mmproj): heredado de Qwen3.5-9B (torre de visión sin cambios); F16 GGUF re-alojado con agradecimiento a Unsloth por la conversión original
Modelo de HF: empero-ai/Qwythos-9B-Claude-Mythos-5-1M