Qwythos-9B-v2-GGUF

Cuantificaciones de GGUF de empero-ai/Qwythos-9B-v2 para llama.cpp, Ollama, LM Studio, jan, KoboldCpp y otros tiempos de ejecución de GGUF.

Qwythos-9B-v2 es el nuevo y mejorado Qwythos, todo el razonamiento profundo de la cadena de pensamiento de la base Qwythos, con el comportamiento de bucle fijo. La desenrollamiento / degeneración que apareció bajo la decodificación codiciosa o de baja temperatura se entrena (6,7% → 0%), se restaura el cabezal MTP nativo y se limpia el mensaje de identidad, mientras que el conocimiento y el razonamiento se mantienen en (o por encima) del nivel base de Qwythos.

La solución utiliza FTPO (Final-Token Preferenciapference Optimization): se identifica el token exacto que inicia un bucle de repetición y el modelo se entrena suavemente para preferir alternativas coherentes en esa posición, dejando el resto de la distribución, y por lo tanto su conocimiento y razonamiento, intactos.

Para obtener detalles completos de la capacitación, los números de evaluación y las generaciones de muestras, consulte la tarjeta modelo base. ¿Qué hay de nuevo contra la base Qwythos

🔁 El comportamiento de bucle eliminado: la repetición bajo decodificación codiciosa / de baja temperatura cayó un 6,7% → 0%. La decodificación codiciosa ahora es segura, ya no necesita repeat-penaltyComo una tirita.
🧩 Cabezal MTP restaurado: el módulo nativo de predicción multitoken está de vuelta en el -MTP-Archivos, así que decodificación especulativa (--spec-type draft-mtp) obras.
🧠 Razonamiento conservado — MMLU / GSM8K / GPQA / ARC mantenido en o por encima del nivel básico Qwythos (ver la tarjeta modelo).
🪪 Identidad más limpia: afirma quién es una vez, solo cuando se le pregunta.
🔓 Todavía sin uncensoredcensura intencionalmente, todavía 1M-token contexto (YaRN), todavía multimodal-capaz (Qwen3.5 torre de visión).

Archivos Pesos de texto normales — solo tronco (32 bloques) Archivo ¿Quant Tamaño Notas Qwythos-9B-v2-Q4_K_M.gguf Q4_K_M 5.34 GiB / 5.74 GB Por defecto recomendado: la más pequeña práctica, buena calidad Qwythos-9B-v2-Q5_K_M.gguf Q5_K_M 6.08 GiB / 6,52 GB Calidad / tamaño balanceado Qwythos-9B-v2-Q6_K.gguf Q6_K 6.95 GiB / 7,46 GB Alta calidad Qwythos-9B-v2-Q8_0.gguf Q8_0 8.87 GiB / 9,53 GB Casi sin pérdida Qwythos-9B-v2-BF16.gguf BF16 16.69 GiB / 17,92 GB Precisión completa (base de conversión)

Si no sabes qué escoger, Q4_K_M es el punto de partida correcto. Pesos de texto habilitados para MTP (33 bloques, nextn_predict_layers = 1)

Estos incrustan el cabezal MTP compatible con Qwen3.5 restaurado. Úsalos con compilaciones de llama.cpp que apoyen la especulación del borrador de MTP (–spec-type draft-mtp). Las matrices MTP se retienen en Q8_0 en cada variante cuantificada. Archivo ¿Quant Tamaño Notas Qwythos-9B-v2-MTP-Q4_K_M.gguf Q4_K_M + MTP 5.50 GiB / 5.90 GB Valor predeterminado de MTP recomendado Qwythos-9B-v2-MTP-Q5_K_M.gguf Q5_K_M + MTP 6.25 GiB / 6,71 GB Calidad / tamaño balanceado Qwythos-9B-v2-MTP-Q6_K.gguf Q6_K + MTP 7.14 GiB / 7,67 GB Alta calidad Qwythos-9B-v2-MTP-Q8_0.gguf Q8_0 + MTP 9.11 GiB / 9,79 GB Casi sin pérdida Qwythos-9B-v2-MTP-BF16.gguf BF16 + MTP 17.14 GiB / 18,41 GB Precisión completa (base de conversión) Proyector de visión — para la entrada de imagen Archivo Tamaño Notas mmproj-Qwythos-9B-v2-BF16.gguf 0,86 GiB / 0,92 GB Encodador de visión estilo CLIP + proyector con precisión nativa BF16; necesario para imágenes, pares con cualquier cantidad de texto anterior

La torre de visión se hereda sin cambios desde Qwen3.5-9B: se congeló a través de la base Qwythos SFT y el FTPO v2, por lo que el comportamiento de la imagen coincide con la base Qwen3.5-9B. Este mmproj es intercambiable con cualquier Qwen3.5-9B mmproj-*.gguf. Cuantificación de la precisión híbrida (tensores de DeltaNet/SSM cerrados)

Qwythos es un modelo híbrido: una mezcla 3:1 de bloques de atención lineal (SSM) de Gated-DeltaNet y bloques de atención completa. Los tensores de estado de atención lineal son desproporcionadamente sensibles a la cuantificación de bits bajos, por lo que los K-quants aquí los mantienen con mayor precisión que los pesos circundantes: ¿Quant ssm_alpha ssm_beta ssm_out Q6_K Q8_0 Q8_0 Q8_0 Q5_K_M Q8_0 Q8_0 Q6_K Q4_K_M Q8_0 Q8_0 Q6_K

Los restantes tensores del estado de SSM (ssm_a, ssm_conv1d, ssm_dt, ssm_norm) son mantenidos en F32 por el convertidor. Esto preserva los bloques híbridos/SSM para un pequeño aumento (~2-4%) en el tamaño del archivo sobre un K-quant plano. Q8_0y BF16Son uniformes y no necesitan anulación. Inicio rápido llama.cpp

llama-cli
-m Qwythos-9B-v2-Q4_K_M.gguf
-p “Walk through the biochemistry of how organophosphate nerve agents inhibit acetylcholinesterase.”
-n 8192
–temp 0.6 –top-p 0.95 –top-k 20 –repeat-penalty 1.05
-c 16384

Porque el looping de v2 está entrenado, –repeat-penaltyAhora es opcional y codiciosa decodificación (–temp 0) se mantiene coherente. Categoría: Ollama

ollama run hf.co/empero-ai/Qwythos-9B-v2-GGUF:Q4_K_M

LM Studio / enj / KoboldCpp

¡Deja caer cualquier .ggufEn el directorio de modelos de su tiempo de ejecución. Qwythos utiliza la plantilla de chat Qwen3.5 estándar; los tiempos de ejecución modernos de GGUF lo cargan automáticamente desde el archivo. Proyecto de especulación de MTP

llama-server
-m Qwythos-9B-v2-MTP-Q4_K_M.gguf
–spec-type draft-mtp
–spec-draft-n-max 6
-c 16384 –port 8080

El soporte MTP requiere una reciente compilación de llama.cpp. Si el tiempo de ejecución aún no es compatible con MTP, utilice los archivos normales. Visión (entrada de imagen)

Descargar un cuant de texto más el mmproj-*.gguf, a continuación, ejecute la CLI/servidor multimodal de llama.cpp:

llama-mtmd-cli
-m Qwythos-9B-v2-Q4_K_M.gguf
–mmproj mmproj-Qwythos-9B-v2-BF16.gguf
–image ./photo.jpg
-p “Describe this image in detail.”
–temp 0.6 –top-p 0.95 –top-k 20 -c 16384

Nota honesta: todo el entrenamiento de Qwythos (base SFT y v2 FTPO) fue solo de texto: la torre de visión nunca fue afinada, por lo que el razonamiento basado en imágenes hereda el comportamiento de la base Qwen3.5-9B y no se ha evaluado de forma independiente para esta versión. Recomendaciones de muestreo

Qwythos es un modelo de razonamiento: cada respuesta se abre con un …Bloquea antes de la respuesta. Parámetro Valor temperature 0.6 top_p 0,95 top_k 20 repeat_penalty 1.05 (opcional en v2) max_new_tokens Categoría:

A diferencia de la base Qwythos, v2 no se hace un bucle bajo decodificación codiciosa / de baja temperatura: puede usar –temp 0Para carreras deterministas sin repetición. Los ajustes de 0.6 temperaturas anteriores todavía coinciden con las recomendaciones oficiales del modo de pensamiento de Qwen3.5 para obtener la mejor calidad. Contexto largo (1M tokens)

Los GGUF se envían con escala de cuerda YaRN horneado para una ventana de contexto de 1.048,576 tokens (4 × el nativo de 262.144). Set -cHasta 1048576; bajarlo para reducir la memoria KV-cache para indicaciones más cortas. Una sola GPU de clase H100/H200 maneja cómodamente 256k-512k; el 1M completo generalmente necesita descarga de caché KV multi-GPU o agresiva. Conversión y verificación

Convertido y cuantificado con llama.cpp (convert_hf_to_gguf.py, llama-quantize), arquitectura qwen35, GGUF v3.
Variantes MTP: conversión por defecto (33-bloque, nextn_predict_layers = 1, 15 tensores MTP, matrices MTP fijadas Q8_0). Variantes normales: --no-mtp(32-bloque solo en el tronco). mmproj: --mmproj --outtype bf16.
Anulación de la precisión híbrida aplicada por la tabla anterior.
Verificado estructuralmente (archo / recuento de bloques / nextnTipos de llave / por tensor) y probados con humo para carga + generación coherente.
shasum -a 256 -c SHA256SUMSCubre los 11 artefactos.

Licencia y reconocimientos

Apache-2.0, heredado de Qwen3.5-9B. Compartido para la investigación y la experimentación, tal cual.

Desarrollado y lanzado por Empero AI
Modelo base: Qwen3.5-9B (equipo de Alibaba Qwen)
Bucle fijo con FTPO (Optimización de Preferencias de Token Final)
Cuantificación: llama.cpp (ggml-org)
Modelo HF: empero-ai/Qwythos-9B-v2