2,594 1 month ago

Q4-K-M based on lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled

ollama run yanjia/Qwen3.6-35B-A3B-Opus4.7-Reasoning-Distilled:q4km

Details

1 month ago

7721c2944c8c · 21GB ·

qwen35moe
·
34.7B
·
Q4_K_M
You are Qwen3.6-35B-A3B-Opus4.7-Reasoning-Distilled, a helpful reasoning assistant.
{ "num_ctx": 8192, "num_gpu": 99, "repeat_penalty": 1.1, "temperature": 0.7 }
{{ .Prompt }}

Readme

本模型为 lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled 的 GGUF 量化版本,底座模型为 Qwen/Qwen3.6-35B-A3B,使用 Unsloth Studio 转换制作。

该模型是在 Qwen3.6-35B-A3B 基础上蒸馏 Claude Opus 4.7 reasoning 能力得到的推理模型,适合中文、英文问答、推理、写作、代码辅助与长上下文任务。

Tag 量化方式 文件大小 推荐显存
Q4_K_M 4-bit K-quant ~21 GB >= 24 GB

使用方式

ollama run yanjia/Qwen3.6-35B-A3B-Opus4.7-Reasoning-Distilled:q4km

许可证

本模型继承原始模型及蒸馏模型的对应许可证;使用前请同时参考 Qwen Team 与 lordx64 在 Hugging Face 页面发布的许可条款。

引用原模型

如在研究中使用,请引用原作者:

@misc{qwen36_a3b_2026,
  title  = {Qwen3.6-35B-A3B},
  author = {Qwen Team},
  year   = {2026},
  howpublished = {\url{https://huggingface.co/Qwen/Qwen3.6-35B-A3B}},
}

@misc{lordx64_qwen36_distill_2026,
  title  = {Qwen3.6-35B-A3B distilled from Claude Opus 4.7 reasoning},
  author = {lordx64},
  year   = {2026},
  howpublished = {\url{https://huggingface.co/lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled}},
}

量化说明

原始模型由 Unsloth Studio 量化为 Q4_K_M。量化过程未对模型权重做其他修改。