claude-9b

A reasoning-distilled Qwen3.5-9B, quantized down to 2.9 GB, packaged by trinhnv1205.

The premise: keep the long-form reasoning behaviour of a 9B model, but squeeze the file small enough to run on hardware that has no business running a 9B. At ~2.6 bits per weight this is an aggressive quant, and it is the smallest 9B-class reasoner I have been able to get to hold a coherent chain of thought.

ollama run trinhnv1205/claude-9b

What you get


Architecture	`qwen35`, 8.95B parameters
Size	2.9 GB — low-bit quantization
Input	Text
Style	Long-form, structured, reasoning-first responses

Honest expectations

This is a trade, and you should know which side you are on:

You gain a 9B-parameter reasoning model that fits where a 3B normally lives — roughly 4 GB of memory, CPU-viable, fast to load.
You give up precision. On exact arithmetic, long code generation, and rare factual recall it is measurably weaker than my Q4 builds.

Use it for reasoning, planning, drafting, and explanation. If you need the model to be correct about details, use the Q4_K_M build instead:

ollama run trinhnv1205/Qwen3.5-9B-Uncensored-ctx64k

Base model

Built on the Qwen3.5-9B architecture (Alibaba Cloud), from a Claude-style reasoning-distilled fine-tune of that checkpoint. All original licenses apply.

🇻🇳 Tóm tắt tiếng Việt

Bản Qwen3.5-9B thiên suy luận, nén xuống còn 2.9 GB.

Ý tưởng: giữ lại lối trả lời dài mạch lạc của một model 9B, nhưng nén file đủ nhỏ để chạy trên máy vốn không kham nổi 9B. Ở mức ~2.6 bit mỗi trọng số thì đây là quant khá mạnh tay, và là model 9B nhỏ nhất mà mình giữ được mạch suy luận không đứt.

Nói thẳng về đánh đổi: - Được: model 9B chạy ở chỗ vốn chỉ vừa một model 3B — khoảng 4 GB RAM, chạy được CPU, load nhanh. - Mất: độ chính xác. Tính toán chính xác, sinh code dài, và kiến thức hiếm đều yếu hơn rõ so với các bản Q4 của mình.

Dùng để suy luận, lập kế hoạch, viết nháp, giải thích. Cần đúng chi tiết thì chuyển sang trinhnv1205/Qwen3.5-9B-Uncensored-ctx64k.

☕ Mời mình ly cà phê / Buy me a coffee

Mình đóng gói, tinh chỉnh và bảo trì những bản build này ngoài giờ làm — miễn phí, không quảng cáo, không thu thập gì của bạn. Nếu bản này giúp bạn đỡ được một buổi chiều vật lộn với config, mời mình ly cà phê nhé. Mỗi ly là một lý do để mình làm tiếp bản sau. 🙌

I build, tune and maintain these releases in my own time — free, no ads, no tracking. If this one saved you an afternoon, a coffee goes a long way.

→ https://buymeacoffee.com/trinhnv1205

License

Kế thừa giấy phép của base model gốc — kiểm tra repo gốc trước khi dùng cho mục đích thương mại. / Inherits the license of the upstream base model.

Models

Readme