qwen-tiny

A compact Qwen3.5 build that still sees, thinks, and calls tools, packaged by trinhnv1205.

Most models at this size are toys. This one keeps the interesting parts: vision input, visible reasoning, and tool calling — in 1.2 GB. It is the model I reach for on a laptop with no GPU, in a container, or as the fast router in front of a bigger model.

ollama run trinhnv1205/qwen-tiny

What you get

Sampling parameters I tuned in

{ "temperature": 1, "top_p": 0.95, "top_k": 20,
  "presence_penalty": 1.5, "repeat_penalty": 1, "min_p": 0 }

The presence_penalty of 1.5 is deliberate and the most important number here. Small reasoning models fall into repetition loops during their thinking phase — this setting is what keeps the chain of thought moving forward instead of circling.

Where it earns its size

• Runs on CPU only, comfortably, on a machine with a few GB of free RAM.
• Fast enough for classification, routing, and extraction in a loop.
• Vision at this size means cheap OCR-ish and screenshot-triage work.
• Agent scaffolding tests without burning GPU time on a 9B.

Note the 0.19.0 requirement — the MXFP8 format and the qwen3.5 renderer need a recent Ollama. Run ollama --version if the pull fails.

Base model

Built on the Qwen3.5 architecture (Alibaba Cloud). All original licenses apply.

🇻🇳 Tóm tắt tiếng Việt

Bản Qwen3.5 gọn nhẹ mà vẫn nhìn được ảnh, biết suy luận và gọi tool.

Model cỡ này thường chỉ để cho vui, nhưng bản này giữ lại đúng những thứ đáng giá — gói gọn trong 1.2 GB. Đây là model mình dùng khi ngồi laptop không GPU, chạy trong container, hoặc làm lớp định tuyến nhanh đứng trước một model lớn hơn.

• Định dạng: safetensors MXFP8 · Cần: Ollama 0.19.0 trở lên
• Chạy được thuần CPU, máy còn trống vài GB RAM là đủ
• Hợp với: phân loại, định tuyến, trích xuất dữ liệu chạy vòng lặp, OCR nhanh từ ảnh

Tham số presence_penalty: 1.5 là chủ ý — model suy luận nhỏ hay lặp vòng khi đang “nghĩ”, con số này giữ cho mạch suy luận đi tới thay vì quẩn tại chỗ.

Nếu pull lỗi, chạy ollama --version kiểm tra — định dạng MXFP8 cần Ollama đời mới.

☕ Mời mình ly cà phê / Buy me a coffee

Mình đóng gói, tinh chỉnh và bảo trì những bản build này ngoài giờ làm — miễn phí, không quảng cáo, không thu thập gì của bạn. Nếu bản này giúp bạn đỡ được một buổi chiều vật lộn với config, mời mình ly cà phê nhé. Mỗi ly là một lý do để mình làm tiếp bản sau. 🙌

I build, tune and maintain these releases in my own time — free, no ads, no tracking. If this one saved you an afternoon, a coffee goes a long way.

→ https://buymeacoffee.com/trinhnv1205

License

Kế thừa giấy phép của base model gốc — kiểm tra repo gốc trước khi dùng cho mục đích thương mại. / Inherits the license of the upstream base model.