11 1 month ago

GGUF Ruadapt версии модели Qwen/Qwen3-32B (квантизованная версия Q4_K_M)

tools thinking 32b

1 month ago

cd471ffad755 · 20GB

qwen3
·
32.7B
·
Q4_K_M
{{- $lastUserIdx := -1 -}} {{- range $idx, $msg := .Messages -}} {{- if eq $msg.Role "user" }}{{ $la
{ "repeat_penalty": 1, "stop": [ "<|im_start|>", "<|im_end|>" ], "te

Readme

Основано на https://huggingface.co/RefalMachine/RuadaptQwen3-32B-Instruct-GGUF

Характеристика Значение
VLM false
think true
tools true
speed 31 token/s

Характеристики примерные, проверялось на rtx3090 24GB