OxW/
Saiga_Gemma3_12B:Q4_K_M

193 4 months ago

[GGUF] Saiga/Gemma3 12B, fine-tune of Gemma3 12B

4 months ago

59f23a868c77 · 7.3GB ·

model
gemma3
·
11.8B
·
Q4_K_M
template
{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 }} {{- if or (eq .Rol
params
{ "stop": [ "<end_of_turn>" ], "temperature": 0.1 }

Readme

Основана на mlabonne/gemma-3-12b-it-abliterated.
Источник: HF

Доступные варианты:
Q4_K_M
ollama run OxW/Saiga_Gemma3_12B:Q4_K_M
Q6_K
ollama run OxW/Saiga_Gemma3_12B:Q6_K
Q8_0
ollama run OxW/Saiga_Gemma3_12B:Q8_0
Остальные считаю бесполезными, их добавлять не буду.