OxW/
Saiga_Gemma3_12B

193 4 months ago

[GGUF] Saiga/Gemma3 12B, fine-tune of Gemma3 12B

Models

View all →

3 models

Saiga_Gemma3_12B:Q4_K_M

7.3GB · 128K context window · Text · 4 months ago

Saiga_Gemma3_12B:Q6_K

9.7GB · 128K context window · Text · 4 months ago

Saiga_Gemma3_12B:Q8_0

13GB · 128K context window · Text · 4 months ago

Readme

Основана на mlabonne/gemma-3-12b-it-abliterated.
Источник: HF

Доступные варианты:
Q4_K_M
ollama run OxW/Saiga_Gemma3_12B:Q4_K_M
Q6_K
ollama run OxW/Saiga_Gemma3_12B:Q6_K
Q8_0
ollama run OxW/Saiga_Gemma3_12B:Q8_0
Остальные считаю бесполезными, их добавлять не буду.