OxW/
Vikhr-Nemo-12B-Instruct-R-21-09-24

382 5 months ago

[GGUF] Vikhr-Nemo - это флагманская унимодальная LLM модель команды VikhrModels на базе Mistral-Nemo-Instruct-2407

Models

View all →

3 models

Vikhr-Nemo-12B-Instruct-R-21-09-24:q4_K_M

7.5GB · 1000K context window · Text · 5 months ago

Vikhr-Nemo-12B-Instruct-R-21-09-24:q6_K

10GB · 1000K context window · Text · 5 months ago

Vikhr-Nemo-12B-Instruct-R-21-09-24:q8_0

13GB · 1000K context window · Text · 5 months ago

Readme

Эта модель была залита на базе файлов GGUF.
Источник: HF
Доступные варианты:
Q4_K_M
ollama run OxW/Vikhr-Nemo-12B-Instruct-R-21-09-24:q4_K_M
Q6_K
ollama run OxW/Vikhr-Nemo-12B-Instruct-R-21-09-24:q6_K
Q8_0
ollama run OxW/Vikhr-Nemo-12B-Instruct-R-21-09-24:q8_0
Остальные считаю бесполезными, их добавлять не буду.