OxW/
Vikhr-Nemo-12B-Instruct-R-21-09-24:q6_K

382 5 months ago

[GGUF] Vikhr-Nemo - это флагманская унимодальная LLM модель команды VikhrModels на базе Mistral-Nemo-Instruct-2407

5 months ago

5a1944c0356b · 10GB ·

model
llama
·
12.2B
·
Q6_K
params
{ "stop": [ "<|start_header_id|>", "<|end_header_id|>", "<|eot_id|>"
template
{{- range .Messages }}<|start_header_id|>{{ .Role }}<|end_header_id|> {{ .Content }}<|eot_id|> {{- e

Readme

Эта модель была залита на базе файлов GGUF.
Источник: HF
Доступные варианты:
Q4_K_M
ollama run OxW/Vikhr-Nemo-12B-Instruct-R-21-09-24:q4_K_M
Q6_K
ollama run OxW/Vikhr-Nemo-12B-Instruct-R-21-09-24:q6_K
Q8_0
ollama run OxW/Vikhr-Nemo-12B-Instruct-R-21-09-24:q8_0
Остальные считаю бесполезными, их добавлять не буду.