OxW/
Saiga_YandexGPT_8B:q4_K_M

339 5 months ago

[GGUF] Модель на базе YandexGPT-5-Lite-8B-pretrain от IlyaGusev

5 months ago

517ebc64c847 · 4.9GB ·

model
llama
·
8.04B
·
Q4_K_M
template
{{- range .Messages }}<|start_header_id|>{{ .Role }}<|end_header_id|> {{ .Content }}<|eot_id|> {{- e
params
{ "stop": [ "<|start_header_id|>", "<|end_header_id|>", "<|eot_id|>"

Readme

Эта модель была залита на базе файлов GGUF.
Источник: HF
Доступные варианты:
Q4_K_M
ollama run OxW/Saiga_YandexGPT_8B:q4_K_M
Q6_K
ollama run OxW/Saiga_YandexGPT_8B:q6_K
Q8_0
ollama run OxW/Saiga_YandexGPT_8B:q8_0
Остальные считаю бесполезными, их добавлять не буду.