OxW/
Saiga_YandexGPT_8B

339 5 months ago

[GGUF] Модель на базе YandexGPT-5-Lite-8B-pretrain от IlyaGusev

Models

View all →

3 models

Saiga_YandexGPT_8B:q4_K_M

4.9GB · 32K context window · Text · 5 months ago

Saiga_YandexGPT_8B:q6_K

6.6GB · 32K context window · Text · 5 months ago

Saiga_YandexGPT_8B:q8_0

8.5GB · 32K context window · Text · 5 months ago

Readme

Эта модель была залита на базе файлов GGUF.
Источник: HF
Доступные варианты:
Q4_K_M
ollama run OxW/Saiga_YandexGPT_8B:q4_K_M
Q6_K
ollama run OxW/Saiga_YandexGPT_8B:q6_K
Q8_0
ollama run OxW/Saiga_YandexGPT_8B:q8_0
Остальные считаю бесполезными, их добавлять не буду.