second_constantine/
yandex-gpt-5-lite:8b

29 1 month ago

Instruct-версия большой языковой модели YandexGPT 5 Lite на 8B параметров с длиной контекста 32k токенов. (квантизованная версия Q4_K_M)

8b

1 month ago

4788a8871969 · 4.9GB

model
llama
·
8.04B
·
Q4_K_M
license
Лицензионное соглашение YandexGPT-5-Lite-8B Настоящее лицензи
template
<s> Ассистент:[SEP]{{- range .Messages }}{{- if eq .Role "user" }}Response }} Пользо
params
{ "stop": [ "<s>", "[SEP]", "Response }}\n\n Пользователь:"

Readme

Основано на https://huggingface.co/yandex/YandexGPT-5-Lite-8B-instruct-GGUF

Характеристика Значение
VLM false
think false
tools false
speed 78 token/s

Характеристики примерные, проверялось на rtx2080ti 11GB