electromagneticcyclone/
t-lite-q:5_k_s

458 1 year ago

t-lite Model of T-bank rus (quantized)

1 year ago

6fb9c28723e2 · 5.6GB ·

model
llama
·
8.03B
·
Q5_K_S
template
{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Pr

Readme

Переквантовано с использованием https://ollama.com/blackened/t-lite

Советы по выбору: - Для выбора нажмите “Tags” левее от команды запуска. - Выберите вариант qn_k_f, где n — битность, f — размер. Число бит в первую очередь определяет качество ответов. Затем качество определяет размер. Размер s — маленький, качество хуже. Размер m — средний, достойное качество. Размер l — большой, лучшее качество. Рекомендуется q4_k_m или q5_k_s. Подробнее: https://github.com/ggerganov/llama.cpp/discussions/2094#discussioncomment-6351796 - Кликните, откроется страница с командой для запуска.