electromagneticcyclone / t-lite-q

t-lite Model of T-bank rus (quantized)

8B

86 Pulls Updated 8 weeks ago

8 weeks ago

01aa6655c33f · 4.7GB

model
llama
·
8.03B
·
Q4_K_S
template
{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>

Readme

Переквантовано с использованием https://ollama.com/blackened/t-lite

Советы по выбору:
- Для выбора нажмите “Tags” левее от команды запуска.
- Выберите вариант qn_k_f, где n — битность, f — размер.
Число бит в первую очередь определяет качество ответов. Затем качество определяет размер. Размер s — маленький, качество хуже. Размер m — средний, достойное качество. Размер l — большой, лучшее качество.
Рекомендуется q4_k_m или q5_k_s.
Подробнее: https://github.com/ggerganov/llama.cpp/discussions/2094#discussioncomment-6351796
- Кликните, откроется страница с командой для запуска.