electromagneticcyclone/
t-lite-q

458 1 year ago

t-lite Model of T-bank rus (quantized)

Models

View all →

8 models

t-lite-q:3_k_l

4.3GB · 8K context window · Text · 1 year ago

t-lite-q:3_k_m

4.0GB · 8K context window · Text · 1 year ago

t-lite-q:3_k_s

3.7GB · 8K context window · Text · 1 year ago

t-lite-q:4_k_m

4.9GB · 8K context window · Text · 1 year ago

t-lite-q:4_k_s

4.7GB · 8K context window · Text · 1 year ago

t-lite-q:5_k_m

5.7GB · 8K context window · Text · 1 year ago

t-lite-q:5_k_s

5.6GB · 8K context window · Text · 1 year ago

t-lite-q:6_k

6.6GB · 8K context window · Text · 1 year ago

Readme

Переквантовано с использованием https://ollama.com/blackened/t-lite

Советы по выбору: - Для выбора нажмите “Tags” левее от команды запуска. - Выберите вариант qn_k_f, где n — битность, f — размер. Число бит в первую очередь определяет качество ответов. Затем качество определяет размер. Размер s — маленький, качество хуже. Размер m — средний, достойное качество. Размер l — большой, лучшее качество. Рекомендуется q4_k_m или q5_k_s. Подробнее: https://github.com/ggerganov/llama.cpp/discussions/2094#discussioncomment-6351796 - Кликните, откроется страница с командой для запуска.