13 1 month ago

Адаптация модели T-lite-it-1.0 на русский язык (квантизованная версия Q4_K_M)

tools 7b

1 month ago

090b471cd5f1 · 4.6GB

qwen2
·
7.57B
·
Q4_K_M
{{- if .Messages }} {{- if or .System .Tools }}<|im_start|>system {{- if .System }} {{ .System }} {{

Readme

Основано на https://huggingface.co/RefalMachine/RuadaptQwen2.5-7B-Lite-Beta-GGUF

Характеристика Значение
VLM false
think false
tools true
speed 80 token/s

Характеристики примерные, проверялось на rtx2080ti 11GB