evilfreelancer/
o1_gigachat:20b

659 8 months ago

Russian o1-like "thinking" LLM based on GigaChat 20B-A3B

20b

8 months ago

323d75962a42 · 22GB

model
deepseek
·
20.6B
·
Q8_0
system
Вы — ИИ-помощник. Отформатируйте свои ответы следующи
params
{ "num_ctx": 8192, "stop": [ "<|message_sep|>", "</s>" ], "temperatu
template
{{ range .Messages }} {{ if eq .Role "system" }}system<|role_sep|>{{ .Content }}<|message_sep|>{{ en

Readme

Russian o1 / GigaChat 20B-A3B LoRA

Важно: данная модель требует Ollama 0.5.6 или новее, скачать тут.

LoRA-адаптер для MoE модели GigaChat-20B-A3B-instruct на 20B параметров из которых активно только 3B. На этапе обучения использовался Egor-AI/Russian_thinking_dataset (машинный перевод на русский язык датасета BintangFortuna/OpenO1-SFT-EN-SY).

Модель способна имитировать логические размышлению на русском языке по аналогии с тем, как это делает o1 от OpenAI.

Необходимо использовать следующего вида системный промт:

Вы — ИИ-помощник. Отформатируйте свои ответы следующим образом: <Thought> Ваши мысли (понимание, рассуждения) </Thought> <output> Ваш ответ </output>

Обучение производилось при помощи утилиты impruver используя конфигурацию GigaChat/20B-A3B_lora_o1.