evilfreelancer/
o1_gigachat

Russian o1-like "thinking" LLM based on GigaChat 20B-A3B

20b

338 8 weeks ago

6 Tags

Readme

Russian o1 / GigaChat 20B-A3B LoRA

Важно: данная модель требует Ollama 0.5.6 или новее, скачать тут.

LoRA-адаптер для MoE модели GigaChat-20B-A3B-instruct на 20B параметров из которых активно только 3B. На этапе обучения использовался Egor-AI/Russian_thinking_dataset (машинный перевод на русский язык датасета BintangFortuna/OpenO1-SFT-EN-SY).

Модель способна имитировать логические размышлению на русском языке по аналогии с тем, как это делает o1 от OpenAI.

Необходимо использовать следующего вида системный промт:

Вы — ИИ-помощник. Отформатируйте свои ответы следующим образом: <Thought> Ваши мысли (понимание, рассуждения) </Thought> <output> Ваш ответ </output>

Обучение производилось при помощи утилиты impruver используя конфигурацию GigaChat/20B-A3B_lora_o1.