🇬🇧EN

GigaChat3-10B-A1.8B

We present GigaChat3-10B-A1.8B — a conversational model from the GigaChat family. The model is based on a Mixture-of-Experts (MoE) architecture with 10B total parameters and 1.8B active parameters.
The architecture includes Multi-head Latent Attention (MLA) and Multi-Token Prediction (MTP), which optimize the model for high inference throughput.
The model is trained on top of our base version (GigaChat3-10B-A1.8B-base) using high-quality SFT data.
This version is intended for high-performance fp8 inference; the bf16 version is available here — GigaChat3-10B-A1.8B.
More details are available in the Habr article.

Model Architecture

GigaChat3-10B-A1.8B uses a custom MoE architecture:

Multi-head Latent Attention (MLA)

Instead of standard Multi-head Attention, the model uses MLA. MLA enables efficient inference by compressing the Key-Value (KV) cache into a latent vector, which significantly reduces memory requirements and speeds up processing.

Multi-Token Prediction (MTP)

The model is trained using the Multi-Token Prediction (MTP) objective. This allows the model to predict multiple tokens in a single forward pass, accelerating generation by up to 40% via speculative/parallel generation techniques.

Training Data

The model was trained on 20T tokens.
We added 10 languages — from Chinese and Arabic to Uzbek and Kazakh — and expanded the set of data sources: books, academic data, code and math datasets. All data undergo deduplication, language filtering, and automated quality checks using heuristics and classifiers.
A key contribution to quality came from synthetic data: we generated around 5.5 trillion tokens of synthetic data. The corpus includes question–answer pairs for texts, reverse-prompt chains for data structuring, LLM notes with model comments embedded in texts, and millions of synthetic problems with solutions in mathematics and competitive programming (with synthetic tests) based on PromptCot.

Inference

One of the key advantages of GigaChat3-10B-A1.8B is inference speed. The model (especially in MTP mode) demonstrates throughput comparable to that of much smaller dense models.
We measured performance using vLLM v0.11.0, with bfloat16 and batch_size=1.
Link to the code.

Benchmarks

Although the model has 10 billion parameters, its direct analogs are models in the 3–4 billion parameter range. However, due to high generation speed, we also compare it with even more compact models.

🇷🇺RU

GigaChat3-10B-A1.8B

Представляем GigaChat3-10B-A1.8B — диалоговую модель семейства GigaChat. Модель основана на архитектуре Mixture-of-Experts (MoE) с 10B общих и 1.8B активных параметров. Архитектура включает Multi-head Latent Attention (MLA) и Multi-Token Prediction (MTP), за счет чего модель оптимизирована для высокой пропускной способности (throughput) при инференсе. Модель обучена поверх нашей базовой версии (GigaChat3-10B-A1.8B-base) с помощью высококачественных SFT-данных. Данная версия предназначена для высокопроизводительного инференса в fp8, модель в bf16 — GigaChat3-10B-A1.8B. Больше подробностей в хабр статье.

Архитектура модели

GigaChat3-10B-A1.8B использует кастомную MoE-архитектуру:

Multi-head Latent Attention (MLA)

Вместо стандартного Multi-head Attention модель использует MLA. MLA обеспечивает эффективный инференс за счет сжатия Key-Value (KV) кэша в латентный вектор, что значительно снижает требования к памяти и ускоряет обработку.

Multi-Token Prediction (MTP)

Модель обучена с использованием задачи Multi-Token Prediction (MTP). Это позволяет модели предсказывать несколько токенов за один проход, что ускоряет генерацию до 40% с помощью техник спекулятивной/параллельной генерации.

Данные для обучения

Модель обучена на 20Т токенов. Мы добавили 10 языков — от китайского и арабского до узбекского и казахского, а также расширили набор источников: книги, академические данные, датасеты по коду и математике. Все данные проходят дедупликацию, языковую фильтрацию и автоматические проверки качества при помощи эвристик и классификаторов. Ключевой вклад в качество внесла синтетика: мы сгенерировали около 5,5 триллионов токенов синтетических данных. В корпус входят вопросы-ответы к текстам, цепочки reverse-prompt для структурирования данных, LLM-заметки с комментариями от модели внутри текстов, миллионы синтетических задач с решениями по математике и олимпиадному программированию (с синтетическими тестами) на основе PromptCot.

Инференс

Одно из ключевых преимуществ GigaChat3-10B-A1.8B — скорость инференса. Модель (особенно в режиме MTP) демонстрирует пропускную способность, сопоставимую с пропускной способностью значительно меньших dense‑моделей. Мы измеряли с помощью vLLM v0.11.0, на типе bfloat16 c batch_size=1. Ссылка на код.

Бенчмарки

Хотя модель имеет 10 миллиардов параметров, её прямые аналоги — модели размером 3–4 миллиарда параметров. Однако благодаря высокой скорости генерации мы также сравниваем её с ещё более компактными моделями.