40 Downloads Updated 1 month ago
ollama run JXW67/TGAI_NB:v2.5
license: mit language: - zh task: text-generation framework: pytorch tags: - tgai - moe - llm - gguf - ollama
TGAI NB 是由一名高二学生 JXW 独立研发的中文大语言模型系列。
这是一个”一个人从零做完”的项目：数据采集与清洗、分词器、MoE 架构设计、预训练、SFT、LoRA 蒸馏、推理部署，全部由作者独立完成，不依赖 HuggingFace Transformers（Transformer Block 也是逐行手写）。
TGAI（Trainable General Artificial Intelligence）是一个 Decoder-Only MoE（混合专家）Transformer 大语言模型，使用 PyTorch 原生实现，面向中文对话场景。
本仓库提供 GGUF 格式权重，可直接用 Ollama 或 llama.cpp 本地运行，无需显卡（CPU 也可推理）。
| 版本 | 规模 | 说明 |
|---|---|---|
| TGAI NB V1 | 0.86B | 系列起点，验证从零训练中文 MoE 全流程 |
| TGAI NB V2 | ~3B | 扩展版 |
| TGAI NB V2.5 | MoE 3B | 当前主力，8 专家 top-2，4K 上下文 |
| 项目 | 值 |
|---|---|
| 架构 | Decoder-Only MoE Transformer |
| 参数量 | ~3B |
| 隐藏层维度 d_model | 1024 |
| 层数 n_layers | 28 |
| 注意力头 n_heads | 16 |
| 前馈维度 d_ff | 4096 |
| 专家数 n_experts | 8 |
| 激活专家 n_activated | 2（top-2 路由） |
| 词表大小 | 32770 |
| 上下文长度 | 4096 |
| 权重绑定 | Embedding ↔ LM Head 共享 |
| 组件 | 技术 |
|---|---|
| 位置编码 | RoPE（旋转位置编码） |
| 归一化 | RMSNorm |
| 注意力 | Flash Attention（scaled_dot_product_attention）+ KV Cache |
| 前馈网络 | SwiGLU |
| 混合专家 | MoE Top-K 路由 + 负载均衡 loss |
| 分词器 | 自研中文分词器（中文优化） |
用户:{prompt}\nTGAI?{response}）详细训练代码与文档见 TGAI-GUI-NLP
torch.compile 推理加速FROM ./TGAI_NB_V2.5.gguf
PARAMETER num_ctx 4096
PARAMETER temperature 0.3
PARAMETER top_k 40
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.3
TEMPLATE """系统:你是TGAI ，由JXW独立研发。
{{ range .Messages }}{{ if eq .Role "user" }}用户:{{ .Content }}
TGAI?{{ else if eq .Role "assistant" }}{{ .Content }}
{{ end }}{{ end }}"""
ollama create tgai-nb -f Modelfile
ollama run tgai-nb
llama-cli -m TGAI_NB_V2.5.gguf --prompt "用户:你好\nTGAI?"
以下为训练过程记录的指标（作者实测），具体评测结果请以作者发布为准。