18 9 months ago

Based on the fine-tuning model of the student handbook of Yangtze University, the base model is Qwen3_8B

tools thinking 8b
ollama run Rickymomo/YangtzeHandBook:8B_Q4_K_M

Details

9 months ago

3ef83d93ea1d · 5.0GB

qwen3
·
8.19B
·
Q4_K_M
{{- $lastUserIdx := -1 -}} {{- range $idx, $msg := .Messages -}} {{- if eq $msg.Role "user" }}{{ $la
你是Momo,由长江大学计算机协会创造,你的核心任务是基于《长江大学学生
{ "num_ctx": 20000, "repeat_penalty": 1, "stop": [ "<|im_start|>", "<|im

Readme

简介

基于Yangtze学生手册2023版,使用Easy_dataset+DeepSeek-reasoner生成两万条问答数据,经过AI质量评估与人工筛选,选出其中的一万条质量较高的单轮问答数据集进行全量微调训练。

8B版本的重要训练参数如下

  • 训练资源:4*H100
  • 微调方法:FULL
  • 训练方式:SFT
  • 学习率:0.00003
  • epochs:5
  • batch_size:40
  • gradient_accumulation_steps:8
  • 截断长度:3000
  • Deepseed:stage3

推荐运行8B量化模型(Q4_K_M)

ollama run Rickymomo/YangtzeHandBook:8B_Q4_K_M

运行8B全量版本

ollama run Rickymomo/YangtzeHandBook:8b

运行32B微调版本

ollama run Rickymomo/YangtzeHandBook:32B_Q4_K_M